我正在练习“使用Python进行网络抓取”的代码，我一直有这个证书问题:
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
pages = set()
def getLinks(pageUrl):
global pages
html = urlopen("http://en.wikipedia.org"+pageUrl)
bsObj = BeautifulSoup(html)
for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
if 'href' in link.attrs:
if link.attrs['href'] not in pages:
#We have encountered a new page
newPage = link.attrs['href']
print(newPage)
pages.add(newPage)
getLinks(newPage)
getLinks("")
错误是:
File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>
顺便说一句，我也在练习scrapy，但一直得到的问题:命令找不到:scrapy(我尝试了各种在线解决方案，但没有一个工作…真的令人沮丧)
我在Ubuntu 20.04系统上看到了这个问题，没有一个“真正的修复”(比如这个)有帮助。
虽然Firefox愿意打开该站点，但GNOME Web(即Epiphany)、Python3或wget都不接受该证书。经过一些搜索，我在ServerFault上找到了这个答案，它列出了两个常见的原因:
该证书实际上是由一个未知CA(例如内部CA)签署的。
证书是用来自一个知名CA的中间CA证书签名的，远程服务器配置错误，因为它没有将该中间CA证书作为其响应的CA链。
您可以使用Qualys SSL实验室网站检查该网站的证书，如果有问题，请联系该网站的管理员进行修复。
如果你现在真的需要解决这个问题，我推荐一个临时解决方案，比如Rambod's仅限于你试图访问的网站。
对我来说，问题是我在我的.bash_profile中设置了REQUESTS_CA_BUNDLE
/Users/westonagreene/.bash_profile:
...
export REQUESTS_CA_BUNDLE=/usr/local/etc/openssl/cert.pem
...
一旦我将REQUESTS_CA_BUNDLE设置为空白(即从.bash_profile中删除)，请求就会再次工作。
export REQUESTS_CA_BUNDLE=""
该问题仅在通过CLI(命令行接口)执行python请求时出现。如果我运行请求。get(URL, CERT)它解决得很好。
Mac OS Catalina(10.15.6)。
3.6.11的Pyenv。
我正在获得的错误消息:[SSL: CERTIFICATE_VERIFY_FAILED]证书验证失败:无法获得本地颁发者证书(_ssl.c:1056)
我的答案是:https://stackoverflow.com/a/64151964/4420657
与Stack Overflow的所有专家相比，我是一个相对新手。
我有两个版本的jupyter笔记本正在运行(一个是通过新的Anaconda Navigator安装，另一个是通过????)。我想这是因为Anaconda是在我的Mac上作为本地安装安装的(根据Anaconda的说明)。
我已经安装了python 3.7。在那之后，我用我的终端打开了jupyter笔记本电脑，我认为它在我的Mac上安装了另一个全球版本。
然而，我不确定，因为我只是在不断地尝试和错误中学习!
我执行了终端命令:
conda install -c anaconda certifi
(如上所述，但它没有工作。)
我的python 3.7安装在OS Catalina10.15.3:
/图书馆/ Python / 3.7 /网站
~ /图书馆/ Python / 3.7 / lib / Python /网站
证书地址:
~ /图书馆/ Python / 3.7 / lib / Python /网站/ certifi-2019.11.28.dist-info
我试图找到安装证书命令…但通过查看文件结构无法找到它…不在应用程序中…不在上面的链接中。
我最终通过Spotlight找到了它(就像上面有人建议的那样)。它会自动双击并在相同的文件夹中安装另一个证书:
~ /图书馆/ Python / 3.7 / lib / Python /网站/
以上都没有解决我的任何问题……我还是得到了同样的错误。
所以，我解决了这个问题:
合上我的jupyter笔记本。
打开水蟒航海家。
打开jupyter笔记本通过导航GUI(而不是
通过终端)。
打开我的笔记本，运行代码。
我不能告诉你为什么会这样。但它为我解决了问题。
我只是想下次给别人省点麻烦。如果有人能告诉我为什么它有效，那就太好了。
我没有尝试其他终端命令，因为我知道两个版本的jupyter笔记本是一个问题。我只是不知道该怎么弥补。
