抓取:SSL: CERTIFICATE_VERIFY_FAILED错误http://en.wikipedia.org

我正在练习“使用Python进行网络抓取”的代码，我一直有这个证书问题:

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = urlopen("http://en.wikipedia.org"+pageUrl)
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href'] 
                print(newPage) 
                pages.add(newPage) 
                getLinks(newPage)
getLinks("")

错误是:

  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>

顺便说一句，我也在练习scrapy，但一直得到的问题:命令找不到:scrapy(我尝试了各种在线解决方案，但没有一个工作…真的令人沮丧)

当前回答

终端命令:

打开/Applications/Python\ 3.7/Install\ Certificates.command

在这里找到: https://stackoverflow.com/a/57614113/6207266

帮我解决了。用我的配置

PIP安装——升级证书

没有影响。

2019-09-17 07:01:18

其他回答

有两步对我很有效: 导入Macintosh HD > Applications > Python3.7文件夹 -点击“Install Certificates.command”

2019-07-27 02:21:12

要解决这个问题:

你所需要做的就是安装Python证书!macOS的一个常见问题。

打开以下文件:

Install Certificates.command
Update Shell Profile.command

简单地运行这两个脚本，你就不会再有这个问题了。

希望这能有所帮助!

2018-11-15 10:39:17

我在窗户上使用anaconda。得到相同的错误，直到我尝试以下;

import urllib.request
link = 'http://docs.python.org'
with urllib.request.urlopen(link) as response:
    htmlSource = response.read()

这是我从stackoverflow线程中使用urlopen得到的:

Python urllib urlopen不工作

2022-01-08 18:22:44

有一次，我被这个问题绊倒了。如果你使用macOS，进入Macintosh HD > Applications > Python3.6文件夹(或任何你使用的python版本)>双击“Install Certificates.command”文件。: D

2018-11-14 23:57:27

这是可行的。将环境变量pythonhttpverify设置为0。

输入linux命令:

export PYTHONHTTPSVERIFY = 0

使用python代码:

import os
os.environ["PYTHONHTTPSVERIFY"] = "0"

2020-07-14 05:28:38

抓取:SSL: CERTIFICATE_VERIFY_FAILED错误http://en.wikipedia.org

推荐文章

最新文章

标签