我试图使用python从web获取数据。我导入了urllib。请求包,但在执行时,我得到错误:
certificate verify failed: unable to get local issuer certificate (_ssl.c:1045)
我在Mac OS High Sierra上使用Python 3.7。
我试图从CSV文件:
https://s3.amazonaws.com/assets.datacamp.com/production/course_1606/datasets/winequality-red.csv
当我将URL更改为“http”时-我能够获得数据。但是,我认为这避免了检查SSL证书。
所以我在网上找到了一个解决方案:
运行/Applications/Python\ 3.7/Install\ certificates .命令
这解决了我的问题。但是我没有SSL之类的知识。你能帮我理解一下它到底是怎么解决我的问题的吗?
如果可能的话,请给我推荐一些好的资源来了解安全与证书。我是新手。
谢谢!
注意:我确实通过链接openssl, python请求错误:“证书验证失败”
我的问题与链接中的问题不同,因为我想知道当我安装certifi包或运行install \ Certificates.command来修复错误时实际发生了什么。我对证券的理解很差。
我在OSX上遇到了同样的问题,而我的代码在Linux上完全没问题,你在你的问题中给出了答案!
在检查您指向/Applications/Python 3.7/Install certificates .command的文件后,发现该命令将默认Python安装的根证书替换为通过certifi包提供的根证书。
Certifi是根证书的集合。每个SSL证书都依赖于一个信任链:您信任一个特定的证书,因为您信任该证书的父证书,因此您信任该证书的父证书,等等。在某些情况下,没有“父”证书,这些是“根”证书。对于这些问题,除了捆绑普遍信任的根证书(通常是大型信托公司,如eg。“DigiCert”)。
例如,您可以在浏览器安全设置中看到根证书(例如Firefox->首选项->隐私和安全->视图证书->权威)。
回到最初的问题,在运行.command文件之前,在干净的安装上执行这个命令会返回一个空列表:
import os
import ssl
openssl_dir, openssl_cafile = os.path.split(
ssl.get_default_verify_paths().openssl_cafile)
# no content in this folder
os.listdir(openssl_dir)
# non existent file
print(os.path.exists(os.path.join(openssl_dir, openssl_cafile)))
这意味着OSX上的Python安装没有默认的证书颁发机构。可能的默认值正是证书包提供的。
在此之后,您只需创建一个具有正确默认值的SSL上下文,如下所示(certificate .where()给出了证书颁发机构的位置):
import platform
# ...
ssl_context = ssl.SSLContext(ssl.PROTOCOL_TLS)
ssl_context.verify_mode = ssl.CERT_REQUIRED
ssl_context.check_hostname = True
ssl_context.load_default_certs()
if platform.system().lower() == 'darwin':
import certifi
ssl_context.load_verify_locations(
cafile=os.path.relpath(certifi.where()),
capath=None,
cadata=None)
然后像这样从python请求一个url:
import urllib
# previous context
https_handler = urllib.request.HTTPSHandler(context=ssl_context)
opener = urllib.request.build_opener(https_handler)
ret = opener.open(url, timeout=2)
此页是谷歌中“证书验证失败:无法获得本地颁发者证书”的最高点击率,因此,虽然这没有直接回答最初的问题,但下面是对具有相同症状的问题的修复。我在尝试将TLS添加到xmlrpc服务时遇到了这个问题。这需要使用相当低级的ssl。SSLContext类。该错误表示缺少证书。修复方法是在构造SSLContext对象时做几件事:
首先,在客户端:
def get_client():
context = ssl.SSLContext(ssl.PROTOCOL_TLS_CLIENT)
# Load the default certs:
context.load_default_certs()
# Optionally, install the intermediate certs.
# This _should_ be handled by the server, but
# maybe helpful in some cases.
# context.load_verify_locations('path/to/ca_bundle.crt')
return xmlrpc.client.ServerProxy('https://server.yourdomain.com/', context=context)
在服务器端,你需要在上下文中安装中间的certs:
class SecureXMLRPCServer(socketserver.TCPServer,
xmlrpc.server.SimpleXMLRPCDispatcher):
# https://gist.github.com/monstermunchkin/1100226
allow_reuse_address = True
def __init__(self, addr, certfile, keyfile=None,
ca_bundle=None,
requestHandler=xmlrpc.server.SimpleXMLRPCRequestHandler,
logRequests=True, allow_none=False, encoding=None,
bind_and_activate=True, ssl_version=ssl.PROTOCOL_TLSv1_2):
self.logRequests = logRequests
# create an SSL context
self.context = ssl.SSLContext(ssl_version)
self.context.load_default_certs()
# The server is the correct place to load the intermediate CA certificates:
self.context.load_verify_locations(ca_bundle)
self.context.load_cert_chain(certfile=certfile, keyfile=keyfile)
xmlrpc.server.SimpleXMLRPCDispatcher.__init__(self, allow_none,
encoding)
# call TCPServer constructor
socketserver.TCPServer.__init__(self, addr, requestHandler,
bind_and_activate)
if fcntl is not None and hasattr(fcntl, 'FD_CLOEXEC'):
flags = fcntl.fcntl(self.fileno(), fcntl.F_GETFD)
flags |= fcntl.FD_CLOEXEC
fcntl.fcntl(self.fileno(), fcntl.F_SETFD, flags)
def get_request(self):
newsocket, fromaddr = self.socket.accept()
# create an server-side SSL socket
sslsocket = self.context.wrap_socket(newsocket, server_side=True)
return sslsocket, fromaddr
对于那些这个问题仍然存在的人:-
MacOS上的Python 3.6(还有其他版本吗?)附带了自己的私有OpenSSL副本。这意味着系统中的信任证书不再被Python ssl模块用作默认值。要解决这个问题,您需要在系统中安装一个证书包。
你可以尝试两种方法:
1)通过PIP:
pip install --upgrade certifi
2)如果它不起作用,尝试运行Python 3.6 for Mac附带的certificates .command:
open /Applications/Python\ 3.6/Install\ Certificates.command
无论如何,您现在应该已经安装了证书,并且Python应该能够通过HTTPS进行连接而不会出现任何问题。
希望这对你有所帮助。
对我来说,问题是我在我的.bash_profile中设置了REQUESTS_CA_BUNDLE
/Users/westonagreene/.bash_profile:
...
export REQUESTS_CA_BUNDLE=/usr/local/etc/openssl/cert.pem
...
一旦我将REQUESTS_CA_BUNDLE设置为空白(即从.bash_profile中删除),请求就会再次工作。
export REQUESTS_CA_BUNDLE=""
该问题仅在通过CLI(命令行接口)执行python请求时出现。如果我运行请求。get(URL, CERT)它解决得很好。
Mac OS Catalina(10.15.6)。
3.6.11的Pyenv。
我正在获得的错误消息:[SSL: CERTIFICATE_VERIFY_FAILED]证书验证失败:无法获得本地颁发者证书(_ssl.c:1056)
这个答案在其他地方:https://stackoverflow.com/a/64152045/4420657
Certifi提供了Mozilla精心策划的根证书集合,用于验证SSL证书的可信度,同时验证TLS主机的身份。它已经从Requests项目中提取出来。
pip install certifi
或者运行下面的程序代码:
# install_certifi.py
#
# sample script to install or update a set of default Root Certificates
# for the ssl module. Uses the certificates provided by the certifi package:
# https://pypi.python.org/pypi/certifi
import os
import os.path
import ssl
import stat
import subprocess
import sys
STAT_0o775 = ( stat.S_IRUSR | stat.S_IWUSR | stat.S_IXUSR
| stat.S_IRGRP | stat.S_IWGRP | stat.S_IXGRP
| stat.S_IROTH | stat.S_IXOTH )
def main():
openssl_dir, openssl_cafile = os.path.split(
ssl.get_default_verify_paths().openssl_cafile)
print(" -- pip install --upgrade certifi")
subprocess.check_call([sys.executable,
"-E", "-s", "-m", "pip", "install", "--upgrade", "certifi"])
import certifi
# change working directory to the default SSL directory
os.chdir(openssl_dir)
relpath_to_certifi_cafile = os.path.relpath(certifi.where())
print(" -- removing any existing file or link")
try:
os.remove(openssl_cafile)
except FileNotFoundError:
pass
print(" -- creating symlink to certifi certificate bundle")
os.symlink(relpath_to_certifi_cafile, openssl_cafile)
print(" -- setting permissions")
os.chmod(openssl_cafile, STAT_0o775)
print(" -- update complete")
if __name__ == '__main__':
main()
Brew没有运行Mac Python3包中的Install certificates .命令。
警告:我对证书不是很了解,但我认为这值得尽早检查。
在花时间重新配置代码/包/系统之前,请确保您试图下载的服务器没有问题。
我认为这个错误可能会产生误导,因为“无法获得本地发行者证书”看起来好像是本地机器出了问题,但事实未必如此。
尝试将您正在尝试加载的页面更改为可能不错的页面,例如https://www.google.com,然后查看问题是否仍然存在。此外,使用https://www.digicert.com/help/上的搜索工具检查出问题的域名。
在我的例子中,DigiCert的工具告诉我“证书不是由受信任的权威签署的(根据Mozilla的根存储进行检查)。”这就解释了为什么我似乎已经安装了根证书,但仍然出现错误。当我测试用HTTPS加载一个不同的网站时,我没有遇到任何问题。
如果这种情况适用于你,那么我认为你可能有3个逻辑选项(按优先级排序):1)修复服务器(如果它在你的控制之下),2)禁用证书检查,同时继续使用HTTPS, 3)跳过HTTPS转到HTTP。
在Windows上经历了这一点,在与此斗争之后,我下载了网页的SSL证书链
在Chrome浏览器上的步骤-(左上角的挂锁->点击“连接是安全的”->点击“证书是有效的”)
如果需要查看证书链,请选择“证书路径”。
要下载每个证书,请在“证书路径”选项卡中查看证书,打开“详细信息”选项卡,然后复制到文件中
下载后,打开保存证书的地方,然后编译成一个.PEM文件
举个例子:
openssl x509 -in inputfilename.cer -inform DER -outform PEM >> .pem
顺序很重要,从链中最低的证书开始,否则你的bundle将无效
最后
response = requests.get('enter/urll/here', verify ='/path/to/created bundle')
我在Ventura上用python 3.9-10遇到了这个问题,尽管我已经尝试过了:
将我的私有CA证书添加到/etc/ssl/cert.pem, /etc/ssl/certs/
将我的私有CA证书添加到特定证书的cert.pem文件中
将我的私人CA证书添加到我的钥匙链到“系统”桶
设置REQUESTS_CA_BUNDLE = / etc / ssl / cert.pem
这使请求工作,但httpconnection和urllib3验证失败,所以它仍然有一个地方添加CA证书:
/usr/local/etc/ca-certificates / cert.pem
我相信这是因为我已经通过brew安装了openssl,这设置了上面的文件,并从/usr/local/etc/openssl@1.1/cert.pem中添加了符号链接。
因此,如果有人在通过brew安装openssl后遇到证书验证失败的情况,那么这可能就是原因所在。