在Python中,urllib, urllib2, urllib3和请求模块之间有什么区别?为什么有三个?他们似乎在做同样的事情……


当前回答

urllib和urllib2都是做URL请求相关工作的Python模块,但提供不同的功能。

1) urllib2可以接受一个Request对象来设置URL请求的头信息,urllib只接受一个URL。

2) urllib提供了用于生成GET查询字符串的urlencode方法,urllib2没有这样的函数。这就是urllib经常与urllib2一起使用的原因之一。

Requests - Requests '是一个用Python编写的简单易用的HTTP库。

1) Python请求会自动对参数进行编码,因此您只需将它们作为简单的参数传递,这与urllib不同,在urllib中,您需要在传递参数之前使用urllib.encode()方法对参数进行编码。

2)自动将应答解码为Unicode。

3)请求也有更方便的错误处理。如果身份验证失败,urllib2将引发urllib2。URLError,而请求将返回一个正常的响应对象,正如预期的那样。你所要做的就是通过布尔响应来判断请求是否成功

其他回答

只是为了补充现有的答案,我没有看到任何人提到python requests不是一个原生库。如果您可以添加依赖项,那么请求就可以了。然而,如果你试图避免添加依赖项,urllib是一个已经可用的原生python库。

一个相当大的区别是关于将Python2移植到Python3。python3及其移植到urllib的方法不存在Urllib2。 因此,如果你正在大量使用它,并希望将来迁移到Python3,请考虑使用urllib。 然而,2to3工具将自动为您做大部分工作。

获取url的内容:

try: # Try importing requests first.
    import requests
except ImportError: 
    try: # Try importing Python3 urllib
        import urllib.request
    except AttributeError: # Now importing Python2 urllib
        import urllib


def get_content(url):
    try:  # Using requests.
        return requests.get(url).content # Returns requests.models.Response.
    except NameError:  
        try: # Using Python3 urllib.
            with urllib.request.urlopen(index_url) as response:
                return response.read() # Returns http.client.HTTPResponse.
        except AttributeError: # Using Python3 urllib.
            return urllib.urlopen(url).read() # Returns an instance.

很难为响应编写Python2和Python3和请求依赖代码,因为它们的urlopen()函数和requests.get()函数返回不同的类型:

Python2 urllib.request.urlopen()返回一个http.client.HTTPResponse Python3 urllib.urlopen(url)返回一个实例 Request Request .get(url)返回一个requests.models.Response

我发现上述答案中缺少的一个关键点是urllib返回类型为<class http.client的对象。HTTPResponse>而requests返回<class 'requests.models. response '>. HTTPResponse>。

因此,read()方法可以用于urllib,但不能用于请求。

附注:requests已经有很多方法了,几乎不需要像read();>那样再多一个

urllib和urllib2都是做URL请求相关工作的Python模块,但提供不同的功能。

1) urllib2可以接受一个Request对象来设置URL请求的头信息,urllib只接受一个URL。

2) urllib提供了用于生成GET查询字符串的urlencode方法,urllib2没有这样的函数。这就是urllib经常与urllib2一起使用的原因之一。

Requests - Requests '是一个用Python编写的简单易用的HTTP库。

1) Python请求会自动对参数进行编码,因此您只需将它们作为简单的参数传递,这与urllib不同,在urllib中,您需要在传递参数之前使用urllib.encode()方法对参数进行编码。

2)自动将应答解码为Unicode。

3)请求也有更方便的错误处理。如果身份验证失败,urllib2将引发urllib2。URLError,而请求将返回一个正常的响应对象,正如预期的那样。你所要做的就是通过布尔响应来判断请求是否成功