如何通过HTTP下载文件?

我有一个小工具，我用来从一个网站上下载一个MP3文件，然后构建/更新一个播客XML文件，我已经添加到iTunes。

创建/更新XML文件的文本处理是用Python编写的。但是，我在Windows .bat文件中使用wget来下载实际的MP3文件。我更喜欢用Python编写整个实用程序。

我努力寻找一种用Python实际下载该文件的方法，因此我使用了wget。

那么，如何使用Python下载文件呢?

当前回答

使用wget模块:

import wget
wget.download('url')

其他回答

还有一个，使用urlretrieve:

import urllib.request
urllib.request.urlretrieve("http://www.example.com/songs/mp3.mp3", "mp3.mp3")

(对于Python 2使用import urllib和urllib.urlretrieve)

为了完整起见，还可以使用子流程包调用任何程序来检索文件。专用于检索文件的程序比Python函数(如urlretrieve)更强大。例如，wget可以递归下载目录(-R)，可以处理FTP、重定向、HTTP代理，可以避免重新下载现有文件(-nc)，而aria2可以进行多连接下载，这可能会加快下载速度。

import subprocess
subprocess.check_output(['wget', '-O', 'example_output_file.html', 'https://example.com'])

在Jupyter Notebook中，也可以直接使用!语法:

!wget -O example_output_file.html https://example.com

使用urllib.request.urlopen ():

import urllib.request
with urllib.request.urlopen('http://www.example.com/') as f:
    html = f.read().decode('utf-8')

这是使用库的最基本的方法，没有任何错误处理。您还可以执行更复杂的操作，例如更改头文件。

在Python 2中，该方法在urllib2中:

import urllib2
response = urllib2.urlopen('http://www.example.com/')
html = response.read()

另一种方法是调用外部进程，如curl.exe。Curl在默认情况下显示进度条、平均下载速度、剩余时间等，所有这些都整齐地格式化在一个表格中。将curl.exe放在与脚本相同的目录中

from subprocess import call
url = ""
call(["curl", {url}, '--output', "song.mp3"])

注意:不能使用curl指定输出路径，所以使用os。重命名之后

延迟回答，但对于python>=3.6，您可以使用:

import dload
dload.save(url)

安装dload:

pip3 install dload

推荐文章