Wget 1.18可能工作得更好，例如，我被1.12版本的bug咬了，其中…

wget --recursive (...)

.．.只检索index.html而不是所有文件。

解决方法是注意到一些301重定向，并尝试新的位置-给定新的URL, wget得到目录中的所有文件。

递归下载一个目录，该目录拒绝index.html*文件，下载时不包含主机名、父目录和整个目录结构:

wget -r -nH --cut-dirs=2 --no-parent --reject="index.html*" http://mysite.com/dir1/dir2/data

如果——没有家长帮助，你可以使用——include选项。

目录结构:

http://<host>/downloads/good
http://<host>/downloads/bad

你想下载的是downloads/good而不是downloads/bad目录:

wget --include downloads/good --mirror --execute robots=off --no-host-directories --cut-dirs=1 --reject="index.html*" --continue http://<host>/downloads/good

递归wget忽略机器人(用于网站)

wget -e robots=off -r -np --page-requisites --convert-links 'http://example.com/folder/'

-e robots=off使它忽略该域的robots.txt

-r使它递归

-np = no parent，所以它不会跟随链接到父文件夹

您应该使用-m (mirror)标志，因为这样可以避免混淆时间戳并无限地递归。

wget -m http://example.com/configs/.vim/

如果你加上其他人在这篇文章中提到的要点，它将是:

wget -m -e robots=off --no-parent http://example.com/configs/.vim/

你只要加一个-r就可以了

wget -r http://stackoverflow.com/