下载整个S3存储桶?

我注意到似乎没有从AWS管理控制台下载整个s3桶的选项。

有什么简单的方法可以把所有东西都装进我的桶里吗?我正在考虑使根文件夹公共，使用wget抓取它，然后再次使它私有，但我不知道是否有更简单的方法。

当前回答

@Layke的回答很好，但如果你有大量的数据，不想永远等待，你应该阅读“AWS CLI S3配置”。

以下命令将告诉AWS CLI使用1,000个线程执行作业(每个小文件或多部分副本的一部分)，并查看100,000个作业:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

运行这些之后，你可以使用简单的sync命令:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

aws s3 sync s3://source-bucket/source-path c:\my\local\data\path

在一个拥有4核CPU和16GB RAM的系统上，对于像我这样的情况(3-50GB文件)，同步/复制速度从9.5MiB/s提高到700+MiB/s，比默认配置提高了70倍。

其他回答

试试这个命令:

aws s3同步您的bucketnamedirectory您的localdirectory

例如，如果你的桶名是myBucket，本地目录是c:\local，那么:

aws s3 sync s3://myBucket c:\local

有关awscli的更多信息，请查看这个 Aws cli安装

正如@layke所说，从S3 cli下载文件是最好的做法，这是安全的。但在某些情况下，人们需要使用wget来下载文件，下面是解决方案

aws s3 presign s3://<your_bucket_name/>

这将presign将为您提供临时公共URL，您可以使用presign_url从S3下载内容，在您的情况下使用wget或任何其他下载客户端。

对于Windows, S3浏览器是我发现的最简单的方法。这是一款优秀的软件，而且非商业用途是免费的。

在AWS CLI下使用该命令:

aws s3 cp s3://bucketname . --recursive

如果您使用带有S3Fox的Firefox，它确实允许您选择所有文件(shift-选择第一个和最后一个)，然后右键单击并下载所有文件。

我已经处理了500多个文件，没有任何问题。

推荐文章