V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
UN2758
V2EX  ›  程序员

求助,如何从 aws s3 上下载文件?

  •  
  •   UN2758 · 2017-12-06 16:45:50 +08:00 · 7313 次点击
    这是一个创建于 2304 天前的主题,其中的信息可能已经有所发展或是发生改变。
    想下载一个 google 的数据集,可是网上没有什么关于从 s3 上下载文件的教程
    13 条回复    2019-10-16 22:18:56 +08:00
    knightdf
        1
    knightdf  
       2017-12-06 17:52:49 +08:00
    如果是 public 的话可以直接下,不是的话需要配置 key
    awscli 或者直接网上上点击下载
    mengzhuo
        2
    mengzhuo  
       2017-12-06 18:07:35 +08:00 via iPhone
    Cyberduck
    UN2758
        3
    UN2758  
    OP
       2017-12-06 21:40:26 +08:00
    @knightdf 应该是公共的,我安装了 awscli,但是文档里没有看见怎么下载的说明啊,我想下载这个文件 s3://datasets.elasticmapreduce/ngrams/books/20090715/chi-sim-all/3gram/data
    knightdf
        4
    knightdf  
       2017-12-06 22:35:32 +08:00
    @UN2758 `aws s3 sync s3://datasets.elasticmapreduce/ngrams/books/20090715/chi-sim-all/3gram/data /local/path`
    knightdf
        5
    knightdf  
       2017-12-06 22:37:26 +08:00
    @UN2758 我以为这是一个目录,看了下,是一个文件,用 aws s3 cp 就好了,不需要 sync
    UN2758
        6
    UN2758  
    OP
       2017-12-07 16:09:55 +08:00
    @knightdf 显示报错:fatal error: Unable to locate credentials
    UN2758
        7
    UN2758  
    OP
       2017-12-07 16:37:33 +08:00
    @knightdf 进 aws configure 改了下 region 后保存,在 aws 和 s3 之前加了个--debug --no-sign-request 就好了,顺便说一句,vps 网速都这么爆炸的吗?每秒 4-50mb
    knightdf
        8
    knightdf  
       2017-12-08 16:20:20 +08:00
    @UN2758 aws config
    aws 网很快的,有时候是 aws 的内网,90 几 M 都很常见
    TomatoAres
        9
    TomatoAres  
       2019-03-07 14:11:26 +08:00
    我也遇到这个问题了,configure 配置 region 外还要配什么呢? aws s3 ls 总是没有权限
    UN2758
        10
    UN2758  
    OP
       2019-03-08 02:56:37 +08:00
    @TomatoAres #9 不知道额,当时我没有提示没权限。。。
    TomatoAres
        11
    TomatoAres  
       2019-03-08 23:38:50 +08:00
    @UN2758 让我下文件的人忘给我 access 相关的 aws_access_key_id 和 aws_secret_access_key 了
    oldbird
        12
    oldbird  
       2019-10-10 15:08:28 +08:00
    从 AWS S3 上下载是不是要付费的?
    UN2758
        13
    UN2758  
    OP
       2019-10-16 22:18:56 +08:00
    @oldbird #12 不需要,但是要魔法上网吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3815 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 05:07 · PVG 13:07 · LAX 22:07 · JFK 01:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.