fantasyjm
V2EX  ›  问与答

求问 有什么好办法可以下载大量境外数据吗?

  •  
  •   fantasyjm · Dec 8, 2022 · 4237 views
    This topic created in 1433 days ago, the information mentioned may be changed or developed.

    在美国的实验室( A )有 100TB~的实验数据 想要下载到在大陆的主机( C )上 目前正在用 Syncthing 上传和下载( A )<->( B ),速度只有 1MB/s 左右

    但是从( A )上传数据到 Google Cloud Storage 的速度可以达到 200~300MB/s

    从 Google Cloud 下载到大陆的主机( C )好像比较复杂

    求问各位,有没有更好的方法

    26 replies  •  2022-12-11 00:15:50 +08:00
    ComTNT
    ComTNT
    Dec 8, 2022
    1
    One Drive 国内的速度好像还可以
    WinkeyLin
    WinkeyLin
    Dec 8, 2022 via Android❤️8
    2
    这种情况建议物理邮寄硬盘
    googlefans
    googlefans
    Dec 8, 2022
    3
    有种子
    redegg
    redegg
    Dec 8, 2022 via iPad
    4
    违反当地法律吗?
    RunCax
    RunCax
    Dec 8, 2022❤️1
    5
    100TB 直接物理邮寄啊。
    RunCax
    RunCax
    Dec 8, 2022❤️1
    6
    @RunCax 而且实验室的数据,放到公网上真的好吗?
    SenLief
    SenLief
    Dec 8, 2022 via iPhone
    7
    物理快递回来就好了
    longbow0
    longbow0
    Dec 8, 2022
    8
    6 块 18T 的硬盘就行
    如果双方都有磁带机,寄磁带应该更加方便
    要考虑的是能不能出海关
    yaoyaomoe
    yaoyaomoe
    Dec 8, 2022 via iPhone
    9
    1. 速度只有 10mbps 的话 建议确定一下对端是不是走了 relay 两边直接用端口访问看一下。速度和地区也有关,不行强制 tcp 看看?我从 cn 到 kr 能跑满
    2. 100t 的话还是硬盘吧……
    livepps
    livepps
    Dec 8, 2022 via Android
    10
    上传到 onedrive for business ,国内可以之间下载,速度很快,就是不大稳定
    kome
    kome
    Dec 8, 2022
    11
    前段时间, 清华大学的一位教师分享了他从日本传递实验数据的经历, 采用的磁带运输, 这个是当时的直播直播视频链接:
    , 应该可以参考一下.
    netabare
    netabare
    Dec 9, 2022❤️1
    12
    100TB……最好的办法感觉是买张机票飞过去领回来。
    eason1874
    eason1874
    Dec 9, 2022
    13
    1MB/s ,还没有 OneDrive 快,移动宽带直连 OneDrive 客户端同步都有 5MB/s

    不在乎时间的话,开 OneDrive 商业版慢慢同步

    不差钱的话,用云厂商的对象存储,上传到海外区域,开启跨区域复制,复制到大陆区域,然后从大陆区域下载,200TB 的流量费用得 10 万左右
    eason1874
    eason1874
    Dec 9, 2022
    14
    就现在的网络环境,性价比最高的方式还是邮寄。虽然买存储设备也得好几万,但是可以反复使用。传输加速的 10 万花了就真的花了,渣都不剩
    davelm
    davelm
    Dec 9, 2022
    15
    Syncthing 比较慢,用种子,然后 ipv6 地址来传输,速度会很快
    idblife
    idblife
    Dec 9, 2022
    16
    @eason1874
    哪家云厂商能支持海外区域复制到大陆区域?
    不都是环境隔离的么?
    eason1874
    eason1874
    Dec 9, 2022
    17
    @idblife 大部分都行吧,阿里云腾讯云都有啊。各区域默认是隔离的,跨区域复制是增值服务,需要另外开通。他们还有更贵的增值服务,传输加速域名,都不用等复制,直接用加速域名就可以访问
    OrangeLoveMilan
    OrangeLoveMilan
    Dec 9, 2022
    18
    100T 确实有点大,如果非要使用远程传输的方式, 可以试试买 CN2 的云服务器做代理,,速度应该会比你目前 1MB/s 提高 20~30 倍这样.
    买 CN2 的服务器之前记得做个跳转测试,看看是不是从国内直连到 us 的
    yimiaoxiehou
    yimiaoxiehou
    Dec 9, 2022 via Android
    19
    @idblife 区域复制,加钱
    idblife
    idblife
    Dec 9, 2022
    20
    @eason1874
    @yimiaoxiehou
    哦,了解了,国内云厂商可以这么做。
    aws ,azure 有合规要求不能做
    systemcall
    systemcall
    Dec 9, 2022 via Android
    21
    100tb 最好还是邮寄硬盘或者磁带
    不知道你这 2 个机器直连的速度怎么样,要是速度还可以的话,可以考虑 zerotier ,有可能需要 moon
    如果走 moon 中转估计就很贵了。100TB 的流量,并且国内连接性好,这种机器不便宜吧。那些开机场的可能有这种大盘鸡
    lin559671
    lin559671
    Dec 9, 2022 via Android
    22
    套个 warp 解千愁,电信联通直连 warp 下载速度 500m/s
    ,加速访问 Google cloud
    kice
    kice
    Dec 10, 2022 via Android
    23
    100Mbps 的速度传都要传差不多 100 天。100T 最好还是肉身带回来,如果不是涉及美国国家安全,出境并不难,主要是入国内海关比较悬。至少说把数据拿到物理距离比较近的地方。

    其次的话,就是找个中间代理。优先考虑上传国内云盘,前提是做好加密,即使是简单的 xor 也能防止被炸。大体上准备多个账号,多线程上传,下载倒是还说,毕竟服务器在国内。
    kice
    kice
    Dec 10, 2022 via Android
    24
    其实我觉得这个问题问出来是想要开机场。

    如果真的只是传数据,那么可以和国内机房或者开机场的进行合作,价格相对来说比商业用的加速服务便宜一些。

    syncthing 想要加速的话,多买些服务器进行“做种”。文档里面也写了,节点越多,同步速度越快。

    其实如果时间不是问题,慢慢传得了。
    natsji
    natsji
    Dec 10, 2022 via Android
    25
    100tb 慢慢传 1mb/s 要传三年吧
    ShineyWang
    ShineyWang
    Dec 11, 2022 via Android
    26
    NGA 上有人问了一个类似的问题,你可以参考一下
    https://ngabbs.com/read.php?tid=33011578
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1129 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 60ms · UTC 23:19 · PVG 07:19 · LAX 15:19 · JFK 18:19
    ♥ Do have faith in what you're doing.