V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
wangyzj
V2EX  ›  程序员

寻求一个高速低成本的公有云下云数据迁移方案

  •  
  •   wangyzj · 32 天前 · 1633 次点击
    这是一个创建于 32 天前的主题,其中的信息可能已经有所发展或是发生改变。

    寻求一个高速低成本的公有云下云数据迁移方案

    最好是各位彦祖实操过的,有数据支撑

    主要关注迁移速度和所需时间

    数据量为 10TB 级别,均为文件存储

    我简单咨询过云厂商,貌似不能拿硬盘去直接插入

    不知道各位彦祖有没有实操经验

    万分感谢

    第 1 条附言  ·  31 天前
    程序可以改,数据变化还是比较大的

    停机迁移时间最好不超过 24 小时
    25 条回复    2024-11-19 14:42:52 +08:00
    fredcc
        1
    fredcc  
       32 天前
    AWS 有 snowball 服务,国内公有云的话,只要出流量费,速度不是问题。10T 按流量计费也才 8000 元
    qiuyoo
        2
    qiuyoo  
       32 天前
    在同一个云服务商,买一个主机(带宽固定,不需要额外费用的),正常情况同一个云主机商访问自家云存储,费用很低。然后代理慢慢下载,不行就多买几台。
    dode
        3
    dode  
       32 天前
    可以采购云服务商的裸金属服务器,备份硬盘拿出来吗
    juzisang
        4
    juzisang  
       32 天前
    OSS 打包上传下载恢复。
    esee
        5
    esee  
       32 天前 via Android
    你前提都没指定,很难跟你说具体方案,比如程序能不能改动,文件是否存在经常变动还是只读的情况。
    wangyzj
        6
    wangyzj  
    OP
       31 天前
    @esee #5 程序可以改,数据变化还是比较大的
    realpg
        7
    realpg  
       31 天前
    空手套 100K 级别迁移方案
    esee
        8
    esee  
       31 天前
    @wangyzj 你都可以停机了,还 24 小时那么长,那还有啥纠结的呀,就付个流量费,直接导出就完事了呀,10T 数据量真不大。但是如果你都是小文件文件数量多,那可能时间长一些,考虑一下文件数量,千兆带宽跑满,几个小时就导完了
    cust2008
        9
    cust2008  
       31 天前
    @wangyzj 搞个同一家云公司的低成本的云服务器然后迁移 或者按需付费的 迁移 可以吧
    catsnl
        10
    catsnl  
       31 天前 via iPhone
    标贴看成高速公路传输,我还以为是卡车运硬盘
    crackidz
        11
    crackidz  
       31 天前
    假如你需要传输 20 个小时,你算一下带宽需求不就好了...

    反正是停机嘛
    wangyzj
        12
    wangyzj  
    OP
       31 天前
    @realpg #7 😎😜
    wangyzj
        13
    wangyzj  
    OP
       31 天前
    @esee #8 小文件是比较多,这不寻思尽量花小钱办大事么
    如果没啥畊好办法只能买线
    wangyzj
        14
    wangyzj  
    OP
       31 天前
    @cust2008 #9 可我是要下云
    hongfs
        15
    hongfs  
       30 天前
    @wangyzj #14 OSS 10TB 套餐包,也就四千多。
    dann73580
        16
    dann73580  
       30 天前
    10t 不多啊,为啥不能在线着慢慢跑? rsync 跑完后停机再增量跑下变化的就可以直接下掉上线了啊?
    Kinnice
        17
    Kinnice  
       30 天前
    三四千差不多,直接买流量包就可以
    yc8332
        18
    yc8332  
       30 天前
    数据迁移过程不停机,就是要切到云上的时候停一会就行。。。就是通过数据库同步功能做的。。数据也有几个 t
    dilu
        19
    dilu  
       30 天前
    文件系统,我理解就是图片视频之类的静态资源呗?假设是这样的话那就很简单啊 甚至都不用停机

    首先,假定原本的数据源为 A ,新的数据源为 B ,对 A 和 B 的操作主要就是读和写嘛~

    对于读,可以先不用修改,返回的地址不同就行了,例如 A 返回的是 a.xxx.com/y.jpg B 返回的是 b.xxx.com/z.jpg

    对于写,可以设置一个开关,第一步先双写一段时间,返回的读地址是 A 的,经过一段时间可以按流量返回读 B 的地址。

    经过一段时间的验证,确认数据源 B 是稳定的之后,改写的开关,改为只写到 B ,只返回 B 的地址。当然此时 A 依然可以访问。

    同时,想办法把 A 的文件拷贝到 B ,这个随便你怎么搞都行,主要成本在流量费上。假设有千兆的同步速度,平均稳定在 100Mb/s 的话,10*1024*1024/100/3600 约等于 29 小时,速度还算可以的。

    再验证一段时间,数据源 B 完全没问题之后,把之前指向 A 域名的全部更新为指向 B ,再过一段时间确认没问题了再彻底下掉 A 即可。
    wangyzj
        20
    wangyzj  
    OP
       30 天前
    @yc8332 #18 虽然我和你的场景不一样,但你应该不是一个库那么大把?
    wangyzj
        21
    wangyzj  
    OP
       30 天前
    @dilu #19 你这个针对互联网场景可以,我这个不太一样,不过还是谢谢
    yc8332
        22
    yc8332  
       29 天前
    @wangyzj 不是,有好几个库。。最大的 2t 左右
    cyningxu
        23
    cyningxu  
       29 天前 via Android
    都可以停机,那方案不是贼简单?
    q958951326
        24
    q958951326  
       29 天前
    弄个百度云盘会员,没多少钱。操作简单,速度取决于你的云服务器的上行带宽,愿意花钱就开个临时带宽升级(我这里开一天 300 多),不愿意就慢慢跑呗。
    wangyzj
        25
    wangyzj  
    OP
       29 天前
    @yc8332 #22 也不算小
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3091 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 13:51 · PVG 21:51 · LAX 05:51 · JFK 08:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.