首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

大佬们,有 2T 数据需要在多台服务器之间共享

  •  
  •   jakezh · 32 天前 · 1282 次点击
    这是一个创建于 32 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前在做一个小玩意儿,有一个下载器每天下载 1T 数据到硬盘里面. 需要保留两天的数据, 一共 2T, 这些数据要共享给另外 10 台服务器。 以前一直在用 aws EFS(NFSv4)做的, 在每台服务器上 mount

    但是前两天发现 EFS 读取大文件的时候特别慢 各位大佬有什么解决方案吗

    mount -t nfs4 -o nfsvers=4.2,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2

    用的参数如上,是我参数选的不对吗

    21 回复  |  直到 2019-11-08 12:56:29 +08:00
        1
    jakezh   32 天前
    为了暂时解决,开了另外 3 台服务器,做了一个分布式网络硬盘
    成本稍微有点贵啊, 需要用到 3*2T 的硬盘 加三台服务器, 一个月快$1000 了
    一月少一台 iPhone。。。。不开心
        2
    greatdancing   32 天前 via Android
    小一个级别用的 btsync
        3
    jakezh   32 天前
    @greatdancing #2
    不能用 sync 类的。。。10 台服务器每台上加一个 2T 硬盘贵死了
        4
    jakezh   32 天前
    等一下 我好像算错了,EFS 的价格是 EBS 的三倍,实际上我只多付了三台服务器的钱
        5
    chinuno   32 天前 via Android
    ipfs ?
        6
    icekingcy   32 天前 via iPhone
    歪楼 问个 内网 高速共享文件的方案 NAS 似乎速度并不高啊 上不了 500MB/S
        7
    binux   32 天前 via Android
    EFS 默认是 burst 模式,会根据你使用的容量生成 credit。速度慢应该是你的 burst credit 用完了。
        8
    greatdancing   32 天前 via Android
    @jakezh 你的共享指的是?
        9
    jakezh   32 天前
    @binux #7
    感谢大佬,我去查一下 log
        10
    jakezh   32 天前
    @greatdancing #8
    其实只需要公用读,不需要公用写
        11
    lynnX   32 天前
    https://juicefs.com/ 这个应该可以解决你的问题
        12
    johnniang   32 天前 via Android
    https://min.io/ 不知道这个是否可行
        13
    snw   31 天前 via Android
    @greatdancing
    BTSync 之类的双向实时同步不靠谱的,被坑过。
        14
    greatdancing   31 天前 via Android
    @snw 请问现在的解决方案是?
        15
    openbsd   31 天前
    10 台都要写还是只读 ?
    NFS 问题不大啊,试试只读挂载 ?
        16
    openbsd   31 天前
    .....我好像偏题了.......[狗头保命]
        17
    ungrown   31 天前 via Android
    @icekingcy 存在瓶颈的地方很多的,软件本身,系统调度,硬件方面 CPU、网卡、硬盘,这些都有可能造成瓶颈,多个瓶颈一起来,速度就被掐死了。
        18
    flynaj   31 天前 via Android
    syncthing 同步一下 。
        19
    yuyuko   30 天前
    10 台,每台吞吐多少?到底是多慢讲一下啊
        20
    jakezh   30 天前
    @yuyuko #19
    每天每台平均读 1.5T 左右吧
        21
    yuyuko   30 天前
    @jakezh 别每天啊。。。1 台 /天 1.5T 一台 12MB/s ?
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2321 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 07:39 · PVG 15:39 · LAX 23:39 · JFK 02:39
    ♥ Do have faith in what you're doing.