V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
X-Force
V2EX  ›  DevOps

rsync vs lftp?VPS 每天备份大量文件,哪家强?

  •  
  •   X-Force · 2014-10-27 17:56:15 +08:00 · 9550 次点击
    这是一个创建于 3440 天前的主题,其中的信息可能已经有所发展或是发生改变。
    大家有没实际测试对比过的?

    主要是备份(同步)目前已有的大量图片。每天主要是新增文件,但数量不多,对旧文件的修改很少(偶尔删除几张图而已)。

    最初为了方便不用安装配置 rsync,随手写了一个 lftp 的脚本跑到现在,每天都要跑个2、3小时,95%以上的时间都是在遍历旧文件。

    这个,换成 rsync 会明显比 lftp 快吗?
    16 条回复    2014-10-28 10:08:23 +08:00
    yanwen
        1
    yanwen  
       2014-10-27 18:07:36 +08:00
    bittorrent sync 比较好用。。
    lemonda
        2
    lemonda  
       2014-10-27 18:25:27 +08:00
    速度不知道,我用 duplicity
    aa65535
        3
    aa65535  
       2014-10-27 18:32:14 +08:00
    rsync -au --delete --force $BASE $DEST
    满足你的需求
    20150517
        4
    20150517  
       2014-10-27 19:31:41 +08:00 via Android
    我公司同步mongodata,400gb-800gb全球部署,都是用lftp,rsync好像不能多线程,lftp能多线程,速度基本能跑满
    guoguoer
        5
    guoguoer  
       2014-10-27 19:49:23 +08:00 via Android
    加了文件日期不一致才上传的情况下?
    要不就先用find把新文件找出来传。
    rrfeng
        6
    rrfeng  
       2014-10-27 19:50:45 +08:00
    这种需求最好的方式就是不对比直接传差异~
    leopku
        7
    leopku  
       2014-10-27 23:37:46 +08:00
    bittorrent sync +1
    cevincheung
        8
    cevincheung  
       2014-10-27 23:41:18 +08:00
    无论什么方案,在阿里云上都不行。。。
    X-Force
        9
    X-Force  
    OP
       2014-10-27 23:53:16 +08:00
    @cevincheung 为何?
    mechille
        10
    mechille  
       2014-10-27 23:58:16 +08:00
    现在在用git,也经常用rsync,偶尔lftp。

    个人喜欢前两者,lftp若不是某些图片云服务必须要用,一般不会选择它,实在太慢(尤其是有文件夹结构的时候)
    decken
        11
    decken  
       2014-10-27 23:59:05 +08:00
    btsync 貌似v2ex就是这样同步的
    cevincheung
        12
    cevincheung  
       2014-10-28 01:10:02 +08:00
    @X-Force
    rsync 两台机同步1t的文件,其中800g的图片文件,零碎小文件。两天没完。内网。

    阿里云硬盘读写都在10MBs/s左右,当处理大量小图片时,在1000KB/S左右。白天在2K/s-600K/s左右。
    看着iotop的结果,我也是醉了。
    ctexlive
        13
    ctexlive  
       2014-10-28 03:06:50 +08:00 via Android
    当然用rsync了。它不需要每次遍历旧文件,或者不会像lftp那么蠢,从零开始遍历。否则我的几百G的文件同步岂不是要疯掉。
    LazyZhu
        14
    LazyZhu  
       2014-10-28 08:34:24 +08:00
    lftp 支持 ftp/http吧,而rsync不行,看使用环境吧
    msg7086
        15
    msg7086  
       2014-10-28 08:38:55 +08:00
    ftp不适合那么大量的文件。rsync相对更快一些。
    wanwangkangluo1
        16
    wanwangkangluo1  
       2014-10-28 10:08:23 +08:00
    backupPc
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3235 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 11:45 · PVG 19:45 · LAX 04:45 · JFK 07:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.