V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
binbinyouliiii
V2EX  ›  数据库

rsync 对数据库增量备份效果怎么样

  •  
  •   binbinyouliiii · 2018-09-21 19:47:21 +08:00 · 2265 次点击
    这是一个创建于 2015 天前的主题,其中的信息可能已经有所发展或是发生改变。

    数据需要备份到本地,但是服务器带宽很小,做增量备份对我来说是个很好的选择。

    但是碍于数据量比较大,带宽小,测试成本较高,所以做一回伸手党,来问下用这个效果怎么样。

    1.备份出来的数据都是 json 或者 sql 文件,用 gzip 的话压缩率很高,但是这样的是不是增量更新效果会大大减弱?
    2.假设本地文件内容是 aaabbb,服务器内容是 aaacccbbb,增量更新的话是从 ccc 处往后的内容全部更新还是自动只更新 ccc ?

    小弟不胜感激

    13 条回复    2018-09-22 09:55:42 +08:00
    ETiV
        1
    ETiV  
       2018-09-21 20:01:56 +08:00
    binbinyouliiii
        2
    binbinyouliiii  
    OP
       2018-09-21 20:12:46 +08:00
    @ETiV #1 谢谢,不过现在主要是 pgsql 和 mongo
    privil
        3
    privil  
       2018-09-21 20:14:52 +08:00
    在云上面的话,再开一个机器流量计费拖吧,别省这个钱,备份值的。
    binbinyouliiii
        4
    binbinyouliiii  
    OP
       2018-09-21 20:17:47 +08:00
    @privil #3 在云上的话我就直接快照了
    liangzi
        5
    liangzi  
       2018-09-21 20:37:54 +08:00 via Android   ❤️ 1
    第一次运行全部备份 之后都是备份有变化的文件 具体参数怎么写还得看需求 我自己备份 VPS 用这个 不过对于非 root 用户 无法完整备份(比如 sudoer 之类的文件就不能备份) 据说:如果需要完整备份 得在 VPS 上运行 rsync 的 server 才行。PS:root 用户登录 ssh 例外。
    asilin
        6
    asilin  
       2018-09-21 20:38:10 +08:00   ❤️ 2
    gzip 有一个 --rsyncable 选项,专门为 rsync 调优的,你可以试试,看下实际效果。
    westoy
        7
    westoy  
       2018-09-21 20:41:05 +08:00
    主从, 定期停从机进行完整备份
    letitbesqzr
        8
    letitbesqzr  
       2018-09-21 21:45:25 +08:00
    @westoy #7 如果数据量大,会不会有问题,从停太久,恢复以后同步速度跟不上主的新增速度?
    expy
        9
    expy  
       2018-09-21 21:54:46 +08:00
    rsync 有个-z 选项可以试试。
    billlee
        10
    billlee  
       2018-09-21 21:58:12 +08:00
    mysql 增量备份用 binlog
    letitbesqzr
        11
    letitbesqzr  
       2018-09-22 00:02:06 +08:00   ❤️ 2
    @billlee #10 percona-xtrabackup 就是利用 binlog 来增量的,前几个周发布的测试版本总算支持 mysql 8 了,等出正式版支持 mysql 8 就可以考虑上 mysql 8 了。
    likuku
        12
    likuku  
       2018-09-22 00:41:04 +08:00   ❤️ 1
    纯文本的话,rsync 作增量还是 OK 的,尤其是开启了 -z 参数 (#9 楼赞一个),
    注意安全的话,最好再套一个专用 VPN 来加个秘,或者让 rsync 直接呼叫 ssh 起个隧道来通讯(更省事),
    rsync -z 在收发两头都是 linux 条件时工作正常。
    aerostone
        13
    aerostone  
       2018-09-22 09:55:42 +08:00 via Android
    马克一下,现在是云备份,看后续有没有需求
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3676 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 00:13 · PVG 08:13 · LAX 17:13 · JFK 20:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.