V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dennyzhang
V2EX  ›  DevOps

聊聊备份集管理

  •  
  •   dennyzhang · 2016-09-19 10:43:09 +08:00 · 4452 次点击
    这是一个创建于 2747 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我们每天做核心数据的备份。接下来需要:
    - 将备份集拷贝到远端,防止本地磁盘挂了
    - 软删除老的备份集,以避磁盘空间被占满

    用 shell 能实现,再想有没有开源的工具可以拿来用,避免写一些漏水的脚本。

    Note: 我知道 S3 有很好的支持。但感觉有点重了,而且会 vendor lock.
    15 条回复    2016-09-20 14:41:58 +08:00
    zhaoace
        1
    zhaoace  
       2016-09-19 14:43:47 +08:00
    Rsync?


    以下摘自 wiki :
    rsync 是 Unix 下的一款应用软件,它能同步更新两处计算机的文件与目录,并适当利用差分编码以减少数据传输。 rsync 中一项与其他大部分类似程序或协议中所未见的重要特性是镜像对每个目标只需要一次发送。 rsync 可拷贝/显示目录内容,以及拷贝文件,并可选择性的压缩以及递归拷贝。

    在常驻模式( daemon mode )下, rsync 默认监听 TCP 端口 873 ,以原生 rsync 传输协议或者通过远程 shell 如 RSH 或者 SSH 伺服文件。 SSH 情况下, rsync 客户端运行程序必须同时在本地和远程机器上安装。

    rsync 是自由软件,以 GNU 通用公共许可证发行。
    zhaoace
        2
    zhaoace  
       2016-09-19 14:46:27 +08:00
    可能是我没抓住重点。

    如果问题是往哪里丢: S3 / 七牛 / 阿里云存储 之类的可以考虑,国外环境的话 box/dropbox 也不是不行 。
    如果有空间,问题是怎么丢,这时候再来看 rsync 。

    嗓(pen)子比脑子快,见谅。。。
    dennyzhang
        3
    dennyzhang  
    OP
       2016-09-19 15:40:37 +08:00
    rsync, scp, 都能解决问题。但是不是要自己来写些 glue scripts?

    有没有什么 CLI 工具或类库,拿来自己改配置,而非 coding ,即可解决问题。
    likuku
        5
    likuku  
       2016-09-19 15:51:43 +08:00
    rsync + zfs + snapshot
    likuku
        6
    likuku  
       2016-09-19 15:53:58 +08:00
    想起来还有 Bacula 开源的备份软件
    likuku
        7
    likuku  
       2016-09-19 15:55:59 +08:00
    还有哥们的公司用商业的 梭子鱼 / Barracuda Backup 作备份,其实也很阳春...
    likuku
        8
    likuku  
       2016-09-19 15:57:34 +08:00
    google 搜 "开源 备份 工具" 就至少有半打的工具推荐
    chengxiao
        9
    chengxiao  
       2016-09-19 16:09:51 +08:00
    NAS 组 Raid5-6 ?应该不错,对企业来说成本也不高
    likuku
        10
    likuku  
       2016-09-19 16:14:27 +08:00
    @chengxiao RAID5-6 ,至少也得是纯软件来组,否则 RAID 卡停产后再坏掉了,那数据就完了。

    没有几百万去买高端存储设备,那就 ZFS 组带冗余的 ZFS 存储池吧
    chengxiao
        11
    chengxiao  
       2016-09-19 16:17:53 +08:00
    @likuku 额你这考虑的太高端了.....我也比较推荐软 raid ,买个群晖几盘位看需求,自带 rsync 和各种 cloud sync ,可以同步至像 S3 等各种云服务,具体去群晖官网可以体验下 DSM6.0,看看是否能满足需求。
    chinni
        12
    chinni  
       2016-09-19 17:14:30 +08:00
    我自己 在用 borgbackup

    https://github.com/borgbackup/borg/
    ryd994
        13
    ryd994  
       2016-09-19 17:17:16 +08:00 via Android
    @chengxiao raid 不能代替离线备份
    管理员手贱 /病毒 /软件 bug 破坏数据还少么
    chengxiao
        14
    chengxiao  
       2016-09-19 17:21:22 +08:00
    @ryd994 我的意思是备份机上 raid.....
    likuku
        15
    likuku  
       2016-09-20 14:41:58 +08:00
    @ryd994 所以才推荐 zfs 的 snapshot ,当然看来异地备份也是不可少了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1198 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 18:12 · PVG 02:12 · LAX 11:12 · JFK 14:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.