首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kisshere
V2EX  ›  程序员

MySQL 这么成熟的数据库,为什么用 mysqldump 老是要锁表,生产环境直接崩溃

  •  2
     
  •   kisshere · 125 天前 · 7560 次点击
    这是一个创建于 125 天前的主题,其中的信息可能已经有所发展或是发生改变。

    MySQL5.7 版本,一张 800 万行的 MyISAM 表,准备每天定时备份,导出 SQL 至备份盘。因为是生产环境,肯定不能锁表,那样业务全都被锁死了,于是尝试各种方法:

    mysqldump -u root -p --lock-tables=false MyDB MyTable>MyTable.sql //锁表卡死
    
    mysqldump -u root -p --lock-tables=false --skip-add-locks MyDB MyTable>MyTable.sql //锁表卡死
    
    mysqldump -u root -p --lock-tables=false --quick MyDB MyTable>MyTable.sql //锁表卡死
    
    mysqldump -u root -p --compress --quick --triggers --routines --lock-tables=false --single-transaction MyDB MyTable>MyTable.sql //锁表卡死
    

    用 show processlist 查看,一直卡在

    SELECT /*!40001 SQL_NO_CACHE */ * FROM `MyTable`
    

    目前根本不敢备份,用 mysqldump 就锁表,试了好多方法都不行,我快崩溃了,求 V 友数据大神帮忙

    60 回复  |  直到 2019-09-27 14:13:03 +08:00
    GTim
        1
    GTim   125 天前 via iPhone   ♥ 1
    典型的不知道锁表的好处就来攻击锁表

    对于 myisam 备份最快的方式是拷贝物理文件
    wweir
        2
    wweir   125 天前 via Android
    人那么高级的物种,为什么吃饭的时候还要用餐具?吃饭的时候还要花时间洗餐具,直接崩溃
    kisshere
        3
    kisshere   125 天前
    @GTim 拷贝 MySQL 那些数据文件,以后 MySQL 版本升级了咋办,兼容性敢保证么
    ixiaohei
        4
    ixiaohei   125 天前 via iPhone   ♥ 7
    物理拷贝;或者用 binlog 同步到备份数据库;然后对备份数据库 dump 出来,也会不影响生产
    MeteorCat
        5
    MeteorCat   125 天前 via Android
    楼上说的对,直接物理拷贝之后导入同版本 mysql 之后再 mysqldump 出来,虽然费点功夫但是安全和兼容性最高
    lianxiaoyi
        6
    lianxiaoyi   125 天前   ♥ 2
    XtraBackup 了解一下,你这 800 万记录计算你 dump 出来了,当你要恢复的时候,没有半小时算我输。。。
    但是物理备份就不一样了,800 万记录也就几秒钟的事情吧,恢复也就几秒钟的事情。
    我写的简单使用方法,我个人自建的 mysql 就在使用。
    http://notephp.com/?id=58
    imNull
        7
    imNull   125 天前 via Android
    用 binlog
    naix1573
        8
    naix1573   125 天前   ♥ 20
    mysql,你已经是个成熟的数据库了,应该学会自己备份。
    TiggeYL
        9
    TiggeYL   125 天前
    给你一条建议
    你要是建立数据库之前开启了 binlog
    https://github.com/alibaba/canal
    可以尝试阿里云这个方法备份
    TiggeYL
        10
    TiggeYL   125 天前
    @TiggeYL 说错了 是阿里巴巴
    GTim
        11
    GTim   125 天前
    @kisshere 谁吃饱了撑着没事干敢在没停机时升级数据库。如果非要升级数据库,你要先把网站关了,然后使用 dump 之类的导出数据库,然后再备份物理文件,然后再升级。

    mysql 数据目录下的同名数据库里有三个表同名的文件,把那三个文件备份一下就好了
    wd
        12
    wd   125 天前 via iPhone
    myisam 换 innodb ?
    nekolr
        13
    nekolr   125 天前
    MyISAM 不使用共享表空间,直接物理复制数据库目录就可以了,然后放到相同版本的数据库中,再使用 dump 导出 sql。
    DRcoding
        14
    DRcoding   125 天前
    mysqldump 是逻辑备份当然会锁表咯,所以还是花钱上云会方便很多,各种全量、增量备份,数据恢复都妥妥的。

    生产环境的备份 LZ 去了解下 MySQL 如何热备份就好了。
    love
        15
    love   125 天前
    印象中 MyISAM 表就是只能锁表的,innodb 就不会
    siparadise
        16
    siparadise   125 天前
    mysql 这么多存储引擎,偏要用 myisam 这东西 ... ...
    lscho
        17
    lscho   125 天前   ♥ 2
    MySQL 这么成熟的软件,竟然还有人用 mysqldump 热备份?业务量不大的话,推荐物理备份。中等的话,推荐 binlog。再往上我也不知道了。
    siparadise
        18
    siparadise   125 天前
    换个支持 mvcc 的存储引擎,就没这种问题了
    fuye
        19
    fuye   125 天前
    --lock-tables=false 可以取消锁表,但是会导致数据的不一致

    考虑 Innodb 引擎,就可以使用 --single-transaction 做全量一致性备份,配合--flush-logs 可以做增量备份

    --lock-tables, -l
    Lock all tables before dumping them. The tables are locked with READ
    LOCAL to allow concurrent inserts in the case of MyISAM tables. For
    transactional tables such as InnoDB and BDB, --single-transaction is
    a much better option, because it does not need to lock the tables at
    all.
    love
        20
    love   125 天前
    @lscho 我的 vps 就是用 mysqldump 的,每天一次,数据量也不太小吧,备份时哪会锁死网站。
    Felldeadbird
        21
    Felldeadbird   125 天前
    4 楼做法最好了。既不影响生产,也不影响备份。
    Marstin
        22
    Marstin   125 天前
    支持#11 老哥
    zkaip
        23
    zkaip   125 天前
    4 楼 +1
    fuyufjh
        24
    fuyufjh   125 天前
    这年头还有人用 MyISAM
    xiaogui
        25
    xiaogui   125 天前
    推荐分主从数据库,然后用从库进行备份、查询等工作。
    wps353
        26
    wps353   125 天前
    嗦嘎,这年头我还有人在使用这个引擎。
    bomb77
        27
    bomb77   125 天前
    lz 觉得物理备份有兼容性问题的这个思路不对,备份是用于故障意外导致原本的数据库损害无法访问等问题的恢复工作,不是拿来给你升级用的,你拿备份恢复数据的时候总不能用一个不同的 mysql 版本吧。。
    升级数据库版本就是另外一个问题了。
    d0m2o08
        28
    d0m2o08   125 天前
    xtrabackup +1
    用了都说好
    awanabe
        29
    awanabe   125 天前
    做一个主备
    no13bus
        30
    no13bus   125 天前
    锁表是为了一致性
    ladypxy
        31
    ladypxy   125 天前 via iPhone
    Myisam 最好的备份方法是加锁,物理备份,释放锁。
    如果是 zfs,直接快照,瞬间完成
    a54552239
        32
    a54552239   125 天前
    为啥这年头不能用 MyISAM ?
    Raymon111111
        33
    Raymon111111   125 天前
    MyISAM 不成熟
    x7395759
        34
    x7395759   125 天前
    学艺不精,请多看书
    akira
        35
    akira   125 天前
    不锁表的话,备出来的数据只能拿来参考,不能拿来恢复的。 而且原则上,全量备份的时候,建议还是先停业务,再来备份,会比较安全。
    Sherlocker
        36
    Sherlocker   125 天前
    mydumper 了解一下
    Mac
        37
    Mac   125 天前 via Android
    主从复制,然后备份从表啊
    littlewing
        38
    littlewing   125 天前
    1. 用 innodb,mysqldump --single-transaction
    2. 用 xtrabackup
    zhaogaz
        39
    zhaogaz   125 天前   ♥ 1
    java,你已经是个成熟的语言了,应该学会自己写业务代码。
    haozxuan001
        40
    haozxuan001   125 天前
    我只想说一句话,不锁表,老板问你这是什么时候的数据,你说两个小时前的?五分钟前的?哪怕完成前一秒有个更新操作,你不就崩了。这个道理你不会不懂吧
    julyclyde
        41
    julyclyde   125 天前
    存储引擎都这么成熟了,你还不使用成熟的那个
    swulling
        42
    swulling   125 天前
    开启主备,然后对备库进行 dump。不都这么做的,还用来问?
    wzq001
        43
    wzq001   125 天前
    #4 #42 方法可以啊,觉得没毛病,求楼下大佬怼
    small32
        44
    small32   125 天前
    @naix1573 #8 你也在看超神制卡师?
    dog82
        45
    dog82   125 天前
    行锁、表锁适用的场合不同。
    不要用老旧的 myIsam 了
    数据库管理系统的复杂度跟操作系统是一个级别的,不明白内部运行机制,还是要怀有敬畏之心
    IamUNICODE
        46
    IamUNICODE   125 天前
    看标题心里咯噔一下,然后发现我们引擎用的 innodb,还好还好
    reus
        47
    reus   125 天前
    是你知识水平不够,不是 mysql 不够成熟,就是这样
    AngelCriss
        48
    AngelCriss   125 天前 via Android
    换 pg
    Unclev21x
        49
    Unclev21x   125 天前
    @lianxiaoyi 您这个博客用的哪个啊,看起来挺舒服的。
    cyspy
        50
    cyspy   125 天前
    binlog 重放
    wujianxiong
        51
    wujianxiong   125 天前
    mysql,你已经是个成熟的数据库了,应该学会自己备份。
    FullBridgeRect
        52
    FullBridgeRect   124 天前 via Android
    我,mysql,备份
    eric
        53
    eric   124 天前
    XtraBackup 了解一下
    realpg
        54
    realpg   124 天前
    MYISAM 啥时候就能代表 MYSQL 了?
    darkmi
        55
    darkmi   124 天前
    mydumper
    mysqldump
    mysqlpump
    xtrabackup
    areless
        56
    areless   124 天前
    每天都从 raid1 拔出一块硬盘,标上日期。插入一块同型号的新硬盘。如此循环反复
    simonlu9
        57
    simonlu9   124 天前
    mysqldump 有一个参数开启事务的,不会锁表的,如果表是 myisam 就没办法啦,肯定锁表
    Imr
        58
    Imr   124 天前 via iPhone
    @lscho 再往上还是 mysqldump /滑稽 小数据量和超大大数据量备份最高效的选择
    lopetver
        59
    lopetver   124 天前
    推荐 XtraBackup 目前项目的生产环境就是用它负责备份的。官网文档很齐全
    mineqiqi
        60
    mineqiqi   124 天前
    4 楼说得对,不影响生产,不影响备份。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2442 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 31ms · UTC 12:10 · PVG 20:10 · LAX 04:10 · JFK 07:10
    ♥ Do have faith in what you're doing.