V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐工具
RoboMongo
推荐书目
50 Tips and Tricks for MongoDB Developers
Related Blogs
Snail in a Turtleneck
pancts
V2EX  ›  MongoDB

有没有什么快速的方法导出 mongodb 的数据?

  •  
  •   pancts · 2015-11-29 18:18:24 +08:00 · 4840 次点击
    这是一个创建于 3284 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用自带的工具导出 json 或者 csv 都太慢了

    cpu 和内存都没怎么变化两天才导出 30g 数据

    大概需要导出五千万条,请问有什么办法么

    8 条回复    2015-11-30 11:05:08 +08:00
    fractal314
        1
    fractal314  
       2015-11-29 19:56:08 +08:00
    多找几台机子,自己写个脚本试试呢?
    matthewz
        2
    matthewz  
       2015-11-29 20:46:08 +08:00   ❤️ 1
    Unfortunately, It's a feature of MongoDB

    copy the files in your database directory itself (default /data/db) rather than using mongodump/mongoresotre. If you can shut down your database for periods of time, this is best. Otherwise, you have to use file system snapshots or similar. See this for more the official mongo blurb: http://docs.mongodb.org/manual/core/backups/
    TJT
        3
    TJT  
       2015-11-29 21:17:25 +08:00 via Android
    多进程和分布式
    zzlyzq
        4
    zzlyzq  
       2015-11-30 00:16:52 +08:00 via Android   ❤️ 1
    如果是 replica set 模式,可以搞出来一个 secondary 然后移花接木
    pancts
        5
    pancts  
    OP
       2015-11-30 11:03:36 +08:00
    @TJT 单线程都会溢出。。可能是翻页的问题 还需要优化
    pancts
        6
    pancts  
    OP
       2015-11-30 11:04:25 +08:00
    @fractal314 分布式嘛。。资金短缺。。
    pancts
        7
    pancts  
    OP
       2015-11-30 11:04:55 +08:00
    pancts
        8
    pancts  
    OP
       2015-11-30 11:05:08 +08:00
    @zzlyzq 目前只有这个办法了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5944 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 02:22 · PVG 10:22 · LAX 18:22 · JFK 21:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.