V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
whereabouts
V2EX  ›  问与答

小内存机器 1 亿条数据的 Mongodb 按顺序每条数据读取出来处理一下不用写回 有什么比较好的方法吗

  •  
  •   whereabouts · 2018-07-26 17:46:43 +08:00 · 1278 次点击
    这是一个创建于 2318 天前的主题,其中的信息可能已经有所发展或是发生改变。
    只有几个 GB 的内存,每次只能读取几万条处理吧,太多了内存不够。不知效率如何?
    每次取一条处理后再取的话,是不是效率比较低?
    2 条回复    2018-07-26 18:41:01 +08:00
    onion83
        1
    onion83  
       2018-07-26 18:08:28 +08:00
    MongoDB FindAll 返回的是一个游标,不会直接返回全部内容。不遍历的话,本身不会消耗太多内存。

    如果不复杂的话,mongodb 也可以通过一些内置的 js 做聚合操作或简单运算的。
    rrfeng
        2
    rrfeng  
       2018-07-26 18:41:01 +08:00 via Android
    这种问题都想说,你用 MongoDB 干啥呢?从文本里读不好么
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2278 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 00:54 · PVG 08:54 · LAX 16:54 · JFK 19:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.