V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Nicky09
V2EX  ›  程序员

关于内存数据库的方案

  •  
  •   Nicky09 · 2018-10-22 23:09:43 +08:00 · 3930 次点击
    这是一个创建于 2228 天前的主题,其中的信息可能已经有所发展或是发生改变。

    遇到个需求,大佬帮忙想想。。。给个大致方向即可。

    Q:

    • 内存数据库(或分布式内存管理系统??)
    • 支持集群
    • 本地读写要和内存直接读写的速度在一个量级
    • 读写大文件 1mb ~ 100mb

    我目前的想法是 redis + shared memory module 解决本地读写速度的问题。 集群的话,直接使用 redis 自带方案,反正瓶颈是在 bandwith 上......

    PS:redis 本机的 benchmark 做下来性能不理想才考虑使用 shared memory

    12 条回复    2018-10-23 10:06:07 +08:00
    luozic
        1
    luozic  
       2018-10-23 00:32:36 +08:00 via iPhone
    这么大的数据为啥不直接存文件系统,redis 只用来存文件路径和 hash 值
    dragonsunmoon
        2
    dragonsunmoon  
       2018-10-23 01:30:05 +08:00
    yanaraika
        3
    yanaraika  
       2018-10-23 02:59:31 +08:00
    读写大文件应该直接上分布式 fs
    owenliang
        4
    owenliang  
       2018-10-23 07:36:18 +08:00 via Android
    大哥不说业务场景不合适吧
    yulitian888
        5
    yulitian888  
       2018-10-23 08:40:04 +08:00
    1mb ~ 100mb 这个大小范围,不适合用 redis 了吧
    xyjincan
        6
    xyjincan  
       2018-10-23 08:46:08 +08:00
    哥哥内存真大,
    xyjincan
        7
    xyjincan  
       2018-10-23 08:52:21 +08:00
    本地读写要和内存直接读写的速度在一个量级 反正瓶颈是在 bandwith 上...... ?
    agostop
        8
    agostop  
       2018-10-23 08:58:17 +08:00
    确定是要存文件?直接把内存划一片出来挂载上用就行了呗,弄这么麻烦,或者 /dev/shm 也是内存区域啊,改改大小直接用呗
    crazycen
        9
    crazycen  
       2018-10-23 09:05:29 +08:00 via iPhone
    有钱上 HANA
    fireapp
        10
    fireapp  
       2018-10-23 09:59:16 +08:00 via iPhone
    alluxio 热数据全部 pin 在内存
    print1024
        11
    print1024  
       2018-10-23 10:00:19 +08:00
    [alluxio]( https://www.alluxio.org/docs/1.8/cn/) 这个是开源的分布式内存文件系统,开发文档写的不错。
    ffeii
        12
    ffeii  
       2018-10-23 10:06:07 +08:00 via iPhone
    ignite
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4498 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 05:34 · PVG 13:34 · LAX 21:34 · JFK 00:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.