V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
anonymoustian
V2EX  ›  Redis

spark(1.6)可以连接 redis 官方原生集群么(redis 3.0.0 以上版本)?

  •  
  •   anonymoustian · 2018-03-13 21:25:00 +08:00 · 3753 次点击
    这是一个创建于 2207 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在 redis 服务器集群是 6 台机器,3 主 3 从,采用的是 Redis 的官方集群方案(slot)。

    我想问一下可以直接批量写入 RDD 到 Redis 集群中吗?有没有类似的中间件或者 jar 包,如果写入集群的话,连接的是单点还是集群(多个 IP )机器? 是 spark 做 CRC 的分片还是让 Redis 自己来做?

    而且 spark 算出的 rdd 数目巨大,是否会有性能上的影响?最好可以批量导入。

    有朋友做过类似的开发没,不吝赐教!感谢!

    3 条回复    2018-03-14 13:49:34 +08:00
    kex0916
        1
    kex0916  
       2018-03-14 09:29:37 +08:00
    kex0916
        2
    kex0916  
       2018-03-14 09:44:31 +08:00
    刚刚看了下,这个的 spark 版本有点老,redis 版本 v2.8.12 and v3.0.3,scala2.10 ,可能版本不太合适了
    anonymoustian
        3
    anonymoustian  
    OP
       2018-03-14 13:49:34 +08:00
    @kex0916 它这上面说 Minimal requirements,我再仔细看看
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1545 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 23:59 · PVG 07:59 · LAX 16:59 · JFK 19:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.