V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
牛客网
a7217107
V2EX  ›  程序员

elasticsearch 单机高并发写入出现丢失数据的情况

  •  
  •   a7217107 · 46 天前 · 1056 次点击
    这是一个创建于 46 天前的主题,其中的信息可能已经有所发展或是发生改变。

    es 在并发写入的情况下,为啥会出现部分数据丢失的情况?

    10 条回复    2020-09-14 18:01:08 +08:00
    90928yao
        1
    90928yao   46 天前
    压测的时候?
    des
        2
    des   46 天前
    看看有没有报错什么的,es 的内部队列满了会暂时拒绝请求
    a7217107
        3
    a7217107   46 天前
    @90928yao 是的,并发量高一点就会丢
    a7217107
        4
    a7217107   46 天前
    用的 x-pack
    Macuilxochitl
        5
    Macuilxochitl   46 天前
    关注一下错误率
    wakzz
        6
    wakzz   46 天前
    贴一下返回的报错报文以及 es 的报错日志
    yoqu
        7
    yoqu   46 天前
    建议通过消息队列异步入 es
    gtexpanse
        8
    gtexpanse   46 天前
    只要涉及到写入 es 的,就一定要关注写入失败的情况,参考:
    `_cat/thread_pool?v`
    kefirzhang
        9
    kefirzhang   46 天前
    再没有写入 ack 确认,失败重试的情况下,如果高并发写入达到 es 瓶颈肯定会拒绝后续请求造成数据丢失。
    可以采用写到 redis 的队列里面用 logstash 读取。或者写到 kafak 里面 ,
    其实原理一样 写到一个缓存队列,削峰填谷!
    manaBurn
        10
    manaBurn   46 天前
    如果是同一个文档,是因为 es 的乐观锁机制造成的版本冲突吧?
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1777 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 17:05 · PVG 01:05 · LAX 10:05 · JFK 13:05
    ♥ Do have faith in what you're doing.