V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hulk
V2EX  ›  程序员

golang consumergroup 开源

  •  
  •   hulk ·
    git-hulk · 2017-01-13 16:33:58 +08:00 · 2991 次点击
    这是一个创建于 2872 天前的主题,其中的信息可能已经有所发展或是发生改变。

    对的, meitu 自己内部除了搞了一个 php 版本的 kafka consumer group ,还搞了一个 golang 版本的。

    为什么不用已有的? 主要当前已有的版本设计有些不符合我们的预期,比如:

    • consumer 启动消费,应该要么全部分区成功,要么启动失败而不能是部分,之前踩过这个坑
    • 日志耦合到依赖库,依赖库日志量巨大,线上不得不关闭。如果有问题没有任何日志可以排查。
    • 重试机制比较奇怪..

    综上我们内部自己基于 sarama 和 go-zookeeper 开发了自己的版本,并在内部线上使用一段时间。

    现在放到 github 上面来,欢迎 pr 或者拍砖。

    地址: https://github.com/meitu/go-kafka-consumergroup

    php 版本见之前主题: https://www.v2ex.com/t/330413

    6 条回复    2017-01-13 22:01:35 +08:00
    agtc
        1
    agtc  
       2017-01-13 17:19:25 +08:00
    已 star
    hulk
        2
    hulk  
    OP
       2017-01-13 17:35:18 +08:00
    @agtc 感谢支持哈
    0915240
        3
    0915240  
       2017-01-13 18:23:51 +08:00
    资瓷~
    hulk
        4
    hulk  
    OP
       2017-01-13 18:36:42 +08:00
    @0915240 甚可思
    spice630
        5
    spice630  
       2017-01-13 20:21:06 +08:00
    你是怎么 解决这些问题的?
    hulk
        6
    hulk  
    OP
       2017-01-13 22:01:35 +08:00
    @spice630

    1. 启动部分失败直接退出并提示信息(这时候一定是有问题才会占用失败),处理完重启。
    2. 提供一套独立的日志接口
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2814 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 09:30 · PVG 17:30 · LAX 01:30 · JFK 04:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.