1
wellsc 2021-08-01 20:10:20 +08:00
重复消费解决方案网上一搜一大把。。
|
2
jorneyr 2021-08-02 08:20:23 +08:00
Kafka 没注意过,最近看 RocketMQ,提示一个 JVM 中同一个 Group 里只应该有一个 Consumer 实例,且 Consumer 的个数最多等于 partition 的个数。
你在同一个 JVM 中同一个 Partition,同一个 Group 里有 2 个 Consumer,可以考虑下是否设计问题。修改为每个 JVM 只有一个 Consumer,然后 2 个这个程序再看看是否有重复消费问题。 |
3
securityCoding 2021-08-02 09:50:34 +08:00 via Android
消息体给一个唯一 keyq 业务中实现一下幂等
|
4
ericson 2021-08-02 11:28:59 +08:00
可能是因为没有及时 commit
如果想实现 exactly once 的消费策略,需要参考 @securityCoding 提到的在业务层面实现幂等消费(或者去重) 关于 commit 可以看看 [这篇文章]( https://quarkus.io/blog/kafka-commit-strategies/) |
5
huang119412 2021-08-02 11:31:06 +08:00
注意两个参数,auto.offset.reset,enable.auto.commit 。即使一般不会重复消费。重复消费问题,也需要应用层解决。
|
6
BQsummer 2021-08-02 13:56:16 +08:00
1. 没 commit ?
2. 两个消费者都绑同一个分区 0 上了? |