这是一个创建于 1228 天前的主题，其中的信息可能已经有所发展或是发生改变。
背景
外部团队给了一个 topic，这个 topic 只有一个分区，因为消息之间有强顺序关系。
问题
目前我们团队发现这个 topic 的消费速度有点慢，想优化下。
我自己想到了两种解决办法，感觉这两种方式都不太好。
解法 1
基于多单消费者的基础上，自己写个线程池，并发处理消息。
这个方法的缺点是只能有一个实例在消费消息(单消费者)，无法扩展。
解法 2
引入 kafka, 把消息做一层转发，可以根据自己的业务逻辑做分区。
缺点是引入了一个中间件。
欢迎大佬们讨论
外部团队给了一个 topic，这个 topic 只有一个分区，因为消息之间有强顺序关系。
问题
目前我们团队发现这个 topic 的消费速度有点慢，想优化下。
我自己想到了两种解决办法，感觉这两种方式都不太好。
解法 1
基于多单消费者的基础上，自己写个线程池，并发处理消息。
这个方法的缺点是只能有一个实例在消费消息(单消费者)，无法扩展。
解法 2
引入 kafka, 把消息做一层转发，可以根据自己的业务逻辑做分区。
缺点是引入了一个中间件。
欢迎大佬们讨论
 |
1
Fu4ng OP 感觉第二个办法会好点？
|
 |
2
jimmyismagic 2021-07-14 20:49:37 +08:00
你这个题目得讲清楚，topic 是个啥，听样子也是个 kafka
消费慢，得看是读取慢，还是处理慢 |
|
3
Fu4ng OP @jimmyismagic
是的 也是一个 kafka |
|
4
Fu4ng OP @jimmyismagic 是处理慢
|
|
5
jimmyismagic 2021-07-14 21:01:36 +08:00
@Fu4ng 扩展了就能处理快吗？得看你需要扩展几个线程，如果你要扩展到几百个分区才能处理，就扩展，否则就是 1
同时需要看一下处理是 cpu 密集型还是 io 密集型 |
|
6
Fu4ng OP @jimmyismagic 十分感谢。很专业的解答
|
 |
7
billlee 2021-07-14 21:21:50 +08:00
我选 1, 既然写入时是一个分区，那么单线程读取也肯定没有问题。读出来再分发到处理线程就可以了。
单机就搞个线程池，集群就搞个 flink. |
 |
8
echoZero 2021-07-15 10:20:14 +08:00
消息间的强顺序关系，不是所有消息都有强顺序吧，应该可以按照指定的方式来划分不同的分区吧。
|
Select Language