想问下大佬们、近实时将 kafka 数据转存到 hive 中有什么比较好的方案？
ARMILKCHEN · 2022-12-08 18:09:19 +08:00 · 1065 次点击这是一个创建于 714 天前的主题，其中的信息可能已经有所发展或是发生改变。
想实现程序跑完将数据插入 kafka 中某个 topic 、可以自动备份到 hive 表里、有什么比较成熟可靠得方案吗？
 |
1
darrh00 2022-12-08 18:17:14 +08:00
flume 配置一下就可以了吧
|
 |
2
ARMILKCHEN OP @darrh00 flume 确实可以实现、但如果想复杂一点比如
插入往一个 topic 名为 user 对应的是往 hive user 表去下沉数据，我不确定 flume 能不能动态实现这样的效果 |
 |
3
azkaban 2022-12-10 16:11:50 +08:00 via iPhone
flink 写啊
|
Select Language