怎样防止一条 id 相同的数据重复插入进去呢
或者能覆盖旧数据也行
1
yuanmomo 2021-04-10 23:00:37 +08:00 via iPhone
唯一键
|
3
Evrins 2021-04-10 23:06:39 +08:00 via iPhone
Replacemergingtree
|
4
yuanmomo 2021-04-11 00:09:56 +08:00 via iPhone
@wmhack 不好意思,我不知道 clickhouse 是 olap 的数据库,我当成了一个应用。
看看看这里吧 https://github.com/ClickHouse/ClickHouse/issues/3386 |
5
Leviathann 2021-04-11 00:58:14 +08:00 via iPhone
@wmhack replace merging tree 会把 order by 的键作为唯一键,异步把相同唯一键的数据合并
|
6
xx19941215 2021-04-11 14:39:19 +08:00 via iPhone
club house 一眼看成这个
|
7
iluckypig 2021-04-11 20:05:58 +08:00
ReplacingMergeTree,原理就是 merge 的时候会把 order by 键相同的数据覆盖掉,https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replacingmergetree/
|
8
RangerWolf 2021-04-12 10:28:55 +08:00
上面的 replace merge tree 我觉得都没法达到楼主想要的效果。两个很大的问题:
1. 及时性,经常会出现重复数据。因为是异步更新( final 性能很低) 2. 性能,merge 的性能极低 |
9
wmhack OP @RangerWolf 确实是的,我试了一下 replace merge,延迟更新确实挺难受的
|