V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
makeitwork
V2EX  ›  数据库

没想到 clickhouse 这么牛逼,比 es 强太多了,搞 quant 适合吗

  •  
  •   makeitwork · 2022-07-11 14:28:19 +08:00 · 4656 次点击
    这是一个创建于 870 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近跟朋友讨论一起搞搞 quant ,技术面是看了某 git ( https://github.com/thuquant/awesome-quant

    数据库和硬件层面不知道用 clickhouse 作为数据库,p5510 ,pm9a3 作为存储,适不适合? 拿 clickhouse 的 500w 数据试验了一下,结合 metabase 牛逼极了,没想到超越了 es 这么多

    当然目前正处于脑暴 bb 阶段,离最后去创业还差得远

    现在互联网不容易,年纪大了随时毕业, 我是搞数据算法的,朋友是搞金融风控的, 君子不器,如果被行业淘汰,总得找找新出路

    27 条回复    2022-08-24 00:15:25 +08:00
    cweijan
        1
    cweijan  
       2022-07-11 14:34:16 +08:00   ❤️ 3
    clickhouse 和 es 的应用场景不同啊大哥
    yang2yang
        2
    yang2yang  
       2022-07-11 14:53:20 +08:00
    并发不行把
    Agdhfdjh
        3
    Agdhfdjh  
       2022-07-11 14:58:47 +08:00
    我也用 ch 做回测数据的存储,加载比 mysql 快太多
    tramm
        4
    tramm  
       2022-07-11 15:09:49 +08:00
    感觉不适合, 并发太低, 除非你的业务展示的数据大家都一样的话, 还有可能.
    28Sv0ngQfIE7Yloe
        5
    28Sv0ngQfIE7Yloe  
       2022-07-11 15:18:06 +08:00
    模拟 30 个用户一起聚合查询就能看出问题了,感觉做业务的话 CH 不适合直查,用物化视图输出聚合报表方便些
    dzdh
        6
    dzdh  
       2022-07-11 15:19:04 +08:00
    ch 不支持更新哦~~
    vvtf
        7
    vvtf  
       2022-07-11 15:28:28 +08:00
    1. ck 对硬件有要求;内存要求高;
    2. 集群副本的话数据量太大 zk 又是一个炸弹; (推荐单节点 zk;)
    3. qps 不会很高;
    4. 不支持事务;不支持更新删除;(虽然有 update 和 delete 的 dml, 但是这个 ck 离线处理的;)
    但是做 olap 报表分析确实不错;
    1988chg
        8
    1988chg  
       2022-07-11 15:30:04 +08:00
    个人觉得 CK 适合做分析,不适合实时的业务。
    dqzcwxb
        9
    dqzcwxb  
       2022-07-11 15:38:11 +08:00
    觉得 clickhouse 比 es 强,只能说明你的业务逻辑足够简单
    Leviathann
        10
    Leviathann  
       2022-07-11 15:41:16 +08:00
    @dzdh replacemergingtree 相当于更新了,不过是异步的
    suixn
        11
    suixn  
       2022-07-11 15:44:35 +08:00
    测一下 Doris 或者 starrocks ,并发会好一些
    kxjhlele
        12
    kxjhlele  
       2022-07-11 15:53:51 +08:00
    clickhouse 我直接限制 5 用户登录,单连接查询最大 100G 内存,百亿 10 多秒就能汇聚好,
    dzdh
        13
    dzdh  
       2022-07-11 15:58:50 +08:00
    @Leviathann insert 走 maxversion 其实也可。
    hush3
        14
    hush3  
       2022-07-11 16:07:46 +08:00
    一直有个疑问。。。clickhouse 的简称到底是 ck 还是 ch 比较好? 好像这两种都有很多人用
    wittyfans
        15
    wittyfans  
       2022-07-11 16:18:59 +08:00
    最近也在研究 clickhouse 配合 metabase 用,但可能没办法申请到集群去部署,不知道 clickhourse 部署在单机上效果怎么样?
    rapperx2
        16
    rapperx2  
       2022-07-11 16:38:13 +08:00
    并发是个大问题
    xh3ccc
        17
    xh3ccc  
       2022-07-11 18:06:53 +08:00 via iPhone   ❤️ 1
    gabon
        18
    gabon  
       2022-07-11 18:15:24 +08:00 via iPhone
    我们公司日志系统从 es 换到了 ck ,感觉查询语法更丰富,性能更强。估计每天就得上百 tb 的日志数据。
    hush3
        19
    hush3  
       2022-07-11 19:15:13 +08:00
    @xh3ccc 感谢🙏 学习的时候这个页面都没仔细看过 这下明白了
    olaloong
        20
    olaloong  
       2022-07-11 19:35:38 +08:00 via Android
    上周测试环境 zk 炸了连带 ck 全崩了,重建数据搞得怀疑人生
    makeitwork
        21
    makeitwork  
    OP
       2022-07-12 09:35:39 +08:00
    @wittyfans 目前单机实验状态,稳得很!
    zhygkx
        22
    zhygkx  
       2022-07-12 10:20:47 +08:00
    @gabon 你们有日志全文检索需求吗?切换到 ck 是怎么解决的?
    gabon
        23
    gabon  
       2022-07-12 10:32:32 +08:00 via iPhone
    @zhygkx 我们这边是运维直接切的,平时查询是在 kibana 上,页面没变,底层数据源从 es 换到了 ck ,切换流程我不太清楚。
    ivvei
        24
    ivvei  
       2022-07-12 13:28:56 +08:00
    这帖子看得我莫名其妙,人家搞 quant 要并发干嘛?
    t2jk4000
        25
    t2jk4000  
       2022-07-18 11:14:02 +08:00
    @ivvei 一切向互联网看齐(狗头)
    yjhatfdu2
        26
    yjhatfdu2  
       2022-08-08 14:26:16 +08:00
    @zhygkx ch 使用 ngram bloomfilter 做 skip index ,也可以一定程度满足全文索引的需求,效果也是很不错的
    victorc
        27
    victorc  
       2022-08-24 00:15:25 +08:00
    这对 quant 来说,根本无关要紧的事,别误入歧途了,搞半天,最后还是在操练编程开发
    量化最重要的是实盘能稳定赚钱

    我回测也好,实盘也好,啥数据库都不用,全部存文件
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5486 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 68ms · UTC 09:07 · PVG 17:07 · LAX 01:07 · JFK 04:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.