damngoto

几百万条更新频率很低的数据用什么低(零)成本的存储方便查询?

  •  
  •   damngoto · Jul 26, 2022 · 7758 views
    This topic created in 1411 days ago, the information mentioned may be changed or developed.

    放到数据库虽然查询快,但是成本对我来说高了:)

    放到 csv 里面费内存,serverless 服务的还不太好调用。

    Apache 有个 parquet 格式,不知道这个量级查询速度怎么样。

    9 replies    2022-07-26 19:05:39 +08:00
    pota
        1
    pota  
       Jul 26, 2022
    数据少的话放到 cloudflare workers kv 里面?
    gfreezy
        2
    gfreezy  
       Jul 26, 2022   ❤️ 1
    sqlite 可以吗
    EchoUtopia
        3
    EchoUtopia  
       Jul 26, 2022
    之前看过一个很强很便宜方案:用 sqlite 存储分片数据,把 sqlite 数据库文件存储到对象存储里面去(非常便宜),然后使用 serverless 去查询分片数据,最后再聚合一次
    damngoto
        4
    damngoto  
    OP
       Jul 26, 2022
    @pota workers kv 支持多少数据
    pota
        5
    pota  
       Jul 26, 2022   ❤️ 1
    @damngoto #4 空间 1GB
    damngoto
        6
    damngoto  
    OP
       Jul 26, 2022
    @EchoUtopia 嗯,我想到的也是类似。主要担心查询速度和同时服务用户数,😁
    damngoto
        7
    damngoto  
    OP
       Jul 26, 2022
    @pota 哇,那应该够了。我去了解下。
    gesse
        8
    gesse  
       Jul 26, 2022
    @EchoUtopia
    有地址可以看吗?
    EchoUtopia
        9
    EchoUtopia  
       Jul 26, 2022
    @gesse
    @damngoto
    忘了,好像聚合是利用 postgres 聚合的,性能非常好,关键价格便宜。并发就不知道了。当时是在 twitter 刷到的,好像是发布在 hackernews 上的。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3022 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 09:02 · PVG 17:02 · LAX 02:02 · JFK 05:02
    ♥ Do have faith in what you're doing.