V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zcguo
V2EX  ›  程序员

有没有懂 flink 实时计算的老哥,请教一个问题

  •  
  •   zcguo · 2019-11-17 22:32:25 +08:00 · 2853 次点击
    这是一个创建于 1844 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我想要计算实时的当日 pv,比如今天是 11 月 16 日,在 11 月 16 日的 3 点要计算一个从 0 点到 3 点时候的 pv,然后 5 点时候要计算一个从 0 点到 5 点的 pv,我看 flink 的滑动窗口和滚动窗口都不能实现这种从固定一个点开始算的需求,该怎么做的这种,谢谢老哥们了

    6 条回复    2020-11-11 11:54:39 +08:00
    outoftimeerror
        1
    outoftimeerror  
       2019-11-18 00:40:02 +08:00
    看你这需求就是求一个累加 和窗口没啥关系
    ebingtel
        2
    ebingtel  
       2019-11-18 08:06:11 +08:00
    是的不支持……可以变通下:第一条流统计每个小时的、输出;再分别起 3h、5h 的两个流……
    ebingtel
        3
    ebingtel  
       2019-11-18 08:34:31 +08:00
    @ebingtel 1 天就 24 个点,感觉后面两个流不用起了……数据库查一下就行了
    picone
        4
    picone  
       2019-11-18 10:24:38 +08:00
    先计算每小时的,存数据库就好了,读取的时候再指定时间。
    5 点时候没必要重复计算 0-3 时的 pv
    xiaoidea
        5
    xiaoidea  
       2019-11-18 16:43:31 +08:00
    1. 窗口也是基于 state 的,你可以直接在 function 中用 state 作为计数器,计数器的累加根据你的需求可以设计为日期为 key,pv 为 value
    2. 使用外部存储,比如 redis,不好的地方是失败恢复时可能导致数据不准
    FireCat
        6
    FireCat  
       2020-11-11 11:54:39 +08:00
    每小时一个 Window
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5787 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 01:42 · PVG 09:42 · LAX 17:42 · JFK 20:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.