V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Aliberter
V2EX  ›  程序员

有个统计网站 UV 的后台需求,用什么技术框架实现比较好?

  •  
  •   Aliberter · 43 天前 · 2402 次点击
    这是一个创建于 43 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,就是简单的接收前端的埋点上报,计数,主要是一堆文章,要记录每篇文章的推荐 UV 、浏览 UV,还能统计所有文章的 UV,最后统计展示出来,都是以日为维度,请教大佬们,用什么做? redis? mysql? elasticsearch?

    第 1 条附言  ·  43 天前
    完了,我感觉偏了,我标题写差了,其实是 app 访问行为的统计,不是网站。app 埋点上报,后端统计,大佬们,
    34 条回复    2021-10-24 14:23:09 +08:00
    Oktfolio
        1
    Oktfolio  
       43 天前
    ElasticSearch, MongoDB
    GM
        2
    GM  
       43 天前   ❤️ 1
    motamo
    Aliberter
        3
    Aliberter  
    OP
       43 天前
    @Oktfolio 多谢大佬,只怪自己这两样儿学的不精,多研究下吧
    Aliberter
        4
    Aliberter  
    OP
       43 天前
    @GM 这个没听说过呀,大佬
    eason1874
        5
    eason1874  
       43 天前
    PV/UV 统计的数据库好像比较流行用 PostgreSQL

    别用 matomo,开源版很吃资源,付费版不了解
    hidemyself
        6
    hidemyself  
       43 天前
    我们之前是用 redis 做的
    Aliberter
        7
    Aliberter  
    OP
       43 天前
    @eason1874 哦哦好的大佬,PostgreSQL 还了解点儿,matomo 不了解,那就不考虑了
    liujinayu4303
        8
    liujinayu4303  
       43 天前
    redis hyperloglog 了解下
    Aliberter
        9
    Aliberter  
    OP
       43 天前
    @hidemyself redis 计数很方便,但是比如我要汇总是不是比较麻烦啊,比如获取所有文章的总 UV 这种,还有按日期分组筛选这些,
    Aliberter
        10
    Aliberter  
    OP
       43 天前
    @liujinayu4303 我还在纳闷 redis 咋做,原来是有更高级的算法,多谢大佬,我去搜搜
    feitxue
        11
    feitxue  
       43 天前
    必须要自研吗?
    如果不是,接入三方的应该会更快。
    百度 cnzz 腾讯 谷歌 都有
    abigeater
        12
    abigeater  
       43 天前
    redis->定时写回数据库
    Aliberter
        13
    Aliberter  
    OP
       43 天前
    @feitxue 小公司,自己写来的快点哈哈~其实整个统计的体量也不是太大,自己写的就能扛得住,然后主要是针对一些自定义需求开发~
    kinge
        14
    kinge  
       43 天前
    直接用现成的统计产品,自己写的统计不准确
    feitxue
        15
    feitxue  
       43 天前
    @Aliberter 那建议别自己写了。
    feitxue
        16
    feitxue  
       43 天前
    建议你调研一下大厂现有的统计产品的功能,再决定是否自研。
    Aliberter
        17
    Aliberter  
    OP
       43 天前
    @feitxue 好的好的,我去研究下,跟领导商量下
    Aliberter
        18
    Aliberter  
    OP
       43 天前
    @kinge 不准确我倒是信哈哈,技术比较渣
    thetbw
        19
    thetbw  
       43 天前
    上家公司的是直接接入腾讯有数
    lithiumii
        20
    lithiumii  
       43 天前 via Android
    建议接入 sass
    虽然自建 matomo 可以做
    Aliberter
        21
    Aliberter  
    OP
       43 天前
    完了,我感觉偏了,我标题写差了,其实是 app 访问行为的统计,不是网站。app 埋点上报,后端统计,大佬们,
    hrdslin
        22
    hrdslin  
       43 天前
    直接上友盟
    cowcomic
        23
    cowcomic  
       43 天前
    友盟解决
    chenstor
        24
    chenstor  
       43 天前
    友盟或者诸葛
    qq1340691923
        25
    qq1340691923  
       43 天前
    thinkdata,神策数据,用完你会回来感谢我的
    qq1340691923
        26
    qq1340691923  
       43 天前
    thinkingdata,神策数据,用完你会回来感谢我的
    feitxue
        27
    feitxue  
       43 天前
    @Aliberter append 一下帖子.
    wellsc
        28
    wellsc  
       43 天前
    redis 呗,也不是很复杂的业务
    MineDog
        29
    MineDog  
       43 天前
    简单的 redis 的 HLL 就够了
    MineDog
        30
    MineDog  
       43 天前
    当然 bitmap 也可以
    fuchaofather
        31
    fuchaofather  
       43 天前
    比较麻烦。建议还是使用现成服务,业务量较大的话可能需要依赖大数据环境。说一下我们以前的整体架构:

    前端埋点 -> nginx -> tomcat 集群(简单处理解压过滤等)-> kafka -> 多应用点同时消费写到本地文件 -> 上传到 hive 日期分区表 -> spark 计算 -> 写入 hbase (用户 id 使用 bitmap) -> phoniex 查询( redis 缓存)
    ericls
        32
    ericls  
       42 天前 via iPhone
    clickhouse
    duanqiaoyanyu
        33
    duanqiaoyanyu  
       42 天前
    bigmap Hyperloglog
    efaun
        34
    efaun  
       41 天前
    随机数
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1126 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 19:15 · PVG 03:15 · LAX 11:15 · JFK 14:15
    ♥ Do have faith in what you're doing.