V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
tzh1247
V2EX  ›  MySQL

小白求一个大数据解决方案,感谢您的热心回答

  •  1
     
  •   tzh1247 · 2018-03-09 16:57:16 +08:00 · 3156 次点击
    这是一个创建于 2211 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司做 IPTV 业务的,每一个地区每个业务每天的数据量 400 万 PV 左右(地区较多 15 个地区左右,每个地区一到两个业务,一个业务两台机器做的集群,每个地区的网络不互通,可跟公司白名单服务器互通),

    求一个大数据方案,主要要求如下:

    1. 计算每天 UV、PV、各页面访问量等

    2. 计算每月 UV、PV、各页面访问量等

    3. 根据运营条件做相关数据计算

    4. 服务器机器为两台集群,2G 内存到 8G 内存,本人想法是服务器最多算每个月的数据量,超过一个月的数据删除,用 mysql 实现

    5. 将服务器数据拉取到本地,采用多服务器、高配置,算一年或者几年的数据量

    6. 由于运营需要实时查看每天或者几天的数据,所以个人觉得第 4 点可行,比较服务器资源有限。

    请各位大神指点下方案,小白不胜感激,小白努力学习,感谢各位的指点。

    7 条回复    2018-03-11 14:59:10 +08:00
    liprais
        1
    liprais  
       2018-03-09 17:00:54 +08:00
    总共一天六千万数据,随便写就行了
    Thiece
        2
    Thiece  
       2018-03-09 17:29:53 +08:00
    时间序列数据库考虑一下? influxdb 了解一下?
    vus520
        3
    vus520  
       2018-03-09 17:36:20 +08:00
    量级不大,随便一个日志中心化的方案+数据库都可以抗得住。推荐 ES。
    tzh1247
        4
    tzh1247  
    OP
       2018-03-10 15:33:59 +08:00
    @vus520
    @liprais
    大佬能具体点吗?打算做几年的架构考虑,后期也要做数据分析,感谢
    tzh1247
        5
    tzh1247  
    OP
       2018-03-10 15:35:38 +08:00
    而且考虑做大数据渲染图展示
    tzh1247
        6
    tzh1247  
    OP
       2018-03-10 15:36:07 +08:00
    服务器配置不高,硬盘也不大,不到 1T
    runntuu
        7
    runntuu  
       2018-03-11 14:59:10 +08:00 via iPhone
    1.OTLP 业务和 OLAP 业务最好分开在不同服务器,如果做不到 OLAP 至少要放到深夜进行,不能影响白天业务
    2.光说 PV 这个指标参考意义不大,多少内存也不是拍脑袋想出来的。数据库有最重要的两个指标,QPS 和 TPS,想办法得到业务高峰时这两个数值再去考虑服务器配置。
    3.超过一个月的数据删除,这个,额…万一要用到一个月前的数据怎么办?建议先归档吧,实在用不到再删除。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1430 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 17:27 · PVG 01:27 · LAX 10:27 · JFK 13:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.