首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Coding
V2EX  ›  程序员

这样设计网站日志数据库 MySQL 表格,有问题吗?

  •  
  •   eason1874 · 49 天前 · 1559 次点击
    这是一个创建于 49 天前的主题,其中的信息可能已经有所发展或是发生改变。
    持有 1 核 1G 内存 50GB 数据盘 MySQL 数据库一台,准备用来存网站日志,每日日志~500M,大家看看这样设计表合理吗?

    引擎计划用 innodb,列名前面有星号的计划建立索引。

    请求记录(按路径、状态、时间 统计受访 PV )
    request_id | request_method | host | *request_uri | http_status | body_bytes_sent | *time_local | logpath_id

    请求来源(按域名 统计来源 PV )
    request_id | *referer_host | referer_url

    请求用户(按系统、浏览器、用户 IP 统计访问次数)
    request_id | *user_ip | system | browser | user_agent | *x_forwarded_for

    个别请求需要的自定义记录
    request_id | *meta_key | meta_value

    日志来源(日志追溯)
    logpath_id | log_path


    有必要这样分表吗?这样搞下来会不会两个月日志都存不下?
    14 回复  |  直到 2019-10-27 11:36:10 +08:00
        1
    opengps   49 天前
    看着机器配置是像是腾讯云机器。不过不管哪家云,主要看下硬盘是不是 ssd,不然将来查询会慢死的
    另外,这个 id 主键作为聚合索引的结构,会随着数据量啊增加,写入时候慢慢变得更慢
        2
    lhx2008   49 天前
    楼主先搞清楚 OLAP 和 OLTP 的区别,然后 ELK 了解一下
        3
    opengps   49 天前
    吹一下自己的博客 [日志表:亿级数据量的日志系统怎么设计?]( https://www.opengps.cn/Blog/View.aspx?id=470&f=v2)
        4
    eason1874   49 天前
    @opengps #1 不是 ssd,写着“高性能云盘,IOPS:1900”。写入慢不怕,异步导入。我比较在乎读取效率(按天、按月查看统计)和数据量大小,买的时候没算,想着按年分表,买了才想起算一下发现 50G 存三个月都够呛。
        5
    eason1874   49 天前
    @lhx2008 #2 我不懂啊,数据库方面是小白一个,但也不打算在这方面投入太多,计划在这个周末做完全部。你说的我查下资料能不能看懂,谢谢。
        6
    lhx2008   49 天前 via Android
    @eason1874 简单来说,就是关系数据库不适合干这个,又占资源,写入又慢,又没查询的意义。
    一般这种直接存文本日志就行了。分析的话再读取,比如简单的就直接用 linux 管道 awk uniq sort 啥的都分析出来了。如果要可视化,就用 ELK 做了。
        7
    eason1874   49 天前
    @lhx2008 #6 我用 MySQL 的原因是。。。腾讯云 MySQL 学生机 36 一年,够便宜。平时是直接看日志文本的,但服务器硬盘不大,日志文件不压缩也放不了多少,想着这 MySQL 这么便宜,能不能拿来搞个可视化 Web 界面。

    现在没有机器装软件,我连 MySQL 查询页都计划放云函数上面。不管了,硬上 MySQL 看看什么效果,实在不能用就当踩坑好了。
        8
    x7395759   49 天前
    摆着 ELK 不学,非要自己踩坑?这不就是懒么。
        9
    eason1874   49 天前
    @x7395759 #8 没服务器跑 ELK 啊。我就是想偶尔用手机看一下统计,花钱买个服务器跑我觉得划不来。
        10
    x7395759   49 天前
    @eason1874 那就没有办法了,踩坑就完事了
        11
    aru   49 天前
    @eason1874
    用 percona mysql 5.7,使用行压缩,可以省非常多的空间
    建议你用一个星期的日志,对比使用压缩和不使用压缩占用的空间

    www-percona-com/doc/percona-server/LATEST/flexibility/compressed_columns.html
        12
    eason1874   49 天前
    @aru #11 谢谢。我用的腾讯云 CDB,没有这个引擎,只能从表设计上省了。
        13
    hushao   48 天前 via iPhone
    日志的话可以用 myisam 引擎试试,另外还可以开启压缩,索引的话,不是必要可以先不建
        14
    eason1874   48 天前
    @hushao #13 现在用了 InnoDB,我基于复用的逻辑重新设计了表格,保守估计至少能存多 10 倍记录,但数据处理多了。先跑一个星期试试,效果不行再上 MyISAM 试试。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1468 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 24ms · UTC 17:18 · PVG 01:18 · LAX 09:18 · JFK 12:18
    ♥ Do have faith in what you're doing.