执行一条 Mysql 语句用了 40 分钟，好慢啊

[frozenway]

mysql> SELECT count(*) AS tt,agent,ip,isp FROM sh_agent_log GROUP BY ip ORDER BY tt DESC LIMIT 20;

...

20 rows in set (40 min 27.17 sec)

想统计一下访问日记里面访问次数最多的 IP，没想到要查询这么久，一共有 30 万条数据而已,请问怎么优化查询

[sonyxperia]

楼主的耐心可以的……

[raccooncity]

所以建索引了吗。。。

[zhs227]

不是应该直接 Ctrl+C 了吗。 耐心不错。explain 一下，看看是不是需要给 IP 字段加上索引。

[BBCCBB]

厉害厉害,可以可以,666

[frozenway]

@zhs227 explain 没提示要加索引

[toxicant]

index 是个好东西啊.........

[LeeSeoung]

- -你确定不检查下么，不应该这么慢的。。

[owenliang]

group by 本来就是全量计算，最后聚合后的桶数量决定了排序的耗时。

你机器估计很普通吧？ 30 万对于生产服务器做统计也是小 case。

[SourceMan]

没有什么是加一台机器不能解决的，如果有，加两台！

[frozenway]

@owenliang 我的是在本地电脑执行的，win7，i5，8G 内存，2014 年买的

@toxicant 给 30 万数据加 index，会卡死的

[murmur]

40w 数据这个速度怕是在软盘上跑出来的吧

[murmur]

@frozenway 30w 这个数据行扫都不会这么卡，百万级数据索引照加不误，以现在 mysql 的性能优化够单表抗 1000w 都可以吧

[Tink]

索引

[cisisustring]

mysql> SELECT count(*) AS tt,agent,ip,isp FROM sh_agent_log GROUP BY ip ORDER BY tt DESC LIMIT 20;
我是分割线
只 gropu by ip 不会报错吗?

[sagaxu]

@frozenway 2000 万我也加下来了

[HTNecro]

没啥说的，索引

[dobelee]

40min 还没断开，楼主耐力惊人，佩服。

[gbin]

佩服

[abusizhishen]

建议 IP 转成整型存储，并加索引，以降低索引长度提高索引效率

[abusizhishen]

SELECT agent,ip,isp FROM sh_agent_log as a
inner join
(SELECT count(*) AS tt,id FROM sh_agent_log GROUP BY ip ORDER BY tt DESC LIMIT 20) as b
on a.id = b.id;

[abusizhishen]

事实上年的

[abusizhishen]

😂😂😂打错了，试试上面的

[lygmqkl]

mysql 金句 用小结果驱动大结果。 当然索引之类的 都要做到位，其实在业务逻辑层面上可以 规避这些风险的。

[liuxu]

看上去直接原因还是临时磁盘表用的太多，io 跟不上，换 SSD 会好些。但正确的姿势还是应该加索引了。。

[alcarl]

@cisisustring 不会，mysql 5.7 以下默认没有开这个检查

[alcarl]

默认配置的话，可能是 sort 的 buff 有点小，innodb 的 buf 也有点小，都有影响，调大一点会好一些

[laqow]

tt 和 ip 的类型改一下，改成定长字符串或整型，或算一列 hash 再建索引，应该不会慢

[ty89]

建议楼主顺便把 create table sh_agent_log 的结果贴一下

[justfindu]

不加索引也不应该这么慢啊 才 30W

[picasso250]

如果 sh_agent_log 这个的数据还会不断增长,那么建议你用 redis 存 ip 记录吧.
这个需要单独处理.

如果 sh_agent_log 不再增长,你就是单独拿出来分析一下. 换个 SSD 吧.

[woscaizi]

看看类似 select * from table limit 0,20 的时间如何，然后再慢慢加 group by，看看哪个条件会导致慢。
另外，磁盘 io 怎么样，是 ssd 还是 hdd ？

[rrfeng]

30w …… 给我个文本文件我用 awk 1s 内给你跑出来

[yaoweilei]

30 万条，应该 40ms 内查出来哈，40 分钟实在是敬佩楼主的耐心。

[chcx]

佩服耐心。 index.

[frozenway]

@abusizhishen 你这个语句执行报错了

[hanqi7012]

40 分钟三十万有点慢啊
那天下的库 4 亿也没这么慢啊

[frozenway]

加了索引，然而还是很慢

[wooyu]

@hanqi7012 我已经报警了

[SoulSleep]

贴 explain 你发 sql 我只能吐槽 排序 group limit......能不慢吗…… 40min ？那就太多了

[shyy06]

Mysql 从删库到跑路

[GeekCat]

30 万数据 40min....敢问硬盘 rpm 几百？

[abusizhishen]

@frozenway 我手机上发的，错误贴出来

[abusizhishen]

@frozenway 第二个 select 里少了个 IP 字段，加上试试

[fireapp]

讲真，100w 条文本，awk 也就一分钟

[aias]

好多懂 MySQL 的。。

[wwww961h]

30W 数据 40 分钟，你这机器性能挺好

[cxh116]

有主键吗？ count id，别 *

[troywinter]

加索引，还有 late row query

[CodemonkeyM]

不要*，加索引。

[wayne1027]

@cxh116 @CodemonkeyM，count(*) 没毛病
https://stackoverflow.com/questions/5179969/what-is-better-in-mysql-count-or-count1

[fatpa]

加个索引不好么

[CodemonkeyM]

@wayne1027 unless you are using MyISAM....

[usedname]

30w 用得着加索引？明显是机器烂的不行

[snBDX1b0jJM4ogKd]

@CodemonkeyM @wayne1027 count(*)实际上是计数所有不全为 null 的列。当然会比 count(1)慢一些

[dujiangbo]

是不是存储引擎的原因？
前两天我的库 COUNT 一下都几十秒，而且运行越来越慢，一怒之下都改成了 myisam，速度立马飞起。
我的机器就是普通的 PC，数据几十万条吧。

[YMB]

数据库做查询的话，建议分表。
或者把数据同步到 es 去查