这是一个创建于 1555 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，任何实现方式都可以
假如有一张表，有年龄、名字、性别三个字段，存了 10 亿条数据
名字的类型有三种可能：人名（ 2-8 个汉字）、网名（中英混合、纯中文、纯英文，长度不限）
如何在这张表中查找汉字或者英文（英文字符串）的出现频率并排序？
例如：
年龄 性别 名字
23 女 安菁
23 男 赵天长
23 女 常菁文
23 女 赵菁
23 男 李天长
23 男 lucio
23 男 lucian
分析输出：
文字 频次
菁 3
赵 2
天 2
长 2
luci 2
安 1
文 1
李 1
常 1
假如有一张表，有年龄、名字、性别三个字段，存了 10 亿条数据
名字的类型有三种可能：人名（ 2-8 个汉字）、网名（中英混合、纯中文、纯英文，长度不限）
如何在这张表中查找汉字或者英文（英文字符串）的出现频率并排序？
例如：
年龄 性别 名字
23 女 安菁
23 男 赵天长
23 女 常菁文
23 女 赵菁
23 男 李天长
23 男 lucio
23 男 lucian
分析输出：
文字 频次
菁 3
赵 2
天 2
长 2
luci 2
安 1
文 1
李 1
常 1
 |
1
waytoshine OP 要入坑大数据的感觉
|
 |
2
optional 2020-08-25 14:43:53 +08:00
count partition by
|
|
3
waytoshine OP @optional #2 这个应该不能拆分值来进行统计吧？只能统计完全相同的值
|
 |
4
ipwx 2020-08-25 15:20:01 +08:00
postgres 的话试试这个：
SELECT t2.c, COUNT(t2.c) FROM <your table> AS t, regexp_split_to_table(t.<your column>, '') AS t2(c) GROUP BY t2.c; |
 |
5
Cookieeeeee 2020-08-25 16:46:44 +08:00
用 es 做吧，mysql 搞这个太慢了
|
 |
6
qiayue 2020-08-25 17:06:28 +08:00
10 亿条数据，显然不能只用数据库做统计，建议程序预处理
|
 |
7
dtgxx 2020-08-25 17:16:59 +08:00
放 hive 里，用 sparksql 跑。。。
|
 |
8
Vegetable 2020-08-25 17:43:13 +08:00
用程序做应该还可以，就是数据量太大了。
|
 |
9
xupefei 2020-08-25 17:48:13 +08:00 via iPhone
十亿条数据只能用 spark sql 了
|
Select Language