This topic created in 2076 days ago, the information mentioned may be changed or developed.
如题，任何实现方式都可以
假如有一张表，有年龄、名字、性别三个字段，存了 10 亿条数据
名字的类型有三种可能：人名（ 2-8 个汉字）、网名（中英混合、纯中文、纯英文，长度不限）
如何在这张表中查找汉字或者英文（英文字符串）的出现频率并排序？
例如：
年龄 性别 名字
23 女 安菁
23 男 赵天长
23 女 常菁文
23 女 赵菁
23 男 李天长
23 男 lucio
23 男 lucian
分析输出：
文字 频次
菁 3
赵 2
天 2
长 2
luci 2
安 1
文 1
李 1
常 1
假如有一张表，有年龄、名字、性别三个字段，存了 10 亿条数据
名字的类型有三种可能：人名（ 2-8 个汉字）、网名（中英混合、纯中文、纯英文，长度不限）
如何在这张表中查找汉字或者英文（英文字符串）的出现频率并排序？
例如：
年龄 性别 名字
23 女 安菁
23 男 赵天长
23 女 常菁文
23 女 赵菁
23 男 李天长
23 男 lucio
23 男 lucian
分析输出：
文字 频次
菁 3
赵 2
天 2
长 2
luci 2
安 1
文 1
李 1
常 1
 |
1
waytoshine OP 要入坑大数据的感觉
|
 |
2
optional Aug 25, 2020
count partition by
|
|
3
waytoshine OP @optional #2 这个应该不能拆分值来进行统计吧？只能统计完全相同的值
|
 |
4
ipwx Aug 25, 2020
postgres 的话试试这个：
SELECT t2.c, COUNT(t2.c) FROM <your table> AS t, regexp_split_to_table(t.<your column>, '') AS t2(c) GROUP BY t2.c; |
 |
5
Cookieeeeee Aug 25, 2020
用 es 做吧，mysql 搞这个太慢了
|
 |
6
qiayue PRO 10 亿条数据，显然不能只用数据库做统计，建议程序预处理
|
 |
7
dtgxx Aug 25, 2020
放 hive 里，用 sparksql 跑。。。
|
 |
8
Vegetable Aug 25, 2020
用程序做应该还可以，就是数据量太大了。
|
 |
9
xupefei Aug 25, 2020 via iPhone
十亿条数据只能用 spark sql 了
|
Select Language