这是一个创建于 2582 天前的主题,其中的信息可能已经有所发展或是发生改变。
现在的环境
windows2008 r2+mssql2014
数据一千万行,800m(这已经是我 3 年的数据总和了)
自己不会搞了,也搞了很久了,一开始开发功能一点点添加起来,没有速度要求,所以数据结构很乱了。筋疲力尽,(主要还是自己能力不够,时间也不够用了),还是请有能力有时间的 mjj 帮忙开发一下。
软件环境:
windows 下面能使用,什么 mssql,mysql,db,开发环境语言的无所谓,只要速度达标,越快越好
软件要求:
每天本地导入分析一份 100w 行,两列(A 列数字,B 列字母),纯字母和数字的 csv.22MB 大小
进行分析,查询,比较
速度是关键的,要求导入+查询全部 1s 内完成,也就是毫秒级
环境在服务器上,win2008 r2 ,但是是纯个人使用
假如这全是模糊搜索,那么 1 千万行,后面的几千万行的时候,速度也不要慢太多,1s 左右差距。估计我 10 年也到不了几千万行。
原有数据采集过去还是到处 csv,再全部导过去?
开发时间:
因为我现在手上有完整的软件和数据库可以用,但是速度瓶颈了。
所以具体软件功能也不多,有现成的给你参考
其实就是导入,分析,查询,提取
我知道大神都比较忙,这也只是一个金额不大的外包,所以在你完成工作,把完妹,撸完之后
抽时间尽快搞定。
一周?你定吧。
请有能力有时间的 mjj 联系我 qq,感谢
49 六一 47 九五三
来,技术 mjj,翻我牌子吧
第 1 条附言 · 2017-09-12 22:58:45 +08:00
ps:此贴暂停,加的人太多了,我都来不及和每个说逻辑了。
先暂停了,这几个大神应该能搞好。
题外话,有的大神加我的时候都快 20 点,还在公司或者刚刚下班路上
向你们这些前线技术员致敬,真的太辛苦了
17.9.12
9 条回复 • 2017-09-13 22:21:11 +08:00
|
|
1
jatesun 2017-09-12 18:02:16 +08:00 via iPhone
2k 你应该去二师兄那儿,v2 你就天真了
|
|
|
2
DeadLion 2017-09-12 18:43:35 +08:00
导入 100w 行的数据 1s 够吗?
|
|
|
4
jatesun 2017-09-12 21:03:54 +08:00 via iPhone
|
|
|
5
nooper 2017-09-12 21:33:31 +08:00 via iPad
OK,好搞
|
|
|
6
v2orz 2017-09-13 08:20:12 +08:00
关注一下,导入也要这么快怎么搞
|
|
|
7
Hozzz 2017-09-13 10:15:57 +08:00
相当于不带索引表 100W 行数据导入+全表扫描=1s ? P.S:刚刚在其他数据库上试了下装载 100W 行的数据( char(22),decimal(14,2)),纯文本数据载入空表,耗时 5s
|
|
|
8
hienchu 2017-09-13 21:01:17 +08:00 via iPhone
感觉这是个典型的 x-y 问题,我相信你的问题根本用不着数据库
|
|
|
9
wade 2017-09-13 22:21:11 +08:00
这么快
|