fushshanpupil 最近的时间轴更新
fushshanpupil

fushshanpupil

V2EX 第 241786 号会员,加入于 2017-07-20 09:00:08 +08:00
fushshanpupil 最近回复了
65 天前
回复了 fushshanpupil 创建的主题 程序员 打算用 echarts 实现航旅纵横的航线图
@qicaisedeyun 不多,16 年到现在就 37 次
2019-11-20 10:12:44 +08:00
回复了 siagasky 创建的主题 全球工单系统 Apple 官网这个是什么情况?
上海电信,版本 78.0.3904.108 (正式版本) ( 64 位)
无法复现
2018-01-22 17:34:26 +08:00
回复了 fushshanpupil 创建的主题 问与答 100w 个小文件存储问题
@swulling 最新调试结果,最后发现还是由于坑爹的 GIL+threading 库,导致我程序实际上是 IO 密集了,改用 multiprocessing 就跟爬的时候一样 70 个每秒了。

另外感谢各位,提供了很多其他思路,确实还有改进的地方。
2018-01-22 15:02:15 +08:00
回复了 fushshanpupil 创建的主题 问与答 100w 个小文件存储问题
@swulling 对顺序没要求,每个网页都有个 id 的,用 id 选的,我参考下 sqlite blob
2018-01-22 15:01:31 +08:00
回复了 fushshanpupil 创建的主题 问与答 100w 个小文件存储问题
@rrfeng 提取数据的逻辑随时可能变,不可能每次都再去请求的吧,肯定得保存下来
2018-01-22 14:59:52 +08:00
回复了 fushshanpupil 创建的主题 问与答 100w 个小文件存储问题
@em70 怪不得,scrapy 的 cache 就是取 hash 后的前两位创建了一层目录
2018-01-22 14:59:01 +08:00
回复了 fushshanpupil 创建的主题 问与答 100w 个小文件存储问题
@ovear 确实全扔一个文件夹下了。。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   946 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 21:50 · PVG 05:50 · LAX 14:50 · JFK 17:50
Developed with CodeLauncher
♥ Do have faith in what you're doing.