爬虫史山代码写的真烂,2000 多行就算了,而且一个 headless chrome 的类居然和数据库操作,时间调度功能等等深耦合,让我模仿爬虫 a 的 class 结构写一个爬虫 b ,对应的数据库目前还不存在,调试都很困难,只能一边注释数据库相关的代码一边测试 run ,内心 os 完全不想碰这坨屎山。
![]() |
1
FlorentinoAriza 31 天前
直接 ai 啊,先读取理清一下优化一下再看呗
|
![]() |
2
MonikaCeng 31 天前 via iPhone
AI 优化,跑一边,效果一样的话,再让 AI 加新功能
|
3
zhengfan2016 OP @MonikaCeng 跑不了啊,里面一堆和数据库操作的代码混在里面,得先全部注释了才能跑,有些缺的参数还得给他补上
|
![]() |
4
ovovovovo 31 天前
2000 行,先丢给 AI 做成模块吧,直接看看的都烦
|
![]() |
5
sead 22 天前
快速解析数据: https://github.com/serping/express-scraper
无头集群: https://github.com/seadfeng/headless-browser-clusters 两个结合用,不要太舒服 |