本来我只是随便玩玩,没想到后来不断改进成了现在这个样子。
刚开始的时候就几个节点,后来慢慢增加到了现在大约快 200 个节点,爬虫代码也写了一千行(不算调度与杂项), 这些节点根据多方面考量,大致分为 五分钟、一刻钟、一个小时、三个小时、六个小时、十二个小时、二十四个小时等不同的定时爬取等级。
有利益考量,也有发电情怀。
知乎实时热搜数据大约 50 条,如果你取每页 50 条数据,那么返回的 pages 就会为 1
自己写的爬虫,还算挺稳定的,除了个别偷懒的节点,主流节点自从我写完以后基本没有出过问题。
QQ 群:114177
如果你有好的节点分享, 我也会考虑写一个对应的爬虫。 谢谢。
1
Tink 2020-08-06 21:40:56 +08:00 via Android 1
好人
|
2
Austin2035 OP xdm,别光收藏,不如来评论一下
|
3
ansonsiva 2020-08-06 22:01:38 +08:00 1
收藏了
|
4
xJogger 2020-08-06 22:07:46 +08:00
很不错,改天试试用 Scrapy 爬取一下。
|
5
Austin2035 OP @xJogger xd,api 给你们就是不想让你们爬😂
|
6
qilishasha 2020-08-06 22:17:54 +08:00 via iPhone 1
API 是啥?这是否定我们写爬虫的能力吗?
|
8
lloovve 2020-08-06 22:44:11 +08:00 via iPhone
群号牛逼啊
|
9
Austin2035 OP |
10
revalue 2020-08-06 22:46:17 +08:00
时间真多
|
11
revalue 2020-08-06 22:46:55 +08:00 1
多谢老哥
|
12
HereApp 2020-08-06 22:51:52 +08:00
请问 综合 新闻 科技 财经 社区 汽车 购物 阅读 影音 首页这一排的 API 是什么?
|
13
Austin2035 OP @HereApp 这些都是大节点中最重要的一个子节点,群内讨论吧。
|
14
kingddc314 2020-08-07 10:30:14 +08:00 1
赞一个
|
15
fenglangjuxu 2020-08-07 11:40:03 +08:00 1
域名 和内容 十分契合
炫目好的域名+好的内容 的组合体 |
16
40EaE5uJO3Xt1VVa 2020-08-07 13:41:55 +08:00 1
好人一生平安
|
17
luhe 2020-08-07 15:02:01 +08:00 1
666
|
18
wukong1024 2020-08-07 17:25:35 +08:00
好人一生平安
|
19
sadghgfsf542332 2020-08-08 11:14:15 +08:00 1
这个站要火!
|
20
bulaocai5 2020-08-08 11:31:12 +08:00
谢谢 分享 已经收藏了
|
21
hrbwaxdoll 2020-08-10 14:25:32 +08:00
@lookcos 加个微信呗,有合作需求 waxdoll
|
22
justin2018 2020-08-11 10:08:56 +08:00
很不错,改天试试用 Scrapy 爬取一下 😁
|
23
janda 2020-08-12 11:36:02 +08:00
好东西、收藏了
|
24
jaylee4869 2020-08-13 16:32:18 +08:00
伸手党:想要一个命令行客户端。
|
25
tonfy 2020-08-17 17:42:49 +08:00
好东西,收藏了
|
26
touno 2020-08-18 15:36:45 +08:00
弱弱的问一句~这侵权违法吗?
|
27
huruji 2020-08-20 12:57:43 +08:00
收藏
|
28
yigemeirenyongde 2020-09-17 10:31:29 +08:00
好人一生平安
|