这是一个创建于 237 天前的主题，其中的信息可能已经有所发展或是发生改变。
开始时也只有三四 M ，爬着爬着只有几百 k 了。对单个站的访问频率设置是每 500ms 一次访问，不算频率高了吧？同时爬取 1500 个站。。
 |
1
baobao1270 237 天前  1
你同一个 IP 一直访问，肯定有限制啊
|
 |
2
BH1SMB 237 天前
一般用代理 chi
|
 |
3
yyzh 237 天前 via Android
网站的限制，大内网有人干坏事的话是一起死的
|
 |
4
cnrting 237 天前 2
每 500ms 一次访问，不算频率高???
|
 |
5
zz1127 237 天前 1
500ms 一个 ip 高频得离谱了
|
 |
6
busier 235 天前 via Android
对于 http 1.1 来说 500ms 一次还真不高
|
Select Language