今天爬知乎被封了,请问如何绕过反爬虫
1
UnisandK 2016-08-29 15:09:34 +08:00
换 IP
|
3
VicYu 2016-08-29 15:39:43 +08:00
proxy list
|
5
dsg001 2016-08-29 16:34:58 +08:00
单机几百线程爬知乎,爬 20+小时没问题,过了几天才被封
|
7
582033 2016-08-29 16:43:35 +08:00
|
9
masterzh01 2016-08-29 17:23:31 +08:00
|
10
hippoboy 2016-08-29 17:42:56 +08:00
好几台服务器装 Squid,自己做代理....
|
11
creaer OP @masterzh01 3Q
|
13
Allianzcortex 2016-08-29 21:56:57 +08:00 1
换 UA ,换 IP ,多线程,设置等待时间。
我曾经有段时间买了个国外服务器安装 SS,然后连接上后走 Socks5 代理。被封的次数就很少。 |
14
creaer OP @Allianzcortex 设置等待时间好像没啥用,而且速度反而降低了
|
15
Allianzcortex 2016-08-29 22:45:00 +08:00
@creaer 服务器要区分人和机器行为的重要依据就是访问频率啊,增加等待时间会更容易混淆服务器。设置等待时间也比较友好:-D
|
16
7sDream 2016-08-29 22:49:00 +08:00
可以尝试用知乎的 RESTful OAuth API ,比起访问网页版好像比较不容易被封。
具体资料我就不贴了。 |
19
creaer OP @Allianzcortex 难道是因为我设置的等待时间太短了
|
20
Allianzcortex 2016-08-30 15:55:07 +08:00
@creaer https://segmentfault.com/a/1190000005840672 你可以看看这篇文章,看看携程反爬虫的思路。反爬虫最重要的是不能影响业务,不能使正常用户的访问受影响~
|
21
ijustdo 2016-08-31 10:21:21 +08:00
user agent 不停的换 最好比喻 ios android 。。。。。。
还有个大招 挂代理 控制爬去速度。。。。 |