py 去爬对象数据，总是被封 ip，爬着爬着爬不动。是不是只能买 ip 代理数据库？太贵了
spotsung · 2022-05-30 11:08:08 +08:00 · 1211 次点击这是一个创建于 934 天前的主题，其中的信息可能已经有所发展或是发生改变。
py 去爬对象数据，总是被封 ip ，爬着爬着爬不动。是不是只能买 ip 代理数据库？太贵了。还有别的方案吗？麻烦指点讨论
 |
1
wuwuta170 2022-05-30 12:57:15 +08:00 via iPhone
间隔地爬
|
 |
2
ila 2022-05-30 13:09:31 +08:00 via Android
用 selenium 测试下，看代码问题还是时间段单 IP 请求次数问题.
第二种情况，买个鸡场服务，在起飞和本地来回切换 |
 |
3
keepeye 2022-05-30 13:12:30 +08:00
测一下一个 ip 能用多久，我知道的动态代理一般一个 ip 有效时常 3-5 分钟，算下来也不是很贵
|
 |
4
sadfQED2 2022-05-30 18:26:58 +08:00 via Android
尝试在这几个 http 头中瞎 jb 随机 ip 地址
REMOTE_ADDR HTTP_VIA HTTP_X_FORWARDED_FOR X-Real-IP X_FORWARDED_FOR 某些分不清这些变量区别的程序员，随便在网上 copy 了一份“获取用户真实 ip“的代码。那你瞎 jb 随机这几个头给他就然后 ip 检测了 |
Select Language