如题，防止 Access Denyed
感谢回复
This topic created in 3876 days ago, the information mentioned may be changed or developed.
 |
1
kevin335200 OP PS ，不会爬虫技术。。
|
 |
2
RockyLee Oct 31, 2015  1
Access Denied 的原因是你没有访问权限或 IP 被封了，等待时间可能没有用。
批量下载网站的方法： 1.wget 命令行工具 wget -r -np -k -p -c -t 10 -T 120 --random-wait http://a.com 2.Teleport http://www.tenmax.com/teleport/home.htm |
|
3
kevin335200 OP 谢谢，然而我还是没有解决问题：
标题表述不准确，我的时间间隔需求是为了防止抓取过快而触发 ip 禁止； teleport 研究了大半天竟然并没有发现可以设置抓取一个页面后可以等待多少毫秒这样的设定位置，只有设置线程数 wget 对于有些网站会直接提示 502 ，尽管这网站不是 https 的且也是能上的 |
|
4
kevin335200 OP 比如说，对 v2 就不能 wget 网址。会提示 502.原因不清楚
|
|
5
kevin335200 OP 很多网站都不能 wget 。。
|
Select Language