有没有软件支持有间隔时间地批量下载网页

[kevin335200]

如题，防止 Access Denyed
感谢回复

[kevin335200]

PS ，不会爬虫技术。。

[RockyLee]

Access Denied 的原因是你没有访问权限或 IP 被封了，等待时间可能没有用。

批量下载网站的方法：
1.wget 命令行工具
wget -r -np -k -p -c -t 10 -T 120 --random-wait http://a.com

2.Teleport
http://www.tenmax.com/teleport/home.htm

[kevin335200]

谢谢，然而我还是没有解决问题：
标题表述不准确，我的时间间隔需求是为了防止抓取过快而触发 ip 禁止；
teleport 研究了大半天竟然并没有发现可以设置抓取一个页面后可以等待多少毫秒这样的设定位置，只有设置线程数
wget 对于有些网站会直接提示 502 ，尽管这网站不是 https 的且也是能上的

[kevin335200]

比如说，对 v2 就不能 wget 网址。会提示 502.原因不清楚

[kevin335200]

很多网站都不能 wget 。。