如果想要把同一个网站的8万张左右图片下载下来，有什么好的解决方案么?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4497 天前的主题，其中的信息可能已经有所发展或是发生改变。

学习正则的过程中，采集了下某国内ACG网站的图库。大概一共会有6-8万个地址，图片有不少是5K*4K分辨率。平均500K-4M一张。估算是100G吧。

首先我是没兴趣下载这些图片的，收集这种把20MB的原图压成2MB的JPG就是侮辱自己硬盘。不过抱着学习研究的目的问下如果要下载这种类型的有什么软件方案？

首先要支持抵制导入，一行一个地址。
然后估计这种网站服务器会有保护措施的吧，短时间同一地址大量请求会被BAN掉的吧?

地址

网站

下载

9 条回复 • 1970-01-01 08:00:00 +08:00

binux

2012-08-20 19:47:40 +08:00

wget

013231

2012-08-20 19:52:54 +08:00

wget全站抓取或自己寫爬蟲吧. wget可以設置間隔, 爬蟲自然也可以.
地址導入wget就可以, -i(--input-file)參數.

Air_Mu

2012-08-20 19:55:44 +08:00

谢二位，我去研究一下wget

depress

2012-08-20 20:07:26 +08:00

/t/40484 这个帖或许能帮你。我WIN系统在用Teleport Pro :)

hu437

2012-08-22 17:11:40 +08:00

java程序员表示使用JSOUP这个库，写一个几十行的小程序，让计算机慢慢爬了

paloalto

2012-08-22 17:27:00 +08:00

前段时间也想批量下一个网站的图片 http://v2ex.com/t/42469#reply18 一开始是先写一个Python脚本去自动抓取，后来发现firefox里的downthemall插件可以批量下载文件名有一定规律的图片，于是就直接用插件下了。一共下了5500多张。

不过看楼主的需求，我的那个情况似乎不太适合你，还是自己写脚本吧。

csx163

2012-08-22 18:40:08 +08:00

ACG?求列表~

binux

2012-08-22 18:47:25 +08:00

@csx163 我猜是178的图库

aisk

2012-08-22 19:45:41 +08:00

求图库啊