基于 scrapy 的爬虫,通过 filepipeline 下载网页中的图片文件,但是发现大小不对,大多时候下载的图片不完整,比如只有一般。
但是我在服务器上直接 wget 或者 curl 下载又没有问题。
有可能是什么情况?
我考虑过是不是 ip 被对方识别了,但是 wget 为何么事?而且我更换了 ua,header 等,好像还是不行。