V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
vevlins
V2EX  ›  程序员

几百万图片 url 转云存储,有什么好办法

  •  
  •   vevlins · 2020-09-26 16:22:00 +08:00 · 2970 次点击
    这是一个创建于 1523 天前的主题,其中的信息可能已经有所发展或是发生改变。

    老实说,是爬虫爬到的链接,对访问频率限制的比较严格。 七牛云有直接存网络图片的能力,但看起来比较低级,效果也不行,几十张后就被拦截了。

    付费解决方案也可以接受。

    13 条回复    2020-09-27 16:19:19 +08:00
    Athrob
        1
    Athrob  
       2020-09-26 16:26:33 +08:00
    挂代理批量下载再上传
    nvkou
        2
    nvkou  
       2020-09-26 16:27:19 +08:00 via Android
    该不会是煎蛋吧?
    wakzz
        3
    wakzz  
       2020-09-26 16:27:28 +08:00
    搞 ip 代理池
    nnd
        4
    nnd  
       2020-09-26 16:46:35 +08:00
    找几个 IP 代理网站,抓下来,通过代理 IP 去爬。

    友情提醒,可能违法,后果自负
    gxlonline
        5
    gxlonline  
       2020-09-26 19:39:57 +08:00 via Android
    用代理 ip,下一张图换一个 ip 。
    有必要时,再换请求头,反爬绝大多数都是通过这些方式。
    推荐酷鱼代理 ip,ip 量大,稳定。
    https://kuyukuyu.com
    zoharSoul
        6
    zoharSoul  
       2020-09-26 20:07:29 +08:00
    @gxlonline 你是酷鱼的推广?

    还是单纯路人?
    xchaoinfo
        7
    xchaoinfo  
       2020-09-26 22:20:41 +08:00 via Android
    有时候你加个 host ua 能多爬一会儿
    liuxu
        8
    liuxu  
       2020-09-26 23:34:39 +08:00   ❤️ 1
    @Livid 5 楼推广号,gxlonline
    cat
        9
    cat  
       2020-09-27 07:59:57 +08:00 via iPhone   ❤️ 1
    @zoharSoul 看他的回帖记录就知道了
    JasperYanky
        10
    JasperYanky  
       2020-09-27 09:13:13 +08:00
    爬下来 给七牛寄硬盘
    jowan
        11
    jowan  
       2020-09-27 14:00:31 +08:00
    @liuxu 点开这个号基本都是回复要用到代理池的话题
    代理 IP 不也是解决问题付费方案的一种吗
    你这报告打的意义是什么
    liuxu
        12
    liuxu  
       2020-09-27 14:43:02 +08:00
    @jowan 打这个报告的意义是为了帮助 Livid 更好的维护 v2ex
    Livid
        13
    Livid  
    MOD
       2020-09-27 16:19:19 +08:00
    @liuxu 谢谢举报。那个账号已经被彻底 ban 。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5492 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 08:37 · PVG 16:37 · LAX 00:37 · JFK 03:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.