V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
xiaoyu9527
V2EX  ›  问与答

大米云的稳定性还可以 稳定爬了 20 个小时没有出现卡死等问题

  •  
  •   xiaoyu9527 · 2017-06-02 14:13:15 +08:00 · 1022 次点击
    这是一个创建于 2766 天前的主题,其中的信息可能已经有所发展或是发生改变。

    爬完了 50 页的妹子图内容。

    总体来说还是挺稳定的。

    https://www.v2ex.com/t/365148#reply15 除了之前这个问题

    就是已经爬了 9GB 的图片的了。 到时候有个 20 30GB 的图片我怎么导出呢。

    目前看了一下他也没有什么对象云存储之类的。

    所以到时候考虑升级 2 天的带宽 然后一次性导出。

    3 条回复    2017-06-02 14:37:27 +08:00
    xiaoyu9527
        1
    xiaoyu9527  
    OP
       2017-06-02 14:14:08 +08:00
    就是国内的抓取 感觉都只能跑 3~5M 不知道是不是目标站限速了。 国外我动不动跑 100M。
    whileFalse
        2
    whileFalse  
       2017-06-02 14:33:36 +08:00
    妹子图呢?
    xiaoyu9527
        3
    xiaoyu9527  
    OP
       2017-06-02 14:37:27 +08:00
    @whileFalse 我回头做一个站欢迎去看。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2878 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 08:15 · PVG 16:15 · LAX 00:15 · JFK 03:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.