V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
fising
V2EX  ›  问与答

网络爬虫的云服务,这个东西可行吗?

  •  
  •   fising · 2015-01-04 15:50:54 +08:00 · 3515 次点击
    这是一个创建于 3427 天前的主题,其中的信息可能已经有所发展或是发生改变。

    网络爬虫的云服务,这个东西可行吗?

    解决IP不够用或者被封的问题。

    16 条回复    2015-01-04 17:56:46 +08:00
    irainy
        1
    irainy  
       2015-01-04 15:53:07 +08:00   ❤️ 1
    为何不干脆再进一步 可定制云API 服务
    liangdi
        2
    liangdi  
       2015-01-04 15:56:47 +08:00 via iPhone
    IP通过代理解决?
    sing1ee
        3
    sing1ee  
       2015-01-04 16:05:13 +08:00 via iPhone
    可行的,我们之前做得微博爬萌就是类似
    binux
        4
    binux  
       2015-01-04 16:08:43 +08:00   ❤️ 2
    mhycy
        5
    mhycy  
       2015-01-04 16:09:29 +08:00
    那么只要在你那买个套餐就能把你整站IP给封了~
    ipconfiger
        6
    ipconfiger  
       2015-01-04 16:12:01 +08:00
    爬虫说白了就是一个任务分发系统,用来分发两个任务:取网页,分析抓取特定部分入库。很多PAAS平台已经有了这些功能的基础了,比如SAE或者BAE什么的
    ykjsw
        7
    ykjsw  
       2015-01-04 16:15:38 +08:00
    可以爬Google吗:)
    hansnow
        8
    hansnow  
       2015-01-04 16:35:02 +08:00
    八爪鱼就有云服务……按条收费的
    fising
        9
    fising  
    OP
       2015-01-04 16:35:57 +08:00
    @hansnow 地址?
    fising
        10
    fising  
    OP
       2015-01-04 16:36:29 +08:00
    @ipconfiger 有吗?
    fising
        11
    fising  
    OP
       2015-01-04 16:36:42 +08:00
    @sing1ee 你们是如何实现的呢
    fising
        12
    fising  
    OP
       2015-01-04 16:37:08 +08:00
    @mhycy IP不会全部公开给会员。你懂的。
    hansnow
        13
    hansnow  
       2015-01-04 16:39:16 +08:00   ❤️ 1
    @fising http://www.bazhuayu.cc/

    一个比较low的软件。一般用这个的都是非技术人员。
    sing1ee
        14
    sing1ee  
       2015-01-04 16:47:03 +08:00 via iPhone
    @fising 众包形式的软件
    invite
        15
    invite  
       2015-01-04 17:32:44 +08:00
    你的云IP,不也就那么几个么,知道了还是被封。
    fising
        16
    fising  
    OP
       2015-01-04 17:56:46 +08:00
    @sing1ee 具体怎么操作的啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1308 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 23:12 · PVG 07:12 · LAX 16:12 · JFK 19:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.