V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
snappyone
V2EX  ›  程序员

互联网大厂里面都有爬虫团队吗,主要负责爬什么样的数据啊

  •  
  •   snappyone · 2019-03-01 20:29:20 +08:00 · 3404 次点击
    这是一个创建于 1853 天前的主题,其中的信息可能已经有所发展或是发生改变。

    好像这样的团队都很神秘,于是想了解下

    13 条回复    2019-03-02 20:30:10 +08:00
    matsuz
        1
    matsuz  
       2019-03-01 20:52:15 +08:00
    互联网大厂一般不需要爬虫,他们自己的系统里面有数据,不需要从外面爬

    需要爬数据一般有互联网小厂、传统行业公司。

    其中传统行业大厂一般会把数据需求外包出去,传统行业小厂请不起爬虫(就算请得起也不会专门养一个爬虫)。所以真正需要爬虫的多是互联网小厂

    所以说现在爬虫其实没啥前途的。

    (当然,有一个例外是搞搜索引擎爬虫的)
    lincanbin
        2
    lincanbin  
       2019-03-01 20:58:51 +08:00 via Android
    爬虫有法务风险,现在上规模的厂都很少搞这个了
    chengxiao
        3
    chengxiao  
       2019-03-01 21:01:03 +08:00
    @lincanbin 越大的厂 越需要爬虫的
    爬虫可做的事情很多 大厂对于舆情这块儿重视程度比小厂多了去了 是肯定有部门负责这部分的
    andylsr
        4
    andylsr  
       2019-03-01 21:04:01 +08:00 via Android
    天眼查~~算互联网么
    luoleng
        5
    luoleng  
       2019-03-01 21:08:49 +08:00
    一些搞大数据的公司会需要爬虫
    hoythan
        6
    hoythan  
       2019-03-01 21:21:00 +08:00
    @matsuz 你视界太小了,爬虫团队很重要。
    monkey110
        7
    monkey110  
       2019-03-01 21:30:39 +08:00
    还行吧 我们这个厂是生产汽车的厂 有个舆论管控小组 专门爬取互联网上的关于厂区产品的负面言论 明面上是收集故障意见等 其实也就是删删贴 发表些正面的帖子
    xmtudgzy
        8
    xmtudgzy  
       2019-03-01 22:32:05 +08:00
    别说公网,在 PT 站也见到过,还是国内大厂!
    lynskylate
        9
    lynskylate  
       2019-03-01 22:57:07 +08:00 via Android
    美团做 12306 抢票的算爬虫吗,头条部分新闻是官方授权然后去抓取的算吗?不过大厂做爬虫的确实少,而且爬虫也只是一个小部分,所以说爬虫没前途大部分情况都是对的
    lavawong
        10
    lavawong  
       2019-03-02 10:21:03 +08:00 via iPhone
    大厂绝对有只是你不知道而已,据我所知国内大厂都有专门的团队搞这事
    gabon
        11
    gabon  
       2019-03-02 18:32:16 +08:00 via Android
    @matsuz 竞对的数据你不爬等着别人爬你吗
    envylee
        12
    envylee  
       2019-03-02 18:43:53 +08:00
    看完上面的回复我甚至怀疑是不是巴基斯坦或者印度新过来了一些会中文的从业者,,,
    julyclyde
        13
    julyclyde  
       2019-03-02 20:30:10 +08:00
    @matsuz 你眼界太小了
    爬竞争对手是个很重要的事
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3666 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 10:42 · PVG 18:42 · LAX 03:42 · JFK 06:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.