V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
PHPer233
V2EX  ›  酷工作

爬虫如何实现增量爬取?

  •  
  •   PHPer233 · 2018-07-26 23:59:20 +08:00 via iPhone · 2493 次点击
    这是一个创建于 2071 天前的主题,其中的信息可能已经有所发展或是发生改变。
    有一个论坛,每天都有新的帖子发表,我想让爬虫每天只爬取新增的帖子,而不是把已经爬过的帖子都爬取一遍。这种需求该如何实现?求思路。。
    4 条回复    2018-07-27 09:52:07 +08:00
    caiem
        1
    caiem  
       2018-07-27 00:02:59 +08:00 via iPhone
    帖子是自增 id 么.增量时读取 max id 就行了嘛
    qsnow6
        2
    qsnow6  
       2018-07-27 00:25:21 +08:00 via iPhone
    去爬帖子列表页, 每次都把当前页的 url 和数据库中的对比,如果没有重复的说明,这一夜都是新的 URL,然后下一页,直到出现部分重复或完全重复的页面
    thedog
        3
    thedog  
       2018-07-27 00:26:03 +08:00 via Android
    redis?
    fiht
        4
    fiht  
       2018-07-27 09:52:07 +08:00 via iPhone
    实现增量一个最简单的办法是每天抓取一下首页 链接。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5290 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 09:32 · PVG 17:32 · LAX 02:32 · JFK 05:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.