首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
广告
wico77
V2EX  ›  问与答

scrapy 爬取一个站下的多个分类，每个分类在 pipeline 里保存成不同的文件。怎么实现批量爬取和管理

  •   
  •   wico77 · 2015-04-20 01:01:23 +08:00 · 2118 次点击
    这是一个创建于 3346 天前的主题，其中的信息可能已经有所发展或是发生改变。
  • Scrapy
  • pipline
  • 分类
    1 条回复  •  2015-04-20 16:58:47 +08:00
    zts1993
        1
    zts1993  
       2015-04-20 16:58:47 +08:00
    在Item里面弄一个字段区分，在每个pipeline里面判断是否符合条件？

    也不是很熟，下面的来回答吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   883 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 20:14 · PVG 04:14 · LAX 13:14 · JFK 16:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.