V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
h8743
V2EX  ›  Java

webmagic 问题

  •  
  •   h8743 · 2019-05-05 13:45:29 +08:00 · 1413 次点击
    这是一个创建于 1789 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Spider.create(new PageProcessor()) .addUrl("https://wh.58.com/ershoufang/0/") .addPipeline(propertyDaoPipeLine) .thread(1) .setExitWhenComplete(true) .runAsync();

    如果我想一直循环爬取比如 58 的这个 https://wh.58.com/ershoufang/0/ 地址的话,是不是只需要

    @Override
    public void process(Page page) {
    	do something...
    	page.addTargetRequests("https://wh.58.com/ershoufang/0/");
    }
    这样就行了?
    
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3818 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 10:34 · PVG 18:34 · LAX 03:34 · JFK 06:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.