首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
宝塔
V2EX  ›  Java

现在 Java 爬虫有啥推荐的么? webmagic 很久没维护了

  •  
  •   h8743 · 208 天前 · 2561 次点击
    这是一个创建于 208 天前的主题,其中的信息可能已经有所发展或是发生改变。
    15 回复  |  直到 2019-05-05 02:11:17 +08:00
        1
    FightingX   208 天前
    我一般基于 httpclient 自己写下载器
        2
    h8743   208 天前
    @FightingX 重复造轮子不舒服
        3
    xioxu   208 天前
    虽然平时我也写 java, 但爬虫我还是喜欢用 python 的 scrapy, 简单好用, 爬虫常用场景都有内在支持。
        5
    yestodayHadRain   208 天前
    Gecco 了解一下,我也是这几天刚接触的,感觉还是挺方便的
        6
    swuzjb   208 天前
    Jsoup
        7
    canbingzt   208 天前
    这种框架如果没有遇到 bug 的话,更新不更新应该是无所谓的吧,能满足需求就行了啊
        8
    quadrapop   208 天前
    python 写爬虫就行,反正都是保存到数据库
    java 一般我们用 Jsoup,还可以
        9
    uminokoe   208 天前
    歪个楼,遇到需要使用 selenium 的情况用什么框架好呢?
        10
    lqw3030   207 天前
    jdk11 开始内置 httpclient,可以配置 cookieMnager 自动管理 Cookie
        11
    zhangjinglongi   207 天前
    dongliu 的 reuqests 也挺好用的,模仿的 python 的
        12
    ala2008   207 天前
    一般使用就可以了吧
        13
    xinQing   207 天前
    这个 webmagic 很成熟了啊,源码也比较简单,推荐使用~
        14
    h8743   206 天前
    @xinQing get
        15
    wiix   201 天前
    手撸一个
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2292 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 26ms · UTC 14:49 · PVG 22:49 · LAX 06:49 · JFK 09:49
    ♥ Do have faith in what you're doing.