V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MichaelYin
V2EX  ›  程序员

如果你想学习 scrapy 爬虫开发,或许它能帮到你

  •  2
     
  •   MichaelYin · 2016-12-06 10:18:15 +08:00 · 4486 次点击
    这是一个创建于 2913 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如果你想学习 scrapy 爬虫开发,或许它能帮到你

    大家好,我是 michael ,现在居住在水电之城宜昌,从事远程开发已经三年多了,主要用 python 进行爬虫开发,数据可视化工具开发。一直以来 python 社区并没有一份比较好的爬虫入门教程,免费的更少,所以我决定来试着解决这个痛点。

    这个项目包含

    1. 一份任务列表,这份任务列表包含了爬虫开发过程中的一些基本知识点,每一个任务都是一个小的测验,当你循序渐进的完成了这个任务列表中的任务时,你将有能力面对爬虫实际开发过程中一些更复杂的情况。这个任务列表的创意来自 codekata

    2. 一份爬虫开发过程中的注意事项和笔记,这些笔记能有效提高你的开发效率,还会介绍一些非常有用的工具

    项目已经托管在 github, 关于这个项目更多的信息请戳 这里

    19 条回复    2016-12-07 13:07:35 +08:00
    lakeview
        1
    lakeview  
       2016-12-06 10:33:39 +08:00
    谢谢,先看看
    fengxueshangu
        2
    fengxueshangu  
       2016-12-06 10:38:06 +08:00
    支持一下楼主,公司电脑不能 pip ,安装起来简直要了我老命
    pscl
        3
    pscl  
       2016-12-06 10:38:40 +08:00
    支持,先看看
    zhangchioulin
        4
    zhangchioulin  
       2016-12-06 10:48:00 +08:00
    支持支持
    KenGe
        5
    KenGe  
       2016-12-06 11:03:05 +08:00
    支持 我先看看 最近在学习
    GreatMartial
        6
    GreatMartial  
       2016-12-06 11:11:19 +08:00 via Android
    支持
    hebwjb
        7
    hebwjb  
       2016-12-06 11:34:51 +08:00
    支持
    cankoor
        8
    cankoor  
       2016-12-06 13:25:13 +08:00
    有心,支持!
    jingliang
        9
    jingliang  
       2016-12-06 13:41:31 +08:00
    chendajun
        10
    chendajun  
       2016-12-06 13:53:52 +08:00
    有心,兹磁!
    fhefh
        11
    fhefh  
       2016-12-06 14:00:08 +08:00
    先 mark
    songjiaxin2008
        12
    songjiaxin2008  
       2016-12-06 14:06:34 +08:00 via Android
    前几天直接学 scrapy 爬了下 javlibrary...这个库很强大,对于错误处理以及存储都很方便,就是感觉文档有的东西不是很新呀,都得自己踩完了才能发现,比如 log 库,以及包引入(contribe)。
    ammzen
        13
    ammzen  
       2016-12-06 14:42:09 +08:00
    @songjiaxin2008 分词搞错了,当成 javlibrary 这个库很强大,去搜了一下[掩面而逃(*/ω╲*)]
    zhanghaoteng
        14
    zhanghaoteng  
       2016-12-06 16:22:05 +08:00
    支持 lz ,感谢
    flyingghost
        15
    flyingghost  
       2016-12-06 18:07:29 +08:00
    @ammzen javlibrary 这个库很强大毫无破绽啊。😂
    publicAdmin
        16
    publicAdmin  
       2016-12-06 21:55:26 +08:00
    已 fork ,感谢,感谢!🙏
    alexapollo
        17
    alexapollo  
       2016-12-06 22:26:39 +08:00
    @songjiaxin2008
    @flyingghost
    你们竟然在这里讨论这么神圣而不可侵犯的库
    blaxing
        18
    blaxing  
       2016-12-06 22:27:36 +08:00
    楼主有心了,谢谢您的付出。
    zypy333
        19
    zypy333  
       2016-12-07 13:07:35 +08:00
    @songjiaxin2008 我还以为是 java...学习了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1620 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 16:51 · PVG 00:51 · LAX 08:51 · JFK 11:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.