V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Humbert
V2EX  ›  程序员

请问一下各位,有针对 Github 本身的爬虫吗?

  •  
  •   Humbert ·
    humbertzhang · 2020-01-28 10:45:55 +08:00 · 4770 次点击
    这是一个创建于 1522 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近需要做一个 Github 的软件(毕业设计),需要大量爬各种 issue、pull request 等的信息,5000 次每小时的 Github API 频率完全不够用。
    想问下有没有封装好的有关 Github 的爬虫?谷歌上搜到的都是 Github 上的爬虫库项目
    没有的话就去自己写了..

    18 条回复    2020-01-29 19:32:59 +08:00
    phpfpm
        1
    phpfpm  
       2020-01-28 10:54:05 +08:00
    你写个脚本注册账号生成 api token 不就得了。。

    另,我记得如果不登录(没 token )访问 api 的话有次数限制,有 token 还会有限制吗?
    JasonEWNL
        2
    JasonEWNL  
       2020-01-28 10:55:27 +08:00 via iPad
    一个 JS 一个 Ruby 的库,都是 GitHub 上的 GitHub API 库。

    https://github.com/github-tools/github
    https://github.com/piotrmurach/github
    tikazyq
        3
    tikazyq  
       2020-01-28 11:06:52 +08:00
    自己写吧,很简单的,用 scrapy 的 CrawlSpider,注意反爬限制
    charlieputon
        4
    charlieputon  
       2020-01-28 11:12:47 +08:00 via Android
    github 不是有 api 吗。。不过是 graphql 的。。
    VDimos
        5
    VDimos  
       2020-01-28 11:47:48 +08:00 via Android
    github 是公开 api 的吧
    cmqwan
        6
    cmqwan  
       2020-01-28 12:06:10 +08:00 via iPhone
    github 不让爬,有 robots 协议。
    iYu
        7
    iYu  
       2020-01-28 12:14:28 +08:00
    5000 次每小时的 Github API 频率完全不够用。 确认是毕业设计么?如果是的话,感觉有点厉害啊。 这是需要多少数据啊。爬个几天几夜都不够么。
    oott123
        8
    oott123  
       2020-01-28 12:19:25 +08:00   ❤️ 1
    你可以从这两个数据源获取数据:

    GHTorrent: http://ghtorrent.org/downloads.html
    GH Archive: https://www.gharchive.org/

    他们提供了丰富的数据信息,较为方便的查询方式,以及简单的归档下载功能。不用自己爬……
    Humbert
        9
    Humbert  
    OP
       2020-01-28 14:03:47 +08:00
    @phpfpm 好的,感觉是个办法 hh
    Humbert
        10
    Humbert  
    OP
       2020-01-28 14:04:06 +08:00
    @charlieputon 也有 RESTful 的,但是次数有点限制
    Humbert
        11
    Humbert  
    OP
       2020-01-28 14:04:26 +08:00
    @cmqwan 好的,我还是考虑从 API 层面解决吧
    Humbert
        12
    Humbert  
    OP
       2020-01-28 14:05:20 +08:00
    @iYu 因为这个之后导师要用的,所以得考虑下数据量大的情况..
    Humbert
        13
    Humbert  
    OP
       2020-01-28 14:05:31 +08:00
    @oott123 !谢谢
    Humbert
        14
    Humbert  
    OP
       2020-01-28 14:06:23 +08:00
    @phpfpm 是有的,5000 次每小时
    sunwei0325
        15
    sunwei0325  
       2020-01-28 17:34:27 +08:00
    有个同事把代码传到 github 上, 公司安全部门很快就发现并通报了, 估计是自己实现的吧
    everydaystruggle
        16
    everydaystruggle  
       2020-01-28 22:57:20 +08:00
    楼主或者楼主导师是做 mining software repository 的么?
    lazygod
        17
    lazygod  
       2020-01-29 03:48:27 +08:00 via Android
    @sunwei0325 用公司的电脑上床有记录的
    SampleNaive
        18
    SampleNaive  
       2020-01-29 19:32:59 +08:00
    当然有啊,不然那些动不动几千 star,才几十个 issue 的项目怎么来的?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5836 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 06:19 · PVG 14:19 · LAX 23:19 · JFK 02:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.