V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
zhoudafa6780022
V2EX  ›  程序员

爬虫爬 twitter 和 github 大家觉得现实不?

  •  
  •   zhoudafa6780022 · 2022-11-25 10:22:34 +08:00 · 5577 次点击
    这是一个创建于 754 天前的主题,其中的信息可能已经有所发展或是发生改变。

    爬虫爬 twitter 和 github

    设定关键词,搜索特定博主 /作者

    大家觉得现实不?

    18 条回复    2022-11-29 09:11:05 +08:00
    SunsetShimmer
        1
    SunsetShimmer  
       2022-11-25 10:25:16 +08:00
    好像都有 API ,技术可行。

    需求可能不大。
    limiter
        2
    limiter  
       2022-11-25 10:44:33 +08:00
    爬 github 吃力不讨好,会用的都能自己访问,不会用的爬了也不会看,至于 twitter ,你爬了给谁用?不怕进局子?
    zhoudafa6780022
        3
    zhoudafa6780022  
    OP
       2022-11-25 10:47:08 +08:00
    @SunsetShimmer 有 API 吗?哪里搜索?不是需要需要很多账号才能完成的吗?
    zhoudafa6780022
        4
    zhoudafa6780022  
    OP
       2022-11-25 10:48:04 +08:00
    @limiter 要快速搜索,人工无法实现。。有脚本或软件,就会看!
    SunsetShimmer
        6
    SunsetShimmer  
       2022-11-25 10:50:51 +08:00
    @zhoudafa6780022 当然是有 API 使用限制的,大量调用恐怕不行。
    lzgshsj
        7
    lzgshsj  
       2022-11-25 10:53:07 +08:00
    ochatokori
        8
    ochatokori  
       2022-11-25 10:58:42 +08:00 via Android
    github 直接用官方提供 api
    推特官方 api 需要申请开发者,不申请开发者用普通用户网页 api 容易账号被封。

    以前试过用游客账户网页 api 爬,除了一部分信息爬不到之外(推文和回复都可以)效果还行。
    zhoudafa6780022
        9
    zhoudafa6780022  
    OP
       2022-11-25 12:34:15 +08:00
    @SunsetShimmer 就是要收集 twitter 和 github 博主主页上留有 tg 联系方式的一类。使用 API ,是否可行?
    zhoudafa6780022
        10
    zhoudafa6780022  
    OP
       2022-11-25 12:34:56 +08:00
    @lzgshsj 想要收集 twitter 和 github 博主主页上 关键字+留有 tg 联系方式的一类
    v2defy
        11
    v2defy  
       2022-11-25 13:22:14 +08:00   ❤️ 1
    想那么多干嘛,api 都有了,想做就去实现啊
    youyelan9527
        12
    youyelan9527  
       2022-11-25 15:55:11 +08:00
    你这明目张胆的的说出来要爬人家的联系方式🙄
    haohh
        13
    haohh  
       2022-11-25 18:13:05 +08:00
    twint 了解下
    SunsetShimmer
        14
    SunsetShimmer  
       2022-11-25 20:09:59 +08:00
    @zhoudafa6780022 不建议做,最好别做。
    janus77
        15
    janus77  
       2022-11-26 12:56:10 +08:00
    好小子,我收到的不知名猎头邮件就是你们发的吧
    zhoudafa6780022
        16
    zhoudafa6780022  
    OP
       2022-11-28 22:18:53 +08:00
    @SunsetShimmer 为什么? 怕无法实现大量调用是吗?
    SunsetShimmer
        17
    SunsetShimmer  
       2022-11-28 23:02:39 +08:00 via Android
    @zhoudafa6780022 API 有限制是一方面,另一方面是这个用途(获取联系方式)有点不太正当。
    zhoudafa6780022
        18
    zhoudafa6780022  
    OP
       2022-11-29 09:11:05 +08:00
    @SunsetShimmer 好的 谢谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3286 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 11:37 · PVG 19:37 · LAX 03:37 · JFK 06:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.