首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

最近正在学习 Go,想写一个爬虫来练练手,希望大家出个好点子

  •  
  •   www6688w · 49 天前 · 3343 次点击
    这是一个创建于 49 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近正在学习 Go,想写一个爬虫来练练手。

    但是不知道该爬些什么,大家有没有什么建议的目标站点或者好玩的点子,都可以提出来。

    这个主要是练习和玩,写完之后代码会直接开源。

    37 回复  |  直到 2019-08-29 09:43:12 +08:00
        1
    meik2333   49 天前   ♥ 1
        2
    upczww   49 天前 via Android
    爬携程,美团,淘宝,这些都非常好爬
        3
    ylsc633   49 天前
    我曾入行时学习 php 的时候 用 php 的 cUrl 趴了 达盖尔 板块的图!
        4
    Ritter   49 天前
    @upczww 好爬+1
        5
    siriussilen   49 天前
    @Ritter 好爬+2
        6
    TomStark   49 天前
    @ylsc633 开,往城市边缘开
        7
    www6688w   49 天前
    @upczww 淘宝防爬不是很厉害麽,大兄弟 (⊙ˍ⊙)
        8
    cxsz   49 天前
    豆瓣 爬电影信息,评分,观影人数啥的
        9
    Rorshach   49 天前
    @www6688w 没有吧,我半年前爬的时候只要带上 cookies+代理就可以了
        10
    roryzh   49 天前   ♥ 1
    jav
        11
    default7   49 天前
    为什么不是 py
        12
    skiy   49 天前 via Android
        13
    fivestrong   49 天前 via iPhone
    爬 dmm 吧,整个电影库。
        14
    XxxxD   49 天前
    从自己兴趣出发啊
        15
    misaka19000   49 天前
    写啥爬虫啊,没什么技术含量
        16
    rayhy   49 天前 via Android
    写个 golang 版本的 rsshub 吧,能考验下自己怎么组织代码,怎么设计 API,怎么方便别人帮你写某个网站的爬虫。
        17
    herozzm   49 天前
    @siriussilen 好爬+3
        18
    mumbler   49 天前
    爬 youtube 所有带中文字幕的视频
        19
    MMMMMMMMMMMMMMMM   48 天前
    某 hub 视频
        20
    omph   48 天前
    微信、微博、豆瓣等资源大户
        21
    ctro15547   48 天前
    国内外各种大秀直播平台的流媒体地址抓取,做个整合,做成 api,外接个播放工具,或者动手写写安卓,就取名叫 XX 聚合直播吧,放墙外收费,到手的钱,写个监控各挖矿币种走势的爬虫,自动买币,一条龙
        22
    snoopygao   48 天前
    @herozzm 好爬+4
        23
    sadfQED2   48 天前 via Android
    https://github.com/Jinnrry/getAwayBSG 上次看见的,跟进一下?
        24
    sadfQED2   48 天前 via Android
    @snoopygao 好爬+5
        25
    qq7790586   48 天前
    顺便借楼问下,爬虫是 python 还是 go 好呢?
        26
    ClericPy   48 天前
    golang 实现其他语言的著名 爬虫框架, 主要是模仿 API 或者架构
    或者最简单的模仿其他语言的好用的 http 请求库, 主要了解下设计和命名方式
    或者实现 curlparse, 也就是 curl string 和 struct 互转

    边看边学, 最简单的还是直接照抄 Github 已有项目, 很多时候自己摸索的进度完全不如直接看好代码, 刚入门多学学别人的设计和风格比自己瞎写有用得多
        27
    mozutaba   48 天前
    @upczww 还有公众号也非常适合入门
        28
    tushile928   48 天前
    爬可用 6 位数以内域名
        29
    andy1ee11o2   48 天前
    Fanza
        30
    amwyyyy   48 天前
    我之前刚玩的时候把某 h 网站的图片全下了
        31
    encro   48 天前
    网易考拉 趁倒闭前收集 SKU 分析分析
        32
    laravel   48 天前
    p 站(p**nh*b)视频中文留言
        33
    None123   48 天前
    @Rorshach 不会有假数据吗?
        34
    www6688w   48 天前
    @qq7790586 看个人习惯吧,,我比较喜欢 Go 这种类型的,不过 py 可能会简单一些
        35
    qiuBiLiBiLima   48 天前
    大神,求抖音视频批量去水印下载,GitHub 上之前有个大神做过,1000 多个 star,但是现在好像不维护了,求大神接力做下去
        36
    qiuBiLiBiLima   48 天前
    大神,求抖音视频批量去水印下载,GitHub 上之前有个大神做过,1000 多个 star,但是现在好像不维护了,求大神接力做下去 这个是地址 https://github.com/loadchange/amemv-crawler
        37
    roryzh   47 天前
    @amwyyyy 我给某 x 网全视频都下了
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1271 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 17:47 · PVG 01:47 · LAX 10:47 · JFK 13:47
    ♥ Do have faith in what you're doing.