V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
wusuopuBUPT
V2EX  ›  Go 编程语言

分享一个 Go 实现的小爬虫程序

  •  
  •   wusuopuBUPT ·
    wusuopubupt · 2018-04-03 15:45:33 +08:00 · 1825 次点击
    这是一个创建于 2208 天前的主题,其中的信息可能已经有所发展或是发生改变。
    项目地址:

    https://github.com/wusuopubupt/go_spider

    适合新手练习, 用了 goroutine, channel, select, waitGroup, mutex 做并发
    9 条回复    2019-01-02 13:19:52 +08:00
    lepig
        1
    lepig  
       2018-04-03 16:01:52 +08:00
    楼主 请教一下 新手如何系统点学习 go
    看到接口这里 有点看不懂了 通道还没看。有点迷
    wusuopuBUPT
        2
    wusuopuBUPT  
    OP
       2018-04-03 17:25:28 +08:00
    @lepig 多练习吧,通过项目来积累
    hzm0318hzm
        3
    hzm0318hzm  
       2018-04-03 17:46:43 +08:00
    棒棒的,star 下学习了
    wusuopuBUPT
        4
    wusuopuBUPT  
    OP
       2018-04-03 19:19:43 +08:00
    @hzm0318hzm 欢迎拍砖&PR
    Norie
        5
    Norie  
       2018-04-04 09:16:18 +08:00
    2 years ago
    lepig
        6
    lepig  
       2018-04-09 10:07:51 +08:00
    想请教一下学习方法
    我是从 main 里面一步一步跟着读。看到项目里用到了各种标准库方法,我现在是看到一个查一个。 感觉很慢。
    所以想问问 是不是应该把标准库的方法大概过一眼后 在来看项目呢。

    谢谢
    wusuopuBUPT
        7
    wusuopuBUPT  
    OP
       2018-04-09 22:30:35 +08:00
    @lepig 建议先有个大概的了解,然后走读代码,会比较容易些
    Allianzcortex
        8
    Allianzcortex  
       2019-01-02 11:59:55 +08:00 via iPhone
    感觉加锁意义不大..多个 goroutine 访问同一个网页一开始看就没有几率,并且就算是有影响也很小,不像全局计数器那么不能允许任何误差。要我去写一个无限循环的 reveiver 我应该也是用 select+break 外围 loop 的方式
    Allianzcortex
        9
    Allianzcortex  
       2019-01-02 13:19:52 +08:00 via iPhone
    @Allianzcortex 或者保险起见只在 map 读写的时候加锁,整个函数都加锁负担太大了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   934 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 20:25 · PVG 04:25 · LAX 13:25 · JFK 16:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.