爱意满满的作品展示区。
naiba

又一个高可用 IP 代理池(base Golang)

  •  
  •   naiba ·
    naiba · Jul 26, 2018 · 3502 views
    This topic created in 3028 days ago, the information mentioned may be changed or developed.

    做不像样不敢拿出来的,

    之前看到 v 友分享的 Haipproxy 做的很不错,就是部署起来感觉挺复杂的,依赖各种服务。

    所以用 Go 做了一个代理池+二级代理。只依赖 MySQL,一键部署。

    Proxy-in-a-Box https://github.com/naiba/proxyinabox

    • 爬取代理 -> 进入地址池
    • 代理请求 -> 鉴权 -> 调度 -> 转发 -> 返回

    (开启了 debug 模式的话还能体验 https MITM 打印 request 和 response.)

    按照 readme 启动之后,在你的代码中设置 proxy,然后就可以跑了。

    TL;DR

    代理的调度:开始的时候是在数据库中调度,频繁的读写及自增……后面放到了 sync.Map ,感觉可控性不强,后面又转到了 redis,结果 go-redis 用的不好,高并发下还是会出现一个代理一秒钟调度到一个主机十几次。 后面整个用锁自定义 map 来控制多线程读写。现在感觉很棒棒了。 开始没有做 MITM 打印 https 请求详情,后面走了点弯路之后成功实现功能。

    3 replies  •  2019-12-04 14:03:46 +08:00
    naiba
    naiba
    OP
    Jul 26, 2018
    1
    @Livid 为什么在分享创造看不到这个贴……
    lookas2001
    lookas2001
    Jul 27, 2018 via Android❤️1
    2
    看到了,支持一下
    zkwap
    zkwap
    Dec 4, 2019
    3
    这么给力,怎么没人评论
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1076 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 18:17 · PVG 02:17 · LAX 10:17 · JFK 13:17
    ♥ Do have faith in what you're doing.