首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

做了一个动态代理 IP 池项目,邀请大家免费测试~

  •  
  •   wswuai · 2018-06-09 11:44:55 +08:00 · 9510 次点击
    这是一个创建于 497 天前的主题,其中的信息可能已经有所发展或是发生改变。

    长期在 V2EX 潜水,

    现在打算出来创业了,目前公司在深圳。

    做了点啥呢,

    就是给爬虫用的动态代理 IP 池啦。

    目前运行很稳定,

    邀请大家来免费测试,

    打我的电话 18129823435

    和我说你是 v2exer 就行 :)

    传送门 http://www.2808proxy.com

    第 1 条附言  ·  2018-06-09 16:00:40 +08:00
    附送一个 关于 反反爬虫策略的文章, https://www.jianshu.com/p/b86920a3e872
    49 回复  |  直到 2018-07-02 19:10:26 +08:00
        1
    wswuai   2018-06-09 11:55:48 +08:00
    目前 支持 HTTP/Socks5 /PPTP /L2TP 接入,

    提供 HTTP API 提取

    额...想到哪儿再补充吧...
        2
    a7a2   2018-06-09 12:07:36 +08:00
    你能提供的都是已经被识别的包含 ss
    还未被识别的是还未出现的’极力模拟 bt 协议的 vpn ‘,靠你们了,写吧!
    要从绝对底层实现,控制每一个包入 syn,具备 drop 掉 rst 包能力
        3
    wswuai   2018-06-09 12:21:00 +08:00 via iPhone
    我这个项目是给爬虫系统使用的,不是用来翻 gfw 的 vpn ……
        4
    xuxueli   2018-06-09 12:22:52 +08:00 via Android
    赞,可以结合 xxl-crawler 一起使用。

    XXL-CRAWLER 是一个分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP 动态代理、分布式、JS 渲染"等特性;

    http://www.xuxueli.com/xxl-crawler/#/
        5
    wswuai   2018-06-09 12:39:20 +08:00
    @xuxueli 你写的爬虫框架很棒, 我可以向你的 repo 提交我的 client 嘛?
        6
    jamesfuxk   2018-06-09 12:42:28 +08:00
    看了不错,支持支持
        7
    wswuai   2018-06-09 12:43:33 +08:00
    @jamesfuxk 感谢支持!
        8
    xuxueli   2018-06-09 13:33:57 +08:00 via Android
    @wswuai 当然可以啊,后续会拆分出 core 依赖和 sample 示例(目前 sample 写在测试用例目录里的),你可以 pr 一个定制的 client 示例,这样接入你们的代理池就更加方便了,我文档里也更新下。
        9
    ericgui   2018-06-09 13:38:27 +08:00
    @wswuai 有美国 ip 么
        10
    wswuai   2018-06-09 13:51:32 +08:00 via iPhone
    @xuxueli 好哒!
        11
    wswuai   2018-06-09 13:51:45 +08:00 via iPhone
    @ericgui 目前只有国内噢
        12
    bigmama   2018-06-09 14:36:38 +08:00
    还要打电话啊。。
        13
    lunatic5   2018-06-09 14:53:39 +08:00
    这个不错啊,最近刚好苦于没有高质量的代理用来搞爬虫
        14
    nullen   2018-06-09 14:54:56 +08:00
    好的。不错。
        15
    artandlol   2018-06-09 15:01:25 +08:00 via iPhone
    之前有个项目是,ip 池质量不好,你这个自己搭的吗?
    开源的项目为 https://github.com/imWildCat/scylla
        16
    iConnect   2018-06-09 15:06:58 +08:00 via Android
    收藏先,看起来不错,你这个站是用那个模板建的?蛮漂亮的
        17
    chinafeng   2018-06-09 15:24:44 +08:00
    @ericgui #9 有需要美国的?
        18
    wswuai   2018-06-09 15:55:00 +08:00
    你们都这么懒啊 ... 打个电话都不愿意 😂
        19
    wswuai   2018-06-09 15:59:08 +08:00
    @artandlol

    你的项目看起来是个扫描器,和我们的原理不大一样。

    我们的 IP 都来源于各地的运营商,服务器直接托管在通信机房。

    性能非常稳定, 应用场景比较适合企业使用。

    ping 测试的典型情况是:typical / max / min / mdev / packet loss = 40 / 60 / 30 / 0.5 / <0.01%
        20
    wswuai   2018-06-09 15:59:34 +08:00
    @lunatic5 欢迎来电咨询, :)
        21
    ZJsnowman   2018-06-09 16:04:03 +08:00 via Android
    终于看到有人做这方面的商用代理池了,看好。周一申请试用
        22
    wswuai   2018-06-09 16:04:52 +08:00
    @ZJsnowman 感谢支持 ~ 😀
        23
    simonsww   2018-06-09 16:18:30 +08:00
    @wswuai 这个企业版最高 4320IP/线路提取能力,是每天最多提取这么多 ip 吗,支持并发之类吗,可以杜绝重复 ip 吗
        24
    ash   2018-06-09 17:30:41 +08:00
    楼主 666,靠谱
        25
    xavier007   2018-06-09 17:35:20 +08:00
    楼主是否需要 IP,我这里有设备,每个设备目前提供 96 个干净 IP,设备会自动分批次重启,更换新的 IP
        26
    xavier007   2018-06-09 17:36:02 +08:00
    NDk5ODczOTU4
        27
    wswuai   2018-06-09 17:36:36 +08:00
    @simonsww 是指每条“线路”, 是按最少的 IP 持有时间算, 最多可能提取的 IP 数。

    这个 4320 = (24 小时*60 分钟*60 秒)/ 20 秒(企业版本)资源最小持有时间

    每个“线路”在同一时刻只能持有一个 IP 地址,在你完成一个任务之后, 你可以释放掉它,然后从 IP 池中提取一个新的 IP 地址。

    我们定价是按 “最大持有资源数” ,也就是线路占用数定价的。

    比如你采购了 10 个“线路”, 那么你最多同时持有 10 个 IP 地址, 用完了之后就释放掉,然后你就可以再次提取 10 个 IP 地址,循环往复。

    每次提取 IP 地址, 你都可以持有相当长的时间(比如一年),或者相当短的时间(比如 20 秒), 这个时间由你决定,时间最长 可以持有一年(之后可能会发生断线), 最短 20 秒,时间长短,由你的业务而定,都是由你自己说了算。

    当你持有那个线路之后, 你通过 HTTP/Socks5 代理的方式连接到它, 请求频率、流量 都没有限制(实际带宽在 10Mbps 左右、不建议并发数超过 100 )

    关于 IP 重复率: 由于技术实现的方法所限,我们目前没有做去重,如果你业务上需要去重,需要你手动来做。
        28
    wswuai   2018-06-09 17:37:54 +08:00
    @xavier007 如果合作可以联系 : 18129823435
        29
    wswuai   2018-06-09 17:39:29 +08:00
    @ash 蟹蟹阿石~
        30
    wswuai   2018-06-09 17:40:03 +08:00
    @bigmama 或者我也可以给你打呀~
        31
    xavier007   2018-06-09 18:15:29 +08:00
    @wswuai 我们这个设备的 IP 都是手机 IP,绝对干净
        32
    artandlol   2018-06-09 18:17:13 +08:00 via iPhone
    很多游戏平台需要这类的工具,试用过这类的软件,都是面向用户的。
        33
    wswuai   2018-06-09 20:06:53 +08:00 via iPhone
    @artandlol 嗯,很多同类软件是面向游戏的。 我这边主要面向企业客户,爬虫系统这边。
        34
    naiba   2018-06-09 20:21:29 +08:00 via Android
    反爬这个还是比较初级,
        35
    hhacker   2018-06-09 20:27:51 +08:00
    。。。比较好奇你们是怎么获取到这些各地海量的 ip 地址?我之前稍微查了一下,有拨号 vps 的玩法但是成本可不低
        36
    wswuai   2018-06-09 20:38:07 +08:00 via iPhone
    @naiba 我的文章写的也比较简单,挂一漏万,如果你这边有哪些反爬策略,可以指点一下,我丰富一下文章内容 😄
        37
    wswuai   2018-06-09 20:39:40 +08:00 via iPhone
    @hhacker emmm,我们把服务器直接放在运营商通信机房啦,具体不能说太细,拨号 vps 和我们的实现方式差不多,但是提供的服务不是一样的。 我这边已经通过系统管理好了可靠性和可用性,你直接用就好,不用操心别的。
        38
    Nick2VIPUser   2018-06-09 23:34:38 +08:00
    先赞了再说,正好有类似的需求~
        39
    Nick2VIPUser   2018-06-09 23:39:02 +08:00
    想了解一下提取 api 具体情况
    比如按最低配单价算的 api 的访问限制频率,每次提取的个数
    是否有根据不同客户的业务(爬不同的网站)来细分不同的池子~
    页面的内容太少啦,现在的人可能都不太习惯马上打电话;直接从宣传资料上获得信息可能会轻松一点......
        40
    ericgui   2018-06-10 06:59:21 +08:00 via Android
    @chinafeng 是,需要美国的
        41
    doubleflower   2018-06-10 11:07:43 +08:00
    不错,价格也便宜
        42
    wswuai   2018-06-10 13:32:29 +08:00 via iPhone
    @Nick2VIPUser 明白了,现在网站的内容确实是少了点,回头多完善一点。所以说还是用手机联系比较容易呀 😂
        43
    vus520   2018-06-10 14:00:25 +08:00
    顺道推荐一个海外的 https://socks5.io/
        44
    royzxq   2018-06-10 20:07:35 +08:00
    mark 一下应该用得上
        45
    wswuai   2018-06-11 10:27:21 +08:00
    周一啦, 大家如果有需求可以联系我哈~
        46
    wswuai   2018-06-11 10:28:48 +08:00
    @Nick2VIPUser 目前我们没有 IP 提取频率的次数限制, 但是有 IP 最少持有时间的限制,企业级客户是最短 20 秒, 个人客户最短 60 秒。
        47
    shaobin   2018-06-23 19:57:57 +08:00
    居然做了和我一模一样的项目。
        48
    shaobin   2018-06-23 20:03:15 +08:00
        49
    wswuai   2018-07-02 19:10:26 +08:00
    大家也可以加我 QQ 32911290 联系我
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   856 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 196ms · UTC 22:21 · PVG 06:21 · LAX 15:21 · JFK 18:21
    ♥ Do have faith in what you're doing.