这是一个创建于 1884 天前的主题，其中的信息可能已经有所发展或是发生改变。
代理池一找一大堆，造这个轮子是因为学了异步想实践一下，捞一波⭐。
目前在开发中，打算加个高匿性检测🙃
https://github.com/cwjokaka/ok_ip_proxy_pool
欢迎提建议
 |
1
cwjokaka OP 自顶↑
|
|
2
cwjokaka OP 不要只收藏啊😅
|
 |
3
jziwenchen 2019-09-27 15:23:51 +08:00
支持 !
|
 |
4
Northxw 2019-09-27 15:35:46 +08:00
建议：'test_url': 'http://www.baidu.com' 这个链接改成可配的最好，搞百度么得意思~
|
 |
5
HuberyPang 2019-09-27 15:43:34 +08:00
不错不错 验证 ip 代理类型可以看下用这个 https://github.com/pangxiaobin/proxy_ip_pool/blob/master/ProxyIPPool/utils/validator.py 这个也是参考 githup 上的一个项目 感觉不错
|
|
6
cwjokaka OP |
|
7
cwjokaka OP UP
|
 |
8
fengshils 2019-09-27 16:44:42 +08:00
给你支持一下
|
 |
9
tulongtou 2019-09-27 16:45:22 +08:00
学一下 rust 的异步，拿 rust 写吧
|
 |
10
mxy940127 2019-09-27 16:46:35 +08:00
这些免费代理 真的有用么..
|
|
11
cwjokaka OP |
 |
12
vtwoextb 2019-09-27 17:37:44 +08:00
赞
|
|
13
cwjokaka OP UP
|
|
15
cwjokaka OP @sadfQED2 我弄了一个简易评分的规则，每隔一段时间验证代理，通过验证的加分，不通过的减分，0 分的代理标为不可用。虽然不能百分百杜绝代理不可用的情况，但至少可以提高请求的成功率。^O^
|
 |
16
jiager 2019-09-27 19:12:24 +08:00 via Android
没想到你一直在做呀，之前找代理 IP 池的时候看见过你的，那时候好像你刚开始写，最后还是选的 github 上那个 7.8kstar 的，过两天试试你这个
|
 |
17
jasonqiao36 2019-09-27 19:20:21 +08:00  1
偶尔会出现 sqlite 被锁了
|
|
18
cwjokaka OP @jasonqiao36 是的😂，我查过 sqlite 是锁文件的，如果更新频率过快会有这种情况。
有没有大佬可以提出解决 /缓解方案 |
|
20
jasonqiao36 2019-09-27 21:55:58 +08:00
@cwjokaka #18 存储到 redis ？
|
 |
21
psychologe 2019-09-28 00:10:36 +08:00
支持一下，以后有可能需要用到。
|
|
22
cwjokaka OP @jasonqiao36 后续扩充这种方式
|
 |
23
yangva 2019-09-28 23:37:15 +08:00 via Android
借楼自推一波，还望楼主不要介意[嘻嘻]。同样用 python 写的 ip 代理池，有 gevent 协程、线程池、线程池+异步一共三种运行方式，相关配置文件里有说明。
https://github.com/Eeyhan/IPproxy |
 |
24
uxff 2019-10-02 13:10:14 +08:00
有些能用有些不能用
|
Select Language