V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  resolvewang  ›  全部回复第 5 页 / 共 7 页
回复总数  131
1  2  3  4  5  6  7  
2018-03-06 21:49:00 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@freedot 欢迎使用哦
2018-03-06 17:18:48 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@hunk 可以对比使用,看看效果,hahahh
2018-03-06 16:51:26 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@xrlin #17 感谢捧场
2018-03-06 16:24:36 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@iamnoten #15 欢迎试用。使用过程中有任何问题可以直接提 issue
2018-03-06 16:14:51 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@sunwei0325 #13 感谢。希望能用起来,就是最好的
2018-03-06 16:03:17 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@sw10 #11 客气了。其实 haipproxy 还有一个点做得比同类项目要好,就是它取 IP 的时候看同时参照最近校验时间、响应速度和稳定性。这也是从高度不可用的代理 IP 池中挑选中质量尚可的代理 IP 的一个很重要的策略
2018-03-06 15:47:14 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@sw10 squid 是实现的一个客户端。但是它的效果应该不会有定制的客户端的效果好,比如[client/py_cli]( https://github.com/SpiderClub/haipproxy/blob/master/client/py_cli.py) 原因是 squid 对代理 IP 的使用效果没有一个正负面反馈,而定制的客户端可以对高质量 IP 和低质量 IP 进行直接的反馈,根据反馈,客户端再决定是否将相同 IP 再次传递给爬虫使用。这就是截图中的 greedy 策略。如果是用 robin 策略,那么就和使用 squid 差不多了,即高质量和低质量 IP 轮询。这种方式很可能错过很多高质量 IP,因为网上抓来的 IP 大多是短效的,客户端 IP 池可能还没轮完一轮,某些高质量 IP 可能就不能用了
2018-03-06 14:28:41 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@haofly #7 哈哈哈,感谢捧场。你当真用了吗
2018-03-06 14:22:01 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@golmic #5 好的,有想法的话,可以一起改进。做这个之前,我就是用着别的都不是很舒服。因此集中花了两个多月研究同类项目和其它一些文档,又结合自己的一些想法,实现了 haipproxy。期待你的使用和反馈
2018-03-06 14:15:06 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@golmic #1 感谢捧场 :)
2018-03-06 14:14:50 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@Charkey #2 那赶紧用用,期待宝贵的反馈意见。因为开源比较晚,所以反馈的意见还不够,项目一些细节还能优化
2017-12-11 18:26:54 +08:00
回复了 JEFFMEME 创建的主题 iDev MAC 10.11 命令行报错,如何修复
后人+++
很强
2017-12-06 14:40:25 +08:00
回复了 recall704 创建的主题 分享创造 k8s 离线部署 ansible 脚本
感谢分享,star+fork 了。到时候有问题再请教一下你
2017-10-12 14:05:39 +08:00
回复了 resolvewang 创建的主题 问与答 Python 做服务化,用 thriftpy 和 celery 有啥区别?
@junneyang 谢谢回答。thrift 是跨语言,但 thriftpy 应该不跨语言,我也没深入使用,这方面还是小白。感谢
2017-10-12 11:14:06 +08:00
回复了 resolvewang 创建的主题 问与答 Python 做服务化,用 thriftpy 和 celery 有啥区别?
经过一段时间的思考,我现在的理解是,thrift 它是为不同项目提供 rpc 调用,而 celery 却是单一项目的 rpc 调用,需要共享相同的 Celery 实例。
目前我能理解到的就是这个了。。。
2017-10-12 11:11:26 +08:00
回复了 resolvewang 创建的主题 问与答 Python 做服务化,用 thriftpy 和 celery 有啥区别?
@ttycode 恩恩,是的
2017-10-12 11:11:10 +08:00
回复了 resolvewang 创建的主题 问与答 Python 做服务化,用 thriftpy 和 celery 有啥区别?
@haofly thrift 总听说过的吧。thriftpy 就是 thrift 的纯 python 实现。
@Yc1992 哈哈哈,我也这么觉得
2017-06-12 16:40:48 +08:00
回复了 resolvewang 创建的主题 问与答 aiohttp 怎么复用连接池
@messense 好的,明白了,感谢
2017-06-12 13:42:41 +08:00
回复了 resolvewang 创建的主题 问与答 aiohttp 怎么复用连接池
@messense 我一直以为 teardown 和 setup 在 unnittest.main()中只会运行一遍。。。

event loop 在程序的整个生命流程中,如果被 close 了,那么就不能使用 asyncio.get_event_loop()获取了吗?根据上面的代码,感觉是这样的。那这也就是说,我们只能在程序不用 event loop 的时候再关吗?

感觉自己对 event loop 模型还不是特别清楚。
1  2  3  4  5  6  7  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1048 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 28ms · UTC 23:16 · PVG 07:16 · LAX 16:16 · JFK 19:16
Developed with CodeLauncher
♥ Do have faith in what you're doing.