V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  awolfly9  ›  全部回复第 16 页 / 共 25 页
回复总数  493
1 ... 8  9  10  11  12  13  14  15  16  17 ... 25  
2017-02-14 11:04:29 +08:00
回复了 awolfly9 创建的主题 Python 听说今天情人节。开源一个爬虫代理框架,各位大神轻喷
@ijustdo 是有代理验证的。抓取,验证,然后提供接口。
2017-02-14 09:35:34 +08:00
回复了 awolfly9 创建的主题 Python 听说今天情人节。开源一个爬虫代理框架,各位大神轻喷
@Felldeadbird 抓取的所有免费 ip 或插入到表 free_ipproxy .如果验证之后的有效 ip 会放在单独的表里面。具体表名可以配置,例如抓取豆瓣就放在 douban 中。然后 free_ipproxy 每次抓取的时候回删掉半个小时之前的数据。代理 ip 验证会先验证当前表中之前已经验证过的代理,如果不可用就从当前表中移除,然后在验证 free_ipproxy 中的代理,如果可用就加入到表中。
2017-02-14 07:21:37 +08:00
回复了 awolfly9 创建的主题 Python 听说今天情人节。开源一个爬虫代理框架,各位大神轻喷
@deleted 共同进步
2017-02-14 07:17:39 +08:00
回复了 awolfly9 创建的主题 Python 听说今天情人节。开源一个爬虫代理框架,各位大神轻喷
@imcocc 最开始就是尝试用的 splite ,后来改成 mysql 是为了数据更长久的保存,以及后续分布式部署。

@uzumaki 如果有什么问题,请给我反馈

@songdezu 目前的做法是从服务器端口获取到 ip list 之后,在 scrapy 请求的 Middleware 中循环从 ip list 中取 ip ,如果发现 ip 不可用就马上删除 ip 。当 ip list 剩余很少时,重新向服务器请求。具体可以参考我后续开源的利用这个代理 ip 抓取豆瓣电影以及书籍的爬虫
2017-02-13 23:57:09 +08:00
回复了 holinhot 创建的主题 生活 女友说情人节想要个 macbook pro
2017-02-12 23:42:05 +08:00
回复了 liangmishi 创建的主题 求职 pythoner 求一兼职
@liangmishi 好啊,微信: QXdvbGZseQ==(base64)
2017-02-12 22:18:29 +08:00
回复了 liangmishi 创建的主题 求职 pythoner 求一兼职
@piero66 楼主优先

@liangmishi 优先
2017-02-12 15:58:23 +08:00
回复了 liangmishi 创建的主题 求职 pythoner 求一兼职
同求,楼主优先
2017-02-08 09:35:53 +08:00
回复了 woweiqingkuang 创建的主题 推广 今天免费送书《 Python 语言及其应用》,要的同学举爪 ...
3365.68
2017-02-06 14:01:49 +08:00
回复了 awolfly9 创建的主题 奇思妙想 如果健身房按次收费,你还会去吗?
我住址附近有健身房,公司附近也有健身房,目前在公司附近有年卡,但是周六日在家的时候就很尴尬,不行想跑这么远。所以如果住址旁边的健身房能够按次收费多爽。
谷歌开发人员开始怀疑人生了
我用的是阿里云发短信的服务,自定义模板,自定义签名。目前挺好用,发送速度极快。
2017-01-17 12:44:25 +08:00
回复了 lihua 创建的主题 分享发现 SetApp 邀请
@Mirage09 第三个已用
@clarkchen 感谢回复
@clarkchen 要求很高?难道我不该尝试下吗?
2017-01-11 12:52:45 +08:00
回复了 jtam 创建的主题 奇思妙想 求一个高端大气上档次好听有逼格的名字
第二春
2017-01-09 21:07:32 +08:00
回复了 jiujia 创建的主题 Android 各位好,我来讲个笑话
我已经笑了,楼下不要来了
2017-01-09 13:15:56 +08:00
回复了 Rubbly 创建的主题 程序员 小程序终于上线了,体验过后和大家想象中有什么不一样呢?
尽然没有支付宝小程序,以后怎么在微信里用支付宝支付
1 ... 8  9  10  11  12  13  14  15  16  17 ... 25  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5582 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 37ms · UTC 09:32 · PVG 17:32 · LAX 02:32 · JFK 05:32
Developed with CodeLauncher
♥ Do have faith in what you're doing.