V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  tikazyq  ›  全部回复第 28 页 / 共 44 页
回复总数  863
1 ... 24  25  26  27  28  29  30  31  32  33 ... 44  
2020-04-08 17:18:12 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@jmyz0455 文中已经提到了 Golang 的优点,可以细看看
2020-04-08 11:11:31 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@CoolSpring 感谢支持。关于你的问题,由于一般是内部使用,所以安全问题主要靠自觉,而且如果把 crawlab 容器化之后,只能在容器里玩,还是有隔离的
2020-04-08 11:10:30 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@waruqi star 数不一定准确的,要看实际使用的人数
2020-04-08 11:10:07 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@flashrick 微信群主要是考虑到国内的用户,我们有个 tg 群,但没有推广
2020-04-08 08:33:17 +08:00
回复了 practicer 创建的主题 Python Python 爬虫项目如何管理?
crawlab
2020-04-08 08:21:05 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@Leigg 感谢
2020-04-08 08:20:52 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@oopsays 好主意👍
2020-04-07 21:58:48 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@graetdk 可以加我微信细聊 tikazyq1
2020-04-07 19:29:19 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@lyping 管理爬虫用的,爬虫管理平台可以百度一下
2020-04-07 18:12:35 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@yanwen 可以开静音😅
2020-04-07 16:46:57 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@omri 哈哈,确实,golang 克服了很多 python 的不足,作为比较容易上手的静态类型语言,是首选
2020-04-07 16:20:05 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@laminux29

1. 对于第一个问题我持保留意见,因为可视化是个很强大的特性,不能忽视

2. 对于爬虫程序本身来说,crawlab 的 project scope 还没有大量触及,现在核心是在调度,去重已经做了,反爬的逻辑应该是属于爬虫本身来考虑的
2020-04-07 15:46:45 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@shenkai600 多谢加🌟
2020-04-07 15:46:19 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@purensong 可能是编码没有处理好,这可能是个 bug,有空可以帮忙提个 issue 哈,多谢多谢
2020-04-07 15:45:18 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@Fizzyi 🤝
2020-04-07 15:30:26 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@Fizzyi 非常感谢在公司使用,可以加微信群反馈任何问题哈,加 tikazyq1 拉群
2020-04-07 15:29:48 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
2020-04-07 15:05:35 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@hackk 感谢
2020-04-07 12:06:45 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@stille 感谢支持
2020-04-07 12:02:19 +08:00
回复了 tikazyq 创建的主题 程序员 收获人生第一个 5k Star 开源项目,经验教训分享给大家
@aladdindingding 还没有测试过 master 管理 worker 节点的极限(因为没有这么多资源。。。),用户目前来看管理 10 个节点是没任何问题的

节点之间的交互是通过 redis 来完成,主要技术用了消息队列、pubsub 以及延迟队列
1 ... 24  25  26  27  28  29  30  31  32  33 ... 44  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1957 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms · UTC 16:24 · PVG 00:24 · LAX 09:24 · JFK 12:24
Developed with CodeLauncher
♥ Do have faith in what you're doing.