@godoway 为啥答非所问？

一回来看到这么多评论，而且很多都是比较倾向于这种办法过于简单，不足挂齿的。这里我简单说明一下。

我写这篇文章的目的，不是为了把一个很简单的东西说得有多么高大上，而是将一个我的实际的产品例子拿来分享。这里再安利一下用到了这个技术的 Github 项目 ArtiPub，用的人也不是非常多，现在也只有 1.6k Github Stars，但在实战中确实有效，方法非常简单，而且竞争对手 OpenWrite 也是用这种方式来绕开登录的。其中所有平台 掘金、SF、v2ex、CSDN、开源中国、博客园、知乎、今日头条，都被这种方法绕开了，都是用 Cookie 的方式！不知道有不有相关的大佬会看到这篇文章回去升级登录验证方式的，例如用 JWT。

https://github.com/crawlab-team/artipub

我看了一下数据，文章阅读量到目前只有 65 个，也就是说 1.3k 从 v2 点进来的人，有多少人是真正看了文章而评论的呢？如果只是为了娱乐，我可以当然一笑了之，如果是被没看懂的大佬们误导，就有点得不偿失了。

@finely 既然这种方式有效，你是不是后悔没提前备着呢

@1018ji 到底是有用还是没用…

@rekulas 有啥问题？

actions

@musi 是的，这个本身就是支持分布式的平台，可以多节点部署。Crawlab 分主节点工作节点，主节点主要控制 API 和节点注册等，工作节点主要负责抓取，你可以让主节点在内网，工作节点在外网，这样就可以实现你想要做的事情了。

@qsbaq 现在试试

@kaikai5601 密码被更改了，现在可以试试

@pythonee 是的，现在文档还有些不那么完善，后续我们会进一步逐步完善的。

在 Docker 镜像中，scrapy 是已经集成了的了。

@hfutzj 谢谢支持

gitbook

再验证一下有不有 bug 吧

这么恐怖。。。加起来几万了

自己写吧，很简单的，用 scrapy 的 CrawlSpider，注意反爬限制

@Harlaus crawlab 可以运行任何语言，任何框架，不局限于 scrapy 哦

@winglight2016 已经做了，请参照 github，docker-compose 是推荐部署方式

@huruwo crawlab 针对爬虫管理，可配置爬虫暂时仅限于 web，手机 app 爬虫还需要用自定义爬虫开发

@JaneWang 反爬特性的爬虫可以用自定义爬虫，但爬虫管理是一个比较重要的功能，除非你的爬虫根本不成规模，或者处于 demo 阶段… 详情可以看我掘金上关于爬虫管理平台的文章