很好奇一个爬虫，后面没有跟着算法等数据专家， 能搞成什么样的大数据。

如果可以，打包成 docker 吧， win 上不是也可以用 docker 了？

@Miksztowi 当然可以啦，不过呢，中间一般在经历 label 的过程。

===足够的吸引力===
拿别人的代码跑一下，就可以拿到种子，妹子图，或者生成标准的 excel ，你说对于一个从来没有接触过编程语言的人，够不够吸引力呢？我想大多数刚接触语言的人应该都不会拒绝吧，特别是非科班出身的人

===数据时代的兴起===
目前的噱头，都天天喊着大数据，有些公司或者企业，本身不生产数据，那怎么办呢？买数据，或者爬数据，这点对于“爬虫”这个行业的兴起是密不可分的

===入门容易深入难===
懂一般的 http 请求，了解 xpath ，正则，玩一两个框架，就可以定制一些数据了，那真这么简单吗？当然不是，你玩爬虫你得知道别人反爬虫的常用技巧吧， js 渲染， api 加密，封 IP ，出验证码，还有你的数据层面的存储，清洗，爬虫的整体执行效率，每一个细节都可以延伸的技术细节，所以你入门是容易的，但是想要精进，是需要花时间的

===乱象===
现在网上对于爬虫的需求是饱和或者上升的，但是舆论风气很不好，贴一两段代码，然后取个什么标题，他们从来不会跟你讲 html dom 元素， javascript ,http 请求这些基本的理论知识，更别谈数据库，语言的基础知识了，只要你会用，这点我看来不怎么好

https://github.com/BruceDone/dagobah 简单，好用

我目前想到的，对于”下一页“的解析不是那么的完善，可以考虑增加开发者模式，如果当前的选中单位不符合自己的预期的话，可以自己去编辑。总的来说，和 pyspider ，以及 portia 一样，都是很不错的东东，需要更加的打磨一下就是一个好产品了。

@loveuqian 君不见南山，车水马龙，人满为患，上下拥堵，劳心劳力。

@Doubear 资历给能力让步，对自己有信息就扔个简历过来～

既然你有这么多理由这不是应该你的 leader 决定的吗？直接把你的问题给你的 leader 做处理。

能干活就成呀，他自己负责一块，打包成 docker 应用，自己维护，不限制语言，各玩各的也行

@kakana 欢迎投简历 ～

用多说的社会化评论系统就可以了。增加这个插件。

@hanzichi 哇，这个可以收录到 demo 系列，我先标记一下，感谢你的分享～

@scnace 感谢你的 golang 资源分享，今天 update 一个新的版本上去

@slysly759 - - 大神不要捧我的臭脚了，我就是一个资源收集与分享～

@sinoandywong 感谢分享，基于 python 的有很多，我想更汇总不同语言的框架和资源

关于调度的，欢迎你使用这个。[调度]可视化的调度架构-Dagobah] http://brucedone.com/archives/754

执行载体暴露 api ，以 xml 或者 json 做为标准格式，执行载体要有当前执行，待跑列表，历史记录，爬虫管理，执行或者删除等核心功能，然后以此的基础上，你就欢快的脱离语言自己造轮子吧。

兄台，这里大部分都是 pythoner , .net 的相对少，或者你可以去博客园招一把。虽然我也是.net + python