996 本身是个反人类的企业文化，奋斗比都是把自己时间贱卖了用生命换来的，当公司上市拿着大笔奖金和股票去医治长期加班不运动导致的后遗症甚至绝症，值得么？

1984

实习生不是社招的，大部分都不可能一上来就会，该手把手教还是得手把手教，该启发还是得启发。楼主这种只启发不手把手教，然后吐槽别人技术差的导师不是合格的导师。与其浪费掉 tutoring 的机会，不如早点让给更有经验的导师吧。

@mikulch 应该是 webpack 、babel 之类的工具太臃肿和过于零散了，作者的意思是做个大统一框架

@wxsm 不是挺好用的么，ES6 、JSX 转原生 JS

Google 一条龙跟 PWA 有啥关联？没看明白

为啥不用 js，echarts 不香么

@bytelee https://demo-pro.crawlab.cn

闭门造车一般是死路一条，我这边开源转付费已经几十个客户了，要多问反馈，多优化，这是很重要的

gitlab, jenkins, github actions

可能是 2 年经验比较浅，如果是大数据方向 java 功底不能差吧。另外楼主还年轻，可塑性高，可以尝试一下其他技术，没必要给自己设限，大数据本身对算法和工程要求比较高，都是苦逼的活儿

群里没啥讨论正事儿的，早就退了

比我多，开源 1 年半，收到 5 元钱

选 redis 没错，这个方案也可行，内存溢出一般是程序本身的问题，检查一下哪里写了 bug 了

上代码

用 puppeteer，直接 js 操作，比 selenium 简单很多

一个生产可用的爬虫程序包括抓取、解析、入库、定时任务、增量抓取、监控、日志、数据统计等模块，真正要实现一套完备稳定的解决方案真的不是写几个 requests+BeautifulSoup 这么简单。

如果你的爬虫程序只是为了临时性的采集一些数据，那么可能八爪鱼这种 to 小白工具就可以满足，或者简单的用 scrapy/requests 编写个简单爬虫即可。但如果爬虫是你的核心业务，例如搜索引擎、内容聚合、尽职调查等对爬虫有大量要求的应用场景，那么你可能需要考虑爬虫程序的规模性和可扩展性，例如定时任务、爬虫部署、任务调度、日志监控、结果去重，这些通常都需要自己实现一遍，比起写几个 xpath 抓取逻辑要麻烦很多，真的就是工程类问题了。不过好在我们有一些开源项目可以帮你处理这些繁琐的逻辑，例如我开发的轮子，分布式爬虫管理平台 Crawlab （ https://github.com/crawlab-team/crawlab ），可以运行任何语言和框架的管理平台，就是帮爬虫开发者维护管理生产可用的爬虫程序的。

当然，爬虫领域现在比较高阶的技术例如逆向、反爬，这些属于比较偏 hack 的方向，需要长期的经验累积，有兴趣可以自行百度。另外爬虫的道德法律规范也是比较重要的，玩得不好就容易进去了。

总而言之，爬虫从简单到复杂到生产可用是一个逐渐工程化的问题，需要的技术种类繁多，需要很多实战经验，不是调一些 API 就可以完成的。

感觉是 cast 了 nil 值变量导致的