@ysc3839 #16 那个导出只能导出单个吧，没找到过一次性导出所有抓到的包的选项

又顺手写了篇文章。。https://zhuanlan.zhihu.com/p/46433599

我司都是 3.6 爬虫跟算法用

试试 APP ？

我快下班了，还有四十几分钟😳

@qq316107934 #7 考虑过，就算是内网用 moonlight 也会有卡顿的情况。但是用 steam 的就没问题，无论是公网还是内网都能做到丝滑般顺畅（ 100M 上行极客宽带

感觉用 moonlight 画面很卡。。上行没跑满，CPU 和 GPU 占用率也不高，但就是卡

明天凌晨 2:30 下班

看起来只是广告

看了一下，猫眼的票房是有做字体加密的，如果是第一次写爬虫的话可能有点难度；豆瓣是入门级，无难度随便爬。
“数据爬取功能需满足登录用户在系统中输入一段时间，系统能够将时间段内爬取返还给用户”这个需求的实现可以有两种方式：
1、数据实时性要求较高的
接口得到用户输入的时间段参数后再去爬，爬完格式化好了返回，缺点是速度可能较慢、容易触发反爬。
2、数据实时性要求不那么高的
爬虫和接口分开，爬虫每隔一段时间爬一次数据并存到数据库，接口得到时间段参数之后去查数据库就行了

量少没必要分布式，拿 requests 写都行

@lqh9428 #3 hhhhh

网站 url 发一下呗

周五又怎么样，明天后天还要上班的

半天没看这楼就歪成这样了

借题发挥了一下。。写了个知乎文章 https://zhuanlan.zhihu.com/p/45508079

以前在学校的时候干过从宿舍楼对面的居民楼飞一条网线到宿舍这种事。。

@zr8657 #81 天猫这种要看爬到什么程度。如果只是爬个几十万、拿点商品基础信息的话堆 IP 或者用官方接口都能做；如果爬几千万商品还要拿什么店铺信息、工商信息、营业执照之类的话就比较麻烦了。

之前碰到过一个类似的，差不多三年经验爬虫，也是说自己要熟悉，掌握了之后就会很好。
刚入职态度有点问题就不说了，熟悉了两个多星期让他写个入门级的网站的爬虫写了一个星期，还一堆问题，比如：for+range 做翻页逻辑、异步框架内直接用 requests 库发请求、正则解析 json。
然后就劝退了🙄