@kristpan 用户通过网页加载完页面后，进行翻页浏览数据时还需要请求 js 文件吗？如果只是判断有没有请求过 js 文件这根本不可行的，写爬虫之前都会使用浏览器对页面进行分析，之后再通过代码爬取。 所以你还得通过其他方式来判断，如果你只想筛出爬虫的请求，这其实很难（对于高级爬虫），也没必要。

* useragent 是否合法
* 请求频率是否稳定
* 请求路径是否有规律，楼上说的 /book/1,/book/2 这种
* 是否某一段时间有大量 IP 短时高频请求服务器(反常行为)
如果以上都正常，即使是爬虫也不妨碍服务器运行。

@Vegetable 这句话说没有设置“ enable-threads ”项就不会执行启动的 thread，然后我测试环境是执行了的，同样的 uwsgi 配置。我的 uwsgi 配置有“ thread = 2 ”,没有配置 “ enable-threads ”。

@est 大佬你好，请问有相关参考文档或博客吗？

@gulu
@nicevar
当时的做法是全局启动的这个任务，且测试环境代码稳定运行几天，上线后不行，两个环境的唯一不同就是线上环境处理的请求量要多一些。

手动 Append：4 个 worker，表示启动时有 12 个线程在单核并发，算上极端情况，uwsgi 定时并发向外发起 12 个 http 请求（请求的 url 没有问题不会导致超时，这个确认过），然后，这就导致崩溃吗？

@nicevar 是死循环，不会结束的。

try your best.

```
a = [(1,2), (2,3)]
b = [(1,2)]

print(set(a) | set(b))
```

首先要有稳定的客户，不然就是搞着玩或者走上外包道路。

饭按时吃，咖啡，奶茶不定时喝，觉不定时睡。

这叫什么，孟非定律

暂时不准备去杭州，不过赞一下！

@kssdxw 找发帖的哥们沟通

头条不是天天缺人么，去投啊

恢复不了，这个锅谁背，/狗头

有多好？