腾讯云最近是在用 AI 爬虫抓取博客数据吗？把我博客搞崩好几天了

[peterjxl]

我博客 2022 年就上线了，个人技术博客，访问量一直不大。

但为了以防万一，我还是加了点防护措施，例如流量封顶，带宽封顶等，超过阈值一段时间会暂时下线博客，然后可以自动或手动上线博客

但最近几天，博客访问量突然大了，一天到晚都在崩...

实在忍不住了，就去查了下日志，发现访问最频繁的 IP 都是 175.24.248.xx 开头的，然后查到是腾讯云的 IP

封禁了其中几个，但第二天博客又崩了，然后发现换了 IP ，当还是上面的 IP 段

而且是一天到晚都在访问。现在我已经封了这些 60 多个 IP （请求会返回 403 ），但日志里还是一直在刷请求...

IP 这么多，不太像是个别人的恶意攻击，这是官方在搞什么活动吗？ 想起之前看过的新闻：

• AI 爬虫拖垮整个网站，开发者崩溃：禁了整个巴西的访问，才勉强救回来 - 36 氪
• Claude 团队引众怒，为爬数据不择手段，给爬虫改名字无视禁止规则_腾讯新闻

想请教下是否还有什么法子... 虽然这种 CC 攻击好像是无解的，又不太想上 CloudFlare （有点慢）

以下是截取的 IP：

175.24.248.4
175.24.248.6
175.24.248.15
175.24.248.19
175.24.248.22
175.24.248.29
175.24.248.37
175.24.248.40
175.24.248.53
175.24.248.80
175.24.248.83
175.24.248.84
175.24.248.85
175.24.248.94
......

[liu731]

套 CF ，然后开 Block AI training bots

[iv8d]

确定不是刷你流量

[overstar]

iptables + ipset 直接把 AS45090 干掉完事

[Shatyuka]

@tencentcloud 直接摇人

[WorseIsBetter]

现在的 AI 爬虫都不讲武德的，UA 模仿正常用户，很难用简单的规则去过滤。
目前比较有效的无非是接入 Anubis 或者 go-away 这种基于计算量证明的对抗手段。

当然对正常用户的影响还是有的，首先它比较吃性能，我的 pixel7 访问几个这样的网站就开始发烫了。
还有很多用户根本不想在自己的浏览器上运行 JavaScript 。

另外，最近流行一种「浏览器插件把用户设备当肉鸡来驱动 AI 爬虫」的操作（关键词：Mellowtel ）。
如果这种行为不能及时得到遏制，那反制的成本无疑会进一步提高……

[macaodoll]

开 cdn 了?更像是刷流量

[peterjxl]

@overstar 我用的是 CDN😂 对方也是访问的 CDN ，没法用 iptables

[peterjxl]

@macaodoll 嗯，CDN ，很像是刷流量的

[ysicing]

@Shatyuka 这时候他们就会装死😂。

字节的 bot 也是，完全不遵循 robots.txt

[cnrting]

难道你还指望人家付费爬吗

[12tall]

zip 炸弹可以用吗 <https://idiallo.com/blog/surviving-the-hug-of-death>

[EndlessMemory]

直接上 cf 比较简单吧

[tencentcloud]

您好，已关注到您的反馈，关于您列举的这些 IP 信息，我们已按相关举报处理流程对使用方进行了转达通知，可关注后续访问情况；同时建议您使用相关安全产品或安全软件对可疑 IP 或 IP 段进行访问限制处理。若后续还有相关异常网络访问行为可通过腾讯云举报平台提单反馈，我们协助您评估处理，感谢您的支持和理解。

[peterjxl]

@12tall 我查了下，Zip 炸弹的话效果有限，其实可以通过文件头信息判断大小的

[moyaya]

从去年就开始了，各种 AI 爬虫屡禁不止。

[peterjxl]

@tencentcloud 好的，今天的话这些 IP 消停了点，谢谢。

[s1n1an]

估计是爬虫，我去年就遇到了，47.128.xx.xx 的 IP 段一个劲抓取我博客页面，后来遇到阿里云的，UCloud 的，每次我都去手动屏蔽，然后去填单子举报。
上 CF 会影响国内访问的体验，非必要还是不太推荐的。

[peterjxl]

@s1n1an 嗯，目前的话消停了，果然还是得靠举报

[aladd]

我一般都是 https://bgp.he.net/ip/175.24.248.4 查询后封整段。

[liuhai233]

对我自己的博客场景来说
1. 博客不需要 cdn 吧
2. 其实大部分博客都可以用静态站点，托管在 cf ，Vercel ，GitHub Pages 是不是就可以了

[peterjxl]

@liuhai233

1. 不上 CDN 速度会很慢，我都是免费 + 收费 CDN 混合着用
2. 确实挂在那些上面会方便点，而且省去了服务器的费用，就是我之前续费服务器比较久，到期后看看迁过去

[cozof]

也有这个问题，最近看日志一大堆腾讯云的，今天看还是频繁爬取没有消停，这些爬虫吧也不知道干嘛的，UserAgent 也没有，host 也查不到。
比如
host 175.24.248.37
Host 37.248.24.175.in-addr.arpa. not found: 3(NXDOMAIN)

nginx 直接整段 deny 了。
deny 175.24.248.0/24;