@raw0xff 服务端的配置是给前端提供判断的依据, 不设置的话浏览器不知道哪些是合法的哪些是不合法的.

比如说你同时在浏览器访问银行网站 bank.com 和 恶意网站 evil.com, 你访问 bank.com 的 session/token 就存在浏览器里, 浏览器就要帮你隔离这两个站点的数据, 避免 evil.com 能拿到这些 session/token.

假如 evil.com 通过某些手段拿到拿到了 token, 带着合法的 token 要你向我转账 1000 元, 后端是没有办法判断这条请求是来自 bank.com 还是 evil.com. 要实现安全就需要浏览器配合, 不可能是纯后端的事.

你可能会说转账这事很关键, 服务端会加更多的验证的机制, 要求手机/证书等等, 但不是每个请求都会有这么多的安全措施的, 比如在 v 站发个贴子就不能要求插着 U 盾才能发吧. 这时浏览器的防御就能起到保护效果.

安全里有一个理念叫纵深防御, 即使后端有判断, 前端也要做判断. 这样能增大攻击成本, 提高安全性.

@liuzimin 你应该没用过 98 吧, 用哪个软件没啥区别, 但 98 是另一种编码, 个人感觉有 20%的字编码和 86 不一样

@skull 五笔 98 用户已经哭晕了, 机上有五笔但都是 86 的, 切全拼一个字一个字慢慢打. 平常打字的肌肉记忆严重影响输入速度. 反正换机考后我就完全没有报高级的念头了

OP 是做服务端的吧, 不理解 CORS 的存在的意义也正常, 我以前也是这么想的. 后来发现这是不同领域的问题, CORS 不是服务端安全需要的东西, 而是要解决的是前端安全的问题, Access-Control-Allow-Origin 是 CORS 的一部分, 是服务端配合前端做的配置.

浏览器需要 CORS 的根本原因是因为需要在 "同一个浏览器" 访问 "不同的网站", 你的网银和诈骗网站是在同一个浏览器上访问的, 尽量避免诈骗网站访问你的服务器是浏览器的任务, CORS 配置就是帮助浏览器完成这个任务而产生的.

因为诈骗网站不在你的域名下, 设置了 Access-Control-Allow-Origin:[你的域名], 浏览器就会阻止诈骗网站向你的服务器发起请求. 这样就实现了浏览的安全.

一般而言 APP 不需要 CORS, 因为一般的 APP 中访问都是写死服务器地址, 不会让用户输入和访问其他域名, 也就没有在 APP 中运行诈骗网站代码的机会, 所以一般来说不需要 CORS.

你能轻松看懂说明这代码已经是及格以上的水平了, 可以了.

而且你说这是爬虫, 那代码就是针对性的, 没有复用可能, 硬编码完全没问题.

你不会觉得一个爬微博的虫只要改个域名就能爬抖音吧, 如果不能改的话, 写死微博的域名有啥问题

@kome @MFWT PCDN 刷下行是一个普遍的活动吗？这么我统计了一下这种 IP 数有好千，感觉像是有总控统一行动的

@tianyi 这估计不是，出问题的是直播，抓视频的话用多个 IP 一起抓并没有什么意义

@Esec 我也怀疑是电视盒子搞的，有用过的吗？

@darer 来源 IP 有很多，是分布式的，各地都有。如果是拿来当源也不需要有这么多个 IP 来拿，搞不清楚他们这么做目的是什么。

@JensenQian 盗链也不值得 24 小时访问吧，我观察到很多 IP 是 24 小时都在线的

在手机上给相机快门专门整个物理按钮的事十年前就已经有了，是微软的 Lumia 系列，我曾经有过一台

这代码非常好啊, 清晰明了, 可读性高, 容易维护.

业务的复杂性是不可能消除的, 能消除的只有实现的额外的复杂性.

这段代码没有引入额外复杂性和理解成本, 可以说是最佳实践了.

随机排, 然后遍历所有条件, 输出符合条件的

编程的难度从来都不是编程语言, 建议你看一下买苹果的这个例子:
https://www.sohu.com/a/206580740_100027446
用自然语言把流程描述清楚也不是容易的事

OP 你需要的不是 AI, 而是乙方

我高考那年还是标准分, 原始分 145 对应标准分 900 分, 全省不到十个, 万里无一的水平

国内访问的话, 用阿里云或腾讯云的对像存储放静态文件是最靠谱的, 可以映射到自己的域名上. 费用基本就是流量费, 1GB 流量几毛钱

电车出来后, 看这些百万豪车就更加智商税了.

不是笑话有钱人, 能多交税是本事.

装袋子里, 找个保温箱放进去, 放上冰袋冻着

@wxf666 如果需要严格不能丢数据的话, 不能单用布隆过滤器.

假设重复率比较低的的话,, 可以做两轮读取

第一轮边读边构造布隆过滤器, 把发现的冲突的行记录到数据库

第二轮先把数据库中值导入新的布隆过滤器, 然后用它来过滤原表, 对有冲突的行查用数据库确证没重复再输出

如果不是要求严格不能丢数据的话, 可以用布隆过滤器去重, 误判率有公式可以算的, 有几十 GB 级别内存的话, 误判率应该比较低的