辛苦做好的站,提交各种导航站免费收录时,明明已经加了对方反链但检测不出来,分享最近整理的小经验,按这几招试试排除法:
1 、一般是首页代码里要有对方反链(常识礼仪);
2 、检测自己首页代码是不是服务端渲染输出的(可以页面右键看源码),代码里 Ctrl+F / command+F 能 找到对方域名则是服务端渲染的,没有就排查是前端动态加载了,类似 js 输出,打印之类,搜索爬虫都不好这口。|
3 、如果域名托管的是 Cloudflare (划重点来了,我就栽在这了),需要检查有没有关闭爬虫阻止程序 bot flight ,其他服务商应该也类似。
4 、检查自己 robot.txt 里有没有有禁止爬虫(基础也再讲一次)
5 、建议不浪费时间同时也给对方管理员发邮件(两手准备,真诚搞好关系)
我是 All in AI 的 BOYSO ,如果我的经验帮到您了,非常开心。
我还搞了一个 AI 工具导航站,就叫 All in AI ,欢迎来换换链子。 https://AllinAI.tools
1
SenseHu 133 天前
什么框架搭的,我也去整个
|
2
littlejackyxu 133 天前
学到了
|
3
villivateur 132 天前
respect 是不是拼错了
|
4
johnwilson 132 天前
收录一下我呗: https://tempmail100.com
|
6
boyso OP @villivateur 哈哈哈是的....
|
7
boyso OP @johnwilson 安排
|