一个网站不想让百度等搜索引擎收录怎么办

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3027 天前的主题，其中的信息可能已经有所发展或是发生改变。

我曾经尝试过在 robots.txt 中写明禁止收录，但是对百度无效，百度还是收录了。
其他搜索引擎没有测试

大家试验过有什么好办法吗

10 条回复 • 2016-08-12 15:38:22 +08:00

ivmm

2016-08-12 10:33:16 +08:00

deny 百度的 ua

lecher

2016-08-12 10:34:02 +08:00 via Android

ban 掉所有 useragent 有 baidu 的请求。

ixiaozhi

2016-08-12 10:34:53 +08:00

alittletrain

2016-08-12 13:48:34 +08:00

cd /
rm -rf ./*

dong3580

2016-08-12 13:54:52 +08:00

@ixiaozhi
没有用，百度根本不鸟你，切身经历。

tasiguo

2016-08-12 14:37:45 +08:00

用 angular/backbone 和 ember 等等

testcaoy7

2016-08-12 15:29:04 +08:00

不能被搜索引擎收入的网站叫做暗网，你应该搭建在 ZeroNet 、 FreeNet 或者 Tor 上

icreeper

2016-08-12 15:31:45 +08:00

@dong3580 这个方法我之前试过几次，都成功了

em70

2016-08-12 15:32:43 +08:00

robots.txt 规则贴出来看看,是不是写错了

hack

2016-08-12 15:38:22 +08:00

ban 掉 useragent 看眼 log 很容易找到 baiduspider