这是一个创建于 2809 天前的主题，其中的信息可能已经有所发展或是发生改变。
服务器资源有限，自己建立了一个共享，最近发现貌似 google 的爬虫一直在爬，有什么好的解决方案吗，
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
3 条回复 • 2017-03-17 10:03:53 +08:00
 |
1
windfarer 2017-03-17 09:06:12 +08:00 via Android  1
加个 robot.txt
|
 |
2
15015613 2017-03-17 09:06:42 +08:00 via Android 1
Robot.txt
|
 |
3
falcon05 2017-03-17 10:03:53 +08:00 via iPhone
按 ua 屏蔽
|
Select Language