这是一个创建于 2779 天前的主题，其中的信息可能已经有所发展或是发生改变。
做了一个熊猫站的镜像站，入口有一个询问是否 18 岁的页面，选项记录在 cookie 里防止该页面重复显示
两个月前 google url 提交，到现在搜小站的名字，前十页全是无关结果（名字本身很偏门，并不是常见词汇）
直接搜域名才返回了一个结果，就是那个 18 岁询问页面，所以我在想 google 的爬虫是不是卡在了这里了。。。按理说 google 技术不至于如此。。。
最近才意识到这个问题，已经试着把爬虫的 UA 白名单，看看会不会正常
两个月前 google url 提交，到现在搜小站的名字，前十页全是无关结果（名字本身很偏门，并不是常见词汇）
直接搜域名才返回了一个结果，就是那个 18 岁询问页面，所以我在想 google 的爬虫是不是卡在了这里了。。。按理说 google 技术不至于如此。。。
最近才意识到这个问题，已经试着把爬虫的 UA 白名单，看看会不会正常
Select Language