V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wujunze
V2EX  ›  搜索引擎优化

是百度蜘蛛抽风了吗? 求 V 友解答!

  •  
  •   wujunze · 2016-03-26 22:42:05 +08:00 · 2427 次点击
    这是一个创建于 2924 天前的主题,其中的信息可能已经有所发展或是发生改变。

    今天去百度看看我博客的收录情况,发现一个奇怪的问题.

    百度蜘蛛 SB

    百度说我的网站存在 robots.txt 指令限制? 我立马检查了一下我的 robots.txt

    robots 文件

    发现我的 robos.txt 并没有问题 之前百度收录也是正常的 https://wujunze.com

    ** 我看看 Google 和 360 收录是否正常
    

    Google 收录 360 收录

    Google 和 360 收录都是正常的

    那我就搞不明白百度蜘蛛这是闹哪样?

    请 V 友帮忙解答一下

    15 条回复    2016-03-27 23:05:29 +08:00
    wujunze
        1
    wujunze  
    OP
       2016-03-26 22:50:13 +08:00
    有没有知道的?
    Lullaby
        2
    Lullaby  
       2016-03-26 22:52:23 +08:00
    你之前有没有限制过 BaiduSpider ?
    wujunze
        3
    wujunze  
    OP
       2016-03-26 22:56:08 +08:00
    @Lullaby 重来没有限制过 BaiduSpider
    m939594960
        4
    m939594960  
       2016-03-26 23:25:42 +08:00
    去站长工具看看 有个 robots 检测
    还有百度出现这种问题挺正常的。
    site:***.com 经常会出问题,有的时候还会混进别的额网站,有的时候关键词描述 完全不符

    你可以随便查个关键词(能找到你的网站的) 看看底下的东西对不
    wujunze
        5
    wujunze  
    OP
       2016-03-26 23:40:18 +08:00
    @m939594960 去站长工具检测 robots.txt 了 是没有限制的
    ![test]( http://i13.tietuku.cn/90d52a45ad798cd6.png)
    我网站的百度收录全掉了
    * 现在搜关键词搜不到我的网站了
    m939594960
        6
    m939594960  
       2016-03-26 23:47:40 +08:00
    观察了半天 发现真的没什么问题。。 mark 下等高人解密
    just1
        7
    just1  
       2016-03-27 01:13:58 +08:00
    请问一下 sitemap 是用什么生成的呢。之前用百度提供的 wordpress 插件,刚刚看了一下,从 20151122 之后就再也没更新了 wtf ,怪不得几个月没新收录
    cxh116
        8
    cxh116  
       2016-03-27 09:46:20 +08:00 via Android
    开了 https ,百度掉了正常。
    wujunze
        9
    wujunze  
    OP
       2016-03-27 11:17:35 +08:00
    @just1 我刚才去检查了一下,我的 sitemap 生成的没问题 之前收录一直是正常的,突然就全掉了
    @cxh116 这个 robots.txt 限制跟 HTTPS 没有关系吧 ** 我之前一直开启 HTTPS ** 网站收录也是正常的
    wujunze
        10
    wujunze  
    OP
       2016-03-27 11:20:39 +08:00
    @Lullaby
    @m939594960
    @just1
    @cxh116 帖子要沉了....... 有没有高手帮忙解答一下? 帮忙邀请点高手来回答
    Lullaby
        11
    Lullaby  
       2016-03-27 13:01:51 +08:00
    看下你 80/443 端口的 access 日志有没有机器人爬取记录
    实在不行把 robots.txt 先去掉
    不一定是技术原因,人为原因也是可能的你懂的,百度这货谁知道
    techyan
        12
    techyan  
       2016-03-27 13:12:41 +08:00 via iPhone
    百度,你懂的。反正我自己的站开全站 https+HSTS ,百度索引完全正常,并且很勤。
    wujunze
        13
    wujunze  
    OP
       2016-03-27 13:29:22 +08:00
    @Lullaby 我检查一下日志 百度这货....
    @techyan 我的网站之前一直收录正常的,昨天突然发现收录的全掉了
    zangbob
        14
    zangbob  
       2016-03-27 19:50:11 +08:00
    如果不太懂设计 robots.txt ,就直接删了,不要放。
    wujunze
        15
    wujunze  
    OP
       2016-03-27 23:05:29 +08:00
    @zangbob robots.txt 的指令是没有问题的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1635 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 16:51 · PVG 00:51 · LAX 09:51 · JFK 12:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.