首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  搜索引擎优化

请问我的网站上有些页面并没有显示出来过,为什么 google 可以收录呢?

  •  
  •   fbqk2008 · 303 天前 · 1498 次点击
    这是一个创建于 303 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我确定也没有发布到别的地方。

    难道出了奇了吗?

    对单独目录学个禁爬声明有用吗?

    9 回复  |  直到 2018-12-18 03:07:30 +08:00
        1
    soha   302 天前 via Android
    /robots.txt ,请。这个文件就是给蜘蛛 /爬虫看的。

    搜索引擎肯定会严格按照你写的 robots.txt 来爬,有良心的造爬虫的人也会按照它的限制来做。
        2
    zmj1316   302 天前 via Android
    问你的 chrome🤣
        3
    fbqk2008   302 天前
    @zmj1316 我还真的在用 chrome。谷歌都把访问记录同步的么。
        4
    fbqk2008   302 天前
    @soha 好的,谢谢
        5
    Wincer   302 天前 via Android
    设置一下 noindex
        6
    fbqk2008   302 天前
    @Wincer 好的,原来这个有关系呀? google 怎么知道的呢
        7
    Wincer   302 天前 via Android
    @fbqk2008 我不确定是 chrome 记录还是有其他被抓取过的页面有指向你某些未被抓取页面的链接
        8
    dobelee   302 天前 via Android
    没显示出来过是什么意思?有链接能进去就能爬到啊。
        9
    fbqk2008   302 天前
    @dobelee 我确定没有链接进去
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   973 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 21:08 · PVG 05:08 · LAX 14:08 · JFK 17:08
    ♥ Do have faith in what you're doing.