V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
imlinhanchao
V2EX  ›  问与答

要怎么解决这只丧心病狂的 Googlebot

  •  
  •   imlinhanchao · 2016-08-27 18:49:26 +08:00 · 4270 次点击
    这是一个创建于 2792 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这是前几天突然收到网站无法访问的邮件提醒发现的。意外发现居然 10G 流量统统耗光光。这是前所未有的,因为基本上平时都没什么人访问的。

    后台查了一下访问日志,发现访问来源 IP 为 89.248.160.204 , Agent 里标识着 Googlebot 。丧心病狂的一分钟访问同一个文件 113 次,并且 24 小时不间断访问。一下子就把我流量吃光了。

    所以请教万能的 V 友,要怎么在保证 Google 可以正常收录的同时,防止此类事件的发生呢?

    第 1 条附言  ·  2016-08-27 19:38:44 +08:00
    感谢各位 V 友解答,话说这是我第一次遭遇这种攻击。没有经过任何查证就怪罪于 Googlebot ,实在是不严谨了。

    重新看了后台日志,从流量突然增大的日子看起来,和某个事件有关。日期刚好和我把域名转移到另一个服务商相吻合。不过并没有什么实质性证据便是,只是日期太过相符不禁令人猜想。
    9 条回复    2016-08-28 15:13:33 +08:00
    phoenixlzx
        1
    phoenixlzx  
       2016-08-27 19:06:08 +08:00   ❤️ 1
    http://bgp.he.net/ip/89.248.160.204

    AS29073 89.248.160.0/21 Novogara LTD

    Googlebot 个毛线...
    yexm0
        2
    yexm0  
       2016-08-27 19:11:25 +08:00   ❤️ 1
    UnisandK
        3
    UnisandK  
       2016-08-27 19:14:04 +08:00   ❤️ 1
    被 CC 了吧
    imlinhanchao
        4
    imlinhanchao  
    OP
       2016-08-27 19:16:52 +08:00
    @phoenixlzx 这个网站挺有用的啊~AS29073 是代表什么意思?
    shiny
        5
    shiny  
       2016-08-27 19:20:07 +08:00   ❤️ 2

    几年前写的小工具
    shiny
        6
    shiny  
       2016-08-27 19:23:54 +08:00   ❤️ 1
    Google 蜘蛛是无法伪造的。以 89.248.160.204 为例:如果反向 dns 解析到: crawl-89-248-160-204.googlebot.com
    同时, ping crawl-89-248-160-204.googlebot.com 得到 ip 89.248.160.204 ,那它就是真的谷歌蜘蛛,否则就一定是假的。
    imlinhanchao
        7
    imlinhanchao  
    OP
       2016-08-27 19:25:15 +08:00
    @shiny 感谢~已收藏。
    imlinhanchao
        8
    imlinhanchao  
    OP
       2016-08-27 19:36:30 +08:00
    感谢各位 V 友解答,话说这是我第一次遭遇这种攻击。没有经过任何查证就怪罪于 Googlebot ,实在是不严谨了。
    重新看了后台日志,从流量突然增大的日子看起来,和某个事件有关。日期刚好和我把域名转移到另一个服务商相吻合。不过并没有什么实质性证据便是,只是日期太过相符不禁令人猜想。
    singer
        9
    singer  
       2016-08-28 15:13:33 +08:00 via iPhone
    刚打挂一个博客,整天在博客上盗别人的文章装自己的,看不下去。
    写了个自动化的 cc&&dos ,检测到 200 ,就开启攻击,几天了一直没发现那博客可以再用过, 2333 。。。

    博客写写自己的东西就好了,千万别盗别人版权。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2865 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 11:25 · PVG 19:25 · LAX 04:25 · JFK 07:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.