V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jiandan123
V2EX  ›  程序员

CDN 统计显示 203.208.60.0 这个 IP 区间的多个 IP 消耗我 13G 流量,我是被攻击了吗?

  •  
  •   jiandan123 · 2019-10-11 04:13:16 +08:00 · 5577 次点击
    这是一个创建于 1630 天前的主题,其中的信息可能已经有所发展或是发生改变。

    以前每个月 CDN 流量大概 20G,这个月第一周就消耗了 13G。
    查看 CDN 统计时,发现流量排行前 100 的 IP 中,大部分都来自同一个 IP 区间 203.208.60.0。
    我是否被攻击了呢?我是否需要把这个 IP 区间加入黑名单呢?求大佬指点一下。我在网站安全方面不是太有经验。
    1 - 5.45.207.47 - 1.0525 GB
    2 - 219.239.12.2 - 857.7352 MB
    3 - 188.206.78.106 - 732.5401 MB
    4 - 203.208.60.43 - 378.4357 MB
    5 - 203.208.60.59 - 331.0278 MB
    6 - 203.208.60.61 - 239.2964 MB
    7 - 203.208.60.29 - 232.8526 MB
    8 - 203.208.60.102 - 226.6683 MB
    9 - 141.8.183.25 - 223.3472 MB
    10 - 203.208.60.71 - 220.3246 MB
    11 - 203.208.60.85 - 216.4131 MB
    12 - 66.249.79.140 - 214.9275 MB
    13 - 203.208.60.33 - 206.0750 MB
    14 - 203.208.60.123 - 206.0618 MB
    15 - 203.208.60.0 - 206.0428 MB
    16 - 203.208.60.118 - 204.3980 MB
    17 - 203.208.60.64 - 204.1226 MB
    18 - 203.208.60.8 - 204.0588 MB
    19 - 37.9.113.84 - 202.2320 MB
    20 - 203.208.60.105 - 197.6609 MB
    21 - 203.208.60.47 - 196.6713 MB
    22 - 203.208.60.91 - 193.9569 MB
    23 - 203.208.60.6 - 189.9626 MB
    24 - 124.78.195.86 - 185.6575 MB
    25 - 47.90.96.219 - 183.1573 MB
    26 - 203.208.60.49 - 180.3980 MB
    27 - 203.208.60.52 - 179.5407 MB
    28 - 82.66.34.75 - 172.8540 MB
    29 - 203.208.60.79 - 171.5141 MB
    30 - 203.208.60.72 - 169.3324 MB
    31 - 203.208.60.56 - 168.5471 MB
    32 - 95.179.223.235 - 167.8768 MB
    33 - 203.208.60.67 - 161.6015 MB
    34 - 203.208.60.44 - 155.7629 MB
    35 - 203.208.60.12 - 147.0107 MB
    36 - 203.208.60.18 - 142.9138 MB
    37 - 203.208.60.62 - 142.8520 MB
    38 - 203.208.60.92 - 140.8669 MB
    39 - 203.208.60.115 - 140.6240 MB
    40 - 203.208.60.24 - 132.0752 MB
    41 - 66.249.79.138 - 131.6240 MB
    42 - 203.208.60.30 - 130.7640 MB
    43 - 203.208.60.17 - 130.7553 MB
    44 - 203.208.60.70 - 128.2368 MB
    45 - 203.208.60.82 - 123.2394 MB
    46 - 203.208.60.26 - 123.2227 MB
    47 - 113.246.185.207 - 122.6420 MB
    48 - 41.80.164.151 - 122.1363 MB
    49 - 203.208.60.45 - 122.1332 MB
    50 - 18.162.44.235 - 116.4545 MB
    51 - 203.208.60.48 - 115.8460 MB
    52 - 218.81.6.178 - 108.4120 MB
    53 - 223.89.74.142 - 107.4871 MB
    54 - 203.208.60.87 - 107.2963 MB
    55 - 66.249.79.141 - 105.2828 MB
    56 - 36.227.62.105 - 105.2578 MB
    57 - 140.243.21.224 - 105.0754 MB
    58 - 69.204.235.16 - 104.9521 MB
    59 - 183.195.23.114 - 104.9057 MB
    60 - 203.208.60.103 - 103.5033 MB
    61 - 52.141.6.156 - 103.0463 MB
    62 - 141.8.188.67 - 100.8832 MB
    63 - 101.37.202.207 - 100.5265 MB
    64 - 60.180.173.201 - 100.4534 MB
    65 - 203.208.60.112 - 99.9781 MB
    66 - 203.208.60.32 - 99.9714 MB
    67 - 203.208.60.31 - 99.9486 MB
    68 - 203.208.60.84 - 99.9402 MB
    69 - 203.208.60.89 - 99.9323 MB
    70 - 203.208.60.4 - 98.4616 MB
    71 - 203.208.60.80 - 98.3509 MB
    72 - 203.208.60.65 - 98.1963 MB
    73 - 35.197.156.40 - 96.9616 MB
    74 - 106.81.219.132 - 96.2398 MB
    75 - 66.249.79.153 - 95.5487 MB
    76 - 66.249.79.142 - 95.4989 MB
    77 - 66.249.79.157 - 95.4775 MB
    78 - 203.208.60.21 - 91.3382 MB
    79 - 203.208.60.93 - 90.2828 MB
    80 - 203.208.60.99 - 90.2552 MB
    81 - 60.213.27.38 - 89.3729 MB
    82 - 203.208.60.34 - 88.8487 MB
    83 - 60.213.28.230 - 88.1644 MB
    84 - 183.14.132.3 - 87.7291 MB
    85 - 223.223.192.20 - 86.0471 MB
    86 - 60.248.123.154 - 84.1447 MB
    87 - 203.208.60.108 - 83.8690 MB
    88 - 203.208.60.77 - 83.8688 MB
    89 - 203.208.60.2 - 83.8401 MB
    90 - 203.208.60.13 - 83.8179 MB
    91 - 203.208.60.46 - 83.7981 MB
    92 - 203.208.60.101 - 83.7905 MB
    93 - 203.208.60.100 - 83.7834 MB
    94 - 203.208.60.73 - 83.7751 MB
    95 - 203.208.60.127 - 83.7612 MB
    96 - 203.208.60.14 - 83.7583 MB
    97 - 59.126.3.232 - 76.2744 MB
    98 - 203.208.60.22 - 75.2391 MB
    99 - 13.75.42.249 - 75.0657 MB
    100 - 203.208.60.3 - 74.1682 MB

    20 条回复    2020-03-16 01:59:24 +08:00
    jiandan123
        1
    jiandan123  
    OP
       2019-10-11 04:20:47 +08:00
    如果是一个普通用户,会出现在一个 IP 区间中频繁更换 IP 吗?
    像这样同时出现一个 IP 区间的几十个 IP,有哪些可能呢?
    phy25
        2
    phy25  
       2019-10-11 04:41:23 +08:00 via Android   ❤️ 1
    Athrob
        3
    Athrob  
       2019-10-11 04:42:55 +08:00   ❤️ 1
    查下 IP 是谷歌的, 估计在抓取你的页面.
    eason1874
        4
    eason1874  
       2019-10-11 04:50:59 +08:00   ❤️ 1
    测试了下,203.208.60.43 确实是谷歌爬虫,其他的估计也是。

    你可以去谷歌站长平台验证网站所有权然后调整抓取速度。
    Kirscheis
        5
    Kirscheis  
       2019-10-11 04:54:26 +08:00 via Android   ❤️ 1
    一周才 13G,哪有这么温和的攻击

    排查下是不是有什么资源过大了,这种情况很容易随便被访问几次就很多流量
    JasonQs
        6
    JasonQs  
       2019-10-11 04:57:23 +08:00 via Android
    ( 13G 似乎连七牛的羊毛都没到
    wwbfred
        7
    wwbfred  
       2019-10-11 06:46:44 +08:00   ❤️ 1
    老哥你被 google 打了...
    jiandan123
        8
    jiandan123  
    OP
       2019-10-11 06:52:20 +08:00
    @Kirscheis 有几十个 mp4 视频文件。如果是谷歌的爬虫,怎样避免它反复观看视频呢?
    jiandan123
        9
    jiandan123  
    OP
       2019-10-11 07:09:58 +08:00
    疯了。
    排名第一那个 IP 5.45.207.47 是俄罗斯搜索引擎 yandex 的爬虫。
    我每个月的流量是不是都被搜索引擎的爬虫消耗了?
    我是否应该禁止爬虫访问我的视频呢?
    jiandan123
        10
    jiandan123  
    OP
       2019-10-11 07:20:33 +08:00
    我的视频文件是放在另外一个对象存储空间中的,绑定了一个子域名。
    如果我想禁止爬虫访问我的视频文件,我是应该在主域名的服务器里调整 robots.txt 还是在子域名的对象存储空间里调整 robots.txt 呢?
    eason1874
        11
    eason1874  
       2019-10-11 07:22:14 +08:00   ❤️ 1
    @jiandan123 #9 搜索引擎收录你的视频也带不来什么流量,直接禁止抓取就行了,写一下 robots.txt 禁止。有条件的话把视频 CDN 改成鉴权模式,一个半个小时失效那种,每次用户播放都先请求服务器返回最新鉴权链接。
    eason1874
        12
    eason1874  
       2019-10-11 07:23:01 +08:00   ❤️ 1
    视频在哪个域名,就调整哪个域名的 robots.txt
    jiandan123
        13
    jiandan123  
    OP
       2019-10-11 07:28:53 +08:00
    @eason1874 非常感谢。
    在视频那个对象存储里上传了一个 robots.txt 文件:
    User-agent: *
    Disallow: /
    - - - - - -
    我还有一个疑问:
    视频虽然存储在子域名的对象存储中,但是在主站中调用了。
    如果搜索引擎访问主站,那视频是不是还会播放?那是否还会消耗我大量流量呢?
    eason1874
        14
    eason1874  
       2019-10-11 07:34:23 +08:00   ❤️ 1
    @jiandan123 #13 理论上不会播放,实际不知道。你视频 CDN 是用自己的域名吗?如果是自己的域名,也可以专门用一个域名负责这些不给搜索引擎抓取的静态资源,然后在域名解析那边单独给搜索引擎设置一个解析,比如 127.0.0.1,这样搜索引擎想抓也抓不了。不过这种解析大多只支持谷歌、百度、必应,不支持 Yandex 这些。
    jiandan123
        15
    jiandan123  
    OP
       2019-10-11 11:36:26 +08:00
    @eason1874 谢谢
    realpg
        16
    realpg  
       2019-10-11 11:59:14 +08:00   ❤️ 1
    按量付费的是给你放 HTML 的 不是给你放资源的……
    jiandan123
        17
    jiandan123  
    OP
       2019-10-11 15:21:59 +08:00
    @realpg 你的意思是视频文件要选择按带宽付费?
    可是我们网站经常搞社群推广,带宽偶尔也会爆发。
    vtwoextb
        18
    vtwoextb  
       2019-10-11 15:36:11 +08:00   ❤️ 1
    谷歌的爬虫在爬你的页面,无须大惊小怪!
    jiandan123
        19
    jiandan123  
    OP
       2019-10-11 15:41:06 +08:00
    @vtwoextb 几十个视频,它爬完了对我也没什么帮助。白白浪费很多流量。
    veike
        20
    veike  
       2020-03-16 01:59:24 +08:00
    老铁,跟你遇到一模一样的情况,你里面有的 IP 我大部分都有。解决了吗?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2983 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 15:05 · PVG 23:05 · LAX 08:05 · JFK 11:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.