V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
工单节点使用指南
• 请用平和的语言准确描述你所遇到的问题
• 厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
• 如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
tmtstudio
V2EX  ›  全球工单系统

网易云崩了? 502 Bad Gateway

  •  1
     
  •   tmtstudio · 2024-08-19 15:11:51 +08:00 · 15957 次点击
    这是一个创建于 379 天前的主题,其中的信息可能已经有所发展或是发生改变。

    听着听着突然无了,还咋写代码🥲

    102 条回复    2024-08-20 11:53:26 +08:00
    1  2  
    vainl1
        1
    vainl1  
       2024-08-19 15:15:01 +08:00
    www 。netease 。com
    open 。163 。com
    house 。163 。com
    随便看了一下,这些也 502 了
    yinft
        2
    yinft  
       2024-08-19 15:19:36 +08:00
    不懂为啥音乐软件会奔溃 这也没啥大的瞬时流量吧
    root71370
        3
    root71370  
       2024-08-19 15:21:33 +08:00
    @yinft 机房挂了
    lqw3030
        4
    lqw3030  
       2024-08-19 15:22:41 +08:00
    技术都投到如何实现摇一摇广告跳转上了,HA 就交给上天吧
    nicksors
        5
    nicksors  
       2024-08-19 15:23:41 +08:00
    ruzztok
        6
    ruzztok  
       2024-08-19 15:24:41 +08:00
    崩了,退出登录就登不上了
    yinft
        7
    yinft  
       2024-08-19 15:26:31 +08:00
    @root71370 感觉不是机房挂了就是机房出口光缆被挖断了,哈哈
    UXha45veSNpWCwZR
        8
    UXha45veSNpWCwZR  
       2024-08-19 15:29:09 +08:00
    哈哈哈,看样子都是边听音乐边摸鱼的人.
    MagmaBlock
        9
    MagmaBlock  
       2024-08-19 15:29:47 +08:00
    网页挂了,开了下 App 看还真寄了,图片和音乐都播不动了
    估计一会就上新闻了
    kumastudio
        10
    kumastudio  
       2024-08-19 15:32:07 +08:00
    我还以为我电脑坏了,然后试了试手机也不行
    idc123
        11
    idc123  
       2024-08-19 15:34:14 +08:00
    以为是我自己的问题。
    ruzztok
        12
    ruzztok  
       2024-08-19 15:36:22 +08:00
    会不会是摇一摇整挂的,趁乱去造个谣,把这玩意下掉😂😂
    flyqie
        13
    flyqie  
       2024-08-19 15:36:40 +08:00
    @yinft #7

    那这 HA 做了个寂寞啊。。

    网易这么大一公司,机房总不能全爆炸了吧?
    zhiyu1998
        14
    zhiyu1998  
       2024-08-19 15:44:16 +08:00
    @nicksors 已经炸了,哥们
    sagaxu
        15
    sagaxu  
       2024-08-19 15:44:34 +08:00
    网易数帆首批通过中国信通院应用多活“先进级”能力评估

    5 月 20 日,网易数帆轻舟云原生平台顺利通过中国信通院首批应用多活“先进级”能力评估。

    为提升云服务稳定运行水平,加强企事业单位系统稳定性保障工作,中国信通院于 2022 年 3 月初发起了“云系统稳定性保障计划”(以下简称“稳保计划”),吸引了金融、云服务商、互联网等行业的 20 余家头部企业和机构参与,并完成了多项云系统稳定性相关评估。“应用多活能力”评估便是云系统稳定性评估的重要组成部分。

    据了解,此次应用多活架构能力以通信行业标准《应用多活架构能力要求》为评估依据,基于当前分布式系统稳定性的发展现状与痛点,助力企业增强核心业务的连续性及抗风险能力,保证核心业务的稳定、持续运转。

    《应用多活架构能力要求》标准由中国信息通信研究院牵头,网易数帆参与编制,该标准也获得了业界极高关注度。
    crc8
        16
    crc8  
       2024-08-19 15:48:53 +08:00
    哪个施工单位出来背锅?
    batilo
        17
    batilo  
       2024-08-19 15:50:04 +08:00
    我还以为是我本地的 mosdns 出问题了... 正在找问题
    FanError
        18
    FanError  
       2024-08-19 15:53:27 +08:00
    163.com 主站都崩了,502
    itechnology
        19
    itechnology  
       2024-08-19 15:54:55 +08:00
    网易云官方回复说是基础设施故障。不知道是什么基础设施。网上有人说是数据库迁移导致的,不知道真假。
    mmdi
        20
    mmdi  
       2024-08-19 15:54:56 +08:00
    暂停不了,一直自动切歌蹦来蹦去。。只好退出
    tanky
        21
    tanky  
       2024-08-19 15:55:09 +08:00
    越修越严重了
    ExplodingFKL
        22
    ExplodingFKL  
       2024-08-19 15:58:51 +08:00   ❤️ 6
    前情提要: 云音乐贵州机房迁移总体方案回顾

    https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA
    tmtstudio
        23
    tmtstudio  
    OP
       2024-08-19 16:00:11 +08:00
    @FanError 自动重定向到 m.163.com 了,真搞笑,哈哈哈
    3wY4ZelqS1uYD4NJ
        24
    3wY4ZelqS1uYD4NJ  
       2024-08-19 16:02:23 +08:00
    又做了一次负面广告
    skyyan2000
        25
    skyyan2000  
       2024-08-19 16:02:53 +08:00
    现在网页 直接切到 m.163.com
    c3de3f21
        26
    c3de3f21  
       2024-08-19 16:04:07 +08:00
    服务器拿去开魔兽世界了。。。?
    killva4624
        27
    killva4624  
       2024-08-19 16:04:46 +08:00
    @tmtstudio 这个重定向倒有点像应急处理干的...
    ArthurLou
        28
    ArthurLou  
       2024-08-19 16:05:37 +08:00
    切歌的时候断了,严重影响我的生产效率了
    bingoup886
        29
    bingoup886  
       2024-08-19 16:08:41 +08:00
    @killva4624 这也算是止损手段啊,总比一直挂着好点
    liaohongxing
        30
    liaohongxing  
       2024-08-19 16:09:34 +08:00
    刚连魔兽主站都打不开了
    killva4624
        31
    killva4624  
       2024-08-19 16:13:11 +08:00
    @bingoup886 是啊,放能看的东西总比白晃晃的 502 好。感觉又是什么核心的组件挂了。
    kenilalexandra
        32
    kenilalexandra  
       2024-08-19 16:16:24 +08:00   ❤️ 1
    其他 1.1w+的第三方应用也都挂了。。。
    https://mp.weixin.qq.com/s/sR5S2Hvc78sJgbCaFB4MQw
    kenilalexandra
        33
    kenilalexandra  
       2024-08-19 16:16:50 +08:00
    @yinft 会不会可能是删库了
    G64q9J89mN5KSgmE
        34
    G64q9J89mN5KSgmE  
       2024-08-19 16:21:25 +08:00   ❤️ 1
    高可用,异地多活
    原来,大家都是草台班子
    wednesdayco
        35
    wednesdayco  
       2024-08-19 16:25:53 +08:00
    @skyyan2000 杭州的服务挂到北京的服务上也是没谁了
    ExplodingFKL
        36
    ExplodingFKL  
       2024-08-19 16:28:05 +08:00
    > 是啊,放能看的东西总比白晃晃的 502 好。感觉又是什么核心的组件挂了。
    @killva4624 估计这个是 ingress-nginx 的默认模板,又是 k8s 问题 (
    CCHome
        37
    CCHome  
       2024-08-19 16:29:57 +08:00 via Android
    P0 事故坐等背锅侠
    Modred
        38
    Modred  
       2024-08-19 16:30:05 +08:00
    在用且发现有问题的

    * 网易公开课: 挂
    * 网易新闻: 强制跳转手机版
    * 网易云音乐: 挂
    * 网易广告服务: 挂
    Raven316
        39
    Raven316  
       2024-08-19 16:30:21 +08:00
    这么大事故,这么长时间恢复不了,是不是机房被爆破了[doge]
    kk2syc
        40
    kk2syc  
       2024-08-19 16:30:38 +08:00
    莫非是 徐波 施法了!

    也许优化到大动脉了,运维架构底层的历史包袱现在没人看得懂,一碰就 boom !
    ----
    @kenilalexandra 猪场肯定有冷备份,至少可以尽快恢复主站。
    prorigor
        41
    prorigor  
       2024-08-19 16:31:43 +08:00
    网易云也不过是草台班子
    Modred
        42
    Modred  
       2024-08-19 16:32:07 +08:00
    @Modred
    * 网易数读: 挂
    * 网易健康: 挂
    LCheng
        43
    LCheng  
       2024-08-19 16:33:19 +08:00
    还以为公司把网易云禁了,都开始问候公司了
    CMLab
        44
    CMLab  
       2024-08-19 16:33:22 +08:00   ❤️ 1
    全线崩溃,等会看网易新闻报网易事故
    sakuralFA
        45
    sakuralFA  
       2024-08-19 16:35:05 +08:00
    现在挂的感觉都是杭州的东西呀
    Shura
        46
    Shura  
       2024-08-19 16:35:13 +08:00
    什么灾备多活,就是个 PPT ,哈哈哈
    MelDu
        47
    MelDu  
       2024-08-19 16:35:17 +08:00
    连主站都受影响了,这肯定上新闻了吧。
    GuLuDaDuiZhang
        48
    GuLuDaDuiZhang  
       2024-08-19 16:36:07 +08:00
    现在为止还没恢复,,有够菜的会不会玩呀,不会又是降本增笑吧。断了这么久不得找网易退钱。
    mars2023
        49
    mars2023  
       2024-08-19 16:37:05 +08:00
    @prorigor #41 再强的班子,也不能保证百分百不出事故;那是上帝的权能 🐶
    NiceGeekJasonChu
        50
    NiceGeekJasonChu  
       2024-08-19 16:38:06 +08:00
    网易云音乐是不是要补偿一个月的会员啊,否则众怒难平啊
    AmaQuinton
        51
    AmaQuinton  
       2024-08-19 16:41:58 +08:00
    Tyrant1984
        52
    Tyrant1984  
       2024-08-19 16:46:09 +08:00
    刚崩的时候还没在意,我还庆幸我还留着 Foobar2000 了,硬盘上翻了翻还有以前剩下的几个 G 的无损音乐~~
    Richared
        53
    Richared  
       2024-08-19 16:46:39 +08:00
    天天吹牛逼 HA ,不也得挂着 502 慢慢修么?一个小时解决不了。天天高可用的那拨人呢?
    Yorkzhu
        54
    Yorkzhu  
       2024-08-19 16:48:05 +08:00 via Android
    高可用
    loy6491
        55
    loy6491  
       2024-08-19 16:48:19 +08:00
    @Richared #53 可能觉得不需要那么高的可用就优化了😄
    Richared
        56
    Richared  
       2024-08-19 16:49:27 +08:00
    @loy6491 这么看也就 b 站没吹牛逼。
    shervy
        57
    shervy  
       2024-08-19 16:49:54 +08:00   ❤️ 1
    @Richared #53 如果连口号都不喊的话,那不是加快公司优化么
    coolcoffee
        58
    coolcoffee  
       2024-08-19 16:51:26 +08:00   ❤️ 2
    可能之前高可用做的太好了,以至于老板觉得那帮人就是浪费公司钱吃白饭的🐶
    quqivo
        59
    quqivo  
       2024-08-19 16:53:49 +08:00
    爽了,继续灾难修复,继续吹牛逼,我看什么时候能访问
    qingshui33
        60
    qingshui33  
       2024-08-19 16:55:59 +08:00   ❤️ 3
    他们团队已经提前预料到了 😂
    Yorkzhu
        61
    Yorkzhu  
       2024-08-19 17:00:10 +08:00 via Android
    mightybruce
        62
    mightybruce  
       2024-08-19 17:00:42 +08:00
    看他们微信公众号的方案,就像看八股文一样,实际不是这么回事,哈哈,露出了基础设施团队不行咯。
    https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA
    云音乐贵州机房迁移总体方案
    jenkin01
        63
    jenkin01  
       2024-08-19 17:00:44 +08:00
    恢复了
    Modred
        64
    Modred  
       2024-08-19 17:00:46 +08:00
    @Yorkzhu 这是老图了
    Yorkzhu
        65
    Yorkzhu  
       2024-08-19 17:01:20 +08:00 via Android
    @Yorkzhu 贴错了…
    dikey
        66
    dikey  
       2024-08-19 17:01:44 +08:00
    今天是什么重要的日子吗😂
    mark2025
        67
    mark2025  
       2024-08-19 17:04:09 +08:00
    据说 tidb 挂了
    D0n9
        68
    D0n9  
       2024-08-19 17:04:38 +08:00
    @mightybruce 这也八股文吗。。。
    maplelin
        69
    maplelin  
       2024-08-19 17:06:34 +08:00
    服务器被修空调的搬走了,手动狗头
    maskerTUI
        70
    maskerTUI  
       2024-08-19 17:06:41 +08:00
    突然觉得我上我也行
    Modred
        71
    Modred  
       2024-08-19 17:07:28 +08:00
    云音乐已经恢复了
    mightybruce
        72
    mightybruce  
       2024-08-19 17:08:55 +08:00
    @D0n9 业务数据迁移这些也是八股文,属于比较有难度的,整篇文章对存储层和中间件和网关提及很少,就是业务相关的数据迁移。
    zghbyslzf
        73
    zghbyslzf  
       2024-08-19 17:09:43 +08:00
    恢复个鸡儿,收藏还是报错
    MelDu
        74
    MelDu  
       2024-08-19 17:11:56 +08:00
    2024 年 8 月 19 日 16:11:07
    网易云音乐;
    歌曲播放:OK
    搜索:OK
    评论:OK
    MelDu
        75
    MelDu  
       2024-08-19 17:12:57 +08:00
    @MelDu 2024 年 8 月 19 日 17:11:07
    时间错了
    Grande
        76
    Grande  
       2024-08-19 17:13:09 +08:00   ❤️ 5
    hafuhafu
        77
    hafuhafu  
       2024-08-19 17:13:20 +08:00
    这下有人要跑路了
    RayJiang9
        78
    RayJiang9  
       2024-08-19 17:14:07 +08:00
    dule
        79
    dule  
       2024-08-19 17:19:41 +08:00
    据说是云存储的问题,剩一个人还是咋的,按前人文档整崩了,基本都裁完了,找不到人修,真的话那可就太惨了,剩一个人维护最后还要背锅
    dule
        80
    dule  
       2024-08-19 17:20:46 +08:00
    降本增笑,裁猿广进,开猿节流的标准案例来了
    paoqi2048
        81
    paoqi2048  
       2024-08-19 17:25:14 +08:00
    降本降效(
    securityCoding
        82
    securityCoding  
       2024-08-19 17:27:59 +08:00
    @flyqie 服务没做跨集群部署吧...
    Sahzzz
        83
    Sahzzz  
       2024-08-19 17:36:27 +08:00
    @qingshui33 老哥,这个哪里的文章?求个地址
    huangbh
        84
    huangbh  
       2024-08-19 17:36:34 +08:00
    开猿节流,降本增笑
    beiwei2008
        85
    beiwei2008  
       2024-08-19 17:46:15 +08:00
    @mars2023 说好高可用呢?还挂这么久
    codevoice
        86
    codevoice  
       2024-08-19 17:46:28 +08:00
    @Sahzzz 22 楼发了的。。。后面很多也发了
    zdw406
        87
    zdw406  
       2024-08-19 17:50:32 +08:00
    又超时了
    CSGO
        88
    CSGO  
       2024-08-19 17:52:53 +08:00 via Android
    一定是米哈游搞的
    LieEar
        89
    LieEar  
       2024-08-19 17:58:44 +08:00
    开猿节流,降本增笑
    meilicat
        90
    meilicat  
       2024-08-19 18:01:47 +08:00
    感觉是蔡徐坤控制了网易云
    colincat
        91
    colincat  
       2024-08-19 18:08:45 +08:00
    降本增笑 哈哈哈
    sampeng
        92
    sampeng  
       2024-08-19 18:33:11 +08:00
    据说:是只剩一个运维了。东西太复杂,操作只能靠前人的文档。然后做了一下运维操作就炸了
    AnonymousUser
        93
    AnonymousUser  
       2024-08-19 19:32:22 +08:00
    作为前 SRE ,感概 SRE 工作真难。。。
    TheWalkingDead
        94
    TheWalkingDead  
       2024-08-19 19:32:47 +08:00   ❤️ 10
    内部人士说一声:确实是上面有人说的云存储问题,确实是只剩一个人,确实基本都裁完了,确实是这个人靠着前人留下的文档改错了东西。另外,不止云音乐受到影响,网易新闻也崩了,因为用的一个云存储服务。
    andforce
        95
    andforce  
       2024-08-19 19:38:20 +08:00 via iPhone
    @NiceGeekJasonChu 给了 7 天🥲
    huangzhiyia
        96
    huangzhiyia  
       2024-08-19 19:42:08 +08:00 via iPhone
    看完了搬家方案

    光看都看得我汗流浃背了都

    稍有不慎就是重大事故
    flyqie
        97
    flyqie  
       2024-08-19 19:52:02 +08:00
    @TheWalkingDead #94

    挺好奇云存储是怎么爆炸成这样的。。不知道会不会出对外发事故报告啥的。

    怪不得前文说是基础设施。。这确实基础设施啊。
    serialt
        98
    serialt  
       2024-08-19 20:40:42 +08:00
    @TheWalkingDead #94 所以是把裁掉的人叫回来才解决啊吗 [吃瓜]
    Vh5g6zZU
        99
    Vh5g6zZU  
       2024-08-19 21:28:38 +08:00 via Android
    @TheWalkingDead 只剩一个也太搞了😵‍💫
    TeslaLyon
        100
    TeslaLyon  
       2024-08-19 21:33:56 +08:00
    真巧,赶上了
    1  2  
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2542 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 15:29 · PVG 23:29 · LAX 08:29 · JFK 11:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.