V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
cy18
V2EX  ›  云计算

惊魂一刻!被某讯云的计费系统吓得差点提桶跑路

  cy18 · 2023-04-27 12:20:59 +08:00 · 12655 次点击
这是一个创建于 557 天前的主题,其中的信息可能已经有所发展或是发生改变。

搞了个高并发的优化算法,自己机器上跑太慢了,发现某讯云的云函数还不错,每个地区都可以搞 500+的并发,同时开 5 个地区这不就是 2500 的并发了么,估算了下,总共两三百万 GBs 估计算法也就跑完了,免费配额 100 万,接下来单价 0.00011108 元 /GBs ,算下来也就一两百块钱,四舍五入等于不要钱!公司刚好有个腾讯云账号,还有几百块余额,直接拿来用,计划通!

折腾了一两天代码,然后开跑,嗯嗯,效果还不错,比自己机器上跑快多了,来来,让我看看资源使用量怎么样:

i9UZiH.png

嗯?跑了几分钟资源使用量咋就红了?算法出问题了?被 DDoS 了?

嗯嗯??咋用了 2 亿多 GBs ,我靠,100 万 GBs 就要 100 多块钱,2 亿多岂不是要 20000 块钱了,不管结果没存下,先把算法停掉再说!呼,总算停下来了,来来,我算算花了多少钱。掏出计算器,0.00011108*200000000 ,8 个零,没错。我靠,22216 块钱??准备提桶跑路!

嗯嗯嗯???那个好像不是小数点,是逗号!!不是 2 亿多 GBs ,是 2621 亿 GBs ,我算算......0.00011108*262100000000=29114068......这......我还跑得掉么?

嗯嗯嗯嗯????我这撑死两千五的并发,几分钟怎么跑出来这么多的?被 DDoS 也跑不了这么多使用量!看来是计费系统的问题......吧?先把系统冻结了,问问客服啥情况。


那么问题来了,如果是计费系统的问题,我跑了一半的计算结果有的赔么?我的精神损失费有的赔么?

第 1 条附言  ·  2023-04-27 15:21:40 +08:00
有结果了,前端的锅

![i9Hx2J.png]( https://i.328888.xyz/2023/04/27/i9Hx2J.png)
96 条回复    2023-04-28 12:39:27 +08:00
godmiracle
    1
godmiracle  
   2023-04-27 12:28:30 +08:00
感觉你要提桶跑路了。。
leaflxh
    2
leaflxh  
   2023-04-27 12:31:34 +08:00
几分钟控制全国流量跑了 250 个 T ,拿去 DD 估计挺爽的
leaflxh
    3
leaflxh  
   2023-04-27 12:32:59 +08:00
左右面板资源使用量还不一样的
DAPTX4869
    4
DAPTX4869  
   2023-04-27 12:33:16 +08:00
等故事更新
westoy
    5
westoy  
   2023-04-27 12:40:03 +08:00
@leaflxh

这价格玩敲诈的黑产也用不起啊.......
dragonfuhuang
    6
dragonfuhuang  
   2023-04-27 12:42:16 +08:00
坐等后续的 append
Calen
    7
Calen  
   2023-04-27 12:45:36 +08:00
不用某讯了,你文章里都写了腾讯了
aru
    8
aru  
   2023-04-27 12:48:20 +08:00
假定一个函数用 4GBs ,跑了 10 分钟,2500 个并发
那么 4*2500*10*60 *0.00011108 = 666 元
用掉 600 万 GBs
cy18
    9
cy18  
OP
   2023-04-27 12:50:14 +08:00
@Calen 写了一半,发现好像论坛惯例都是写某讯,然后改,可能没改全
cy18
    10
cy18  
OP
   2023-04-27 12:50:54 +08:00
@aru 算法很省内存,主要耗 CPU ,所以设定是 64MB 的。
sadfQED2
    11
sadfQED2  
   2023-04-27 12:52:36 +08:00 via Android
哈哈哈,等后续
cy18
    12
cy18  
OP
   2023-04-27 12:52:50 +08:00
@aru 另外跑的遗传算法,是跑一阵,然后本地处理一阵,再跑一阵,再本地处理,所以实际上并不是都在服务器上跑的。
amazingxxxxx
    13
amazingxxxxx  
   2023-04-27 12:56:23 +08:00
坐等腾讯客服催交 2000 万 RMB 。手动 doge
flyqie
    14
flyqie  
   2023-04-27 12:57:01 +08:00 via Android   ❤️ 1
@westoy #5

不一定,有些黑产是批量买的号,欠了费就跑那种。
mxT52CRuqR6o5
    15
mxT52CRuqR6o5  
   2023-04-27 12:57:18 +08:00   ❤️ 4
腾讯:遇到大金主了
cy18
    16
cy18  
OP
   2023-04-27 12:58:40 +08:00
@mxT52CRuqR6o5 大金(yuan)主(zhong)
Kinnice
    17
Kinnice  
   2023-04-27 13:01:06 +08:00
在用户群帮你反馈了一下,这太猛了
phatpooh
    18
phatpooh  
   2023-04-27 13:03:18 +08:00 via Android
可以买机票了
shiqueb
    19
shiqueb  
   2023-04-27 13:05:39 +08:00 via Android   ❤️ 5
收到律师函的大 boss:员工,什么员工?
amazingxxxxx
    20
amazingxxxxx  
   2023-04-27 13:06:06 +08:00   ❤️ 5
未办护照的赶紧办。该吃吃,该喝喝,有什么未了的事情赶紧办好。有心愿也提前说好。

看看 5 月 1 ,国外有什么地方好玩,确认金额后就别回来了。
nzynzynzy
    21
nzynzynzy  
   2023-04-27 13:06:07 +08:00   ❤️ 1
吃点补肾的,噶的时候多卖点钱
NeedforV2
    22
NeedforV2  
   2023-04-27 13:07:05 +08:00
是不是腾讯算错了,密切关注后续。
MXMIS
    23
MXMIS  
   2023-04-27 13:10:27 +08:00
好像恶意被刷的那部分流量,可以解除?
iijboom
    24
iijboom  
   2023-04-27 13:16:15 +08:00
现在跑还来得及,别问了
aru
    25
aru  
   2023-04-27 13:16:33 +08:00
@MXMIS 你搞错了。这个是 GBs 是资源占用单位,可以认为是每秒的内存占用
ZE3kr
    26
ZE3kr  
   2023-04-27 13:16:43 +08:00 via iPhone
公司的号,没关系的,欠的钱也是公司欠的,就算腾讯追债也是找公司追债
Kinnice
    27
Kinnice  
   2023-04-27 13:16:59 +08:00
按照楼主的说法,跑了几分钟炸了,那我们姑且算总共跑了 10 分钟
262100000000 / (64MB/1024)GB / (10min*60)s
大概 10 分钟开了 6989333333 左右的并发??是这样算吗?
k9982874
    28
k9982874  
   2023-04-27 13:22:19 +08:00
放狗找了一下疼迅云对“资源”的解释,然而没找到。。
Felldeadbird
    29
Felldeadbird  
   2023-04-27 13:26:48 +08:00
公号私用,完蛋。26W ,程序和楼主哪个可以跑?五一快来了,准备好吧。
quzard
    30
quzard  
   2023-04-27 13:28:14 +08:00 via iPhone
让大伙看看跑的啥程序,不会真有 bug 吧
cy18
    31
cy18  
OP
   2023-04-27 13:33:27 +08:00
@Felldeadbird 不算公号私用,跑的优化算法是公司产品用到的参数。
xujiang
    32
xujiang  
   2023-04-27 13:34:16 +08:00
坐等后续
cy18
    33
cy18  
OP
   2023-04-27 13:34:23 +08:00   ❤️ 1
@Felldeadbird 不是 26W ,按那个算法算出来接近三千个 W 了
dezou
    34
dezou  
   2023-04-27 13:38:47 +08:00
OP 还有心情来写个帖子 /doge
acthtml
    35
acthtml  
   2023-04-27 13:43:57 +08:00
瞧把你吓的
quzard
    36
quzard  
   2023-04-27 13:44:43 +08:00 via iPhone   ❤️ 1
左边的本月资源使用量和右边的资源使用量不一致,大概率触发了 bug ,来用阿里云吧 /doge
yokisama
    37
yokisama  
   2023-04-27 13:45:58 +08:00 via Android
op 这部分应该可以免了,不然 tx 云现在已经可以张罗着南山警察局抓人了
yuzo555
    38
yuzo555  
   2023-04-27 13:46:31 +08:00
感觉就是右侧数据计算展示的 bug

左边是正确的,算一下就会发现

25.59 × 1024 ≈ 2621 ,和右边的数据在纯数字上是对得上,可能是展示的 bug
jifengg
    39
jifengg  
   2023-04-27 13:49:14 +08:00
可能是楼上说的,除错写成乘了
xmumiffy
    40
xmumiffy  
   2023-04-27 13:58:51 +08:00
腾讯:这位客户,啊不,这位被告,您还有什么要补充的么?
likunyan
    41
likunyan  
   2023-04-27 14:02:17 +08:00
准备南山法院吧
xiaohundun
    42
xiaohundun  
   2023-04-27 14:06:18 +08:00
有趣。。看你还不慌,挺好的😂
ChengLuffy
    43
ChengLuffy  
   2023-04-27 14:12:20 +08:00
哇,等一个后续
bluedawn
    44
bluedawn  
   2023-04-27 14:18:08 +08:00 via iPhone
这是怎么不慌的蹲后续
littlecorgi
    45
littlecorgi  
   2023-04-27 14:24:04 +08:00
小心南山最强法务部,蹲一个后续
cy18
    46
cy18  
OP
   2023-04-27 14:24:35 +08:00   ❤️ 16
@bluedawn 算出两万多我是真的有点慌,算出两千多万我其实就不慌了,反而开始担心起腾讯某个同行的 KPI 了。
zoharSoul
    47
zoharSoul  
   2023-04-27 14:25:34 +08:00
笑死了 等个后续
acdfjelxe
    48
acdfjelxe  
   2023-04-27 14:29:28 +08:00
这周的腾讯机房故障是你搞的是吧 (:doge
orangechengcheng
    49
orangechengcheng  
   2023-04-27 14:34:20 +08:00
蹲个后续,看看是哪个先跑
TouristOne
    50
TouristOne  
   2023-04-27 14:38:25 +08:00
cy
dulred
    51
dulred  
   2023-04-27 14:38:36 +08:00
牛 蹲起
zjsxwc
    52
zjsxwc  
   2023-04-27 14:38:55 +08:00
简直离谱,
蹲个后续。
Stoney
    53
Stoney  
   2023-04-27 14:39:47 +08:00 via iPhone
遇到南山必胜客赶紧润吧,不然跨省了
hhjswf
    54
hhjswf  
   2023-04-27 14:42:25 +08:00
2kw 慌个毛,哥们烂命一条
simo
    55
simo  
   2023-04-27 14:45:23 +08:00
账号没钱,是不是就自动停了?
我这也跑着呢,怕怕
cy18
    56
cy18  
OP
   2023-04-27 14:48:59 +08:00
@simo 问了客服,账号欠费后要 24 小时才会自动停机。这次是他们的 bug ,但下次如果是我自己的程序 bug ,搞不好真的得提桶跑路。
xytest
    57
xytest  
   2023-04-27 14:52:03 +08:00
云函数乃账号余额杀手!
simo
    58
simo  
   2023-04-27 14:58:43 +08:00
@cy18 #56 我看看还是停了,手里各个平台服务比较多,平时不怎么看云函数这里,万一哪天给个惊喜
SGTeam
    59
SGTeam  
   2023-04-27 14:59:27 +08:00
上次就往云函数上面部署了个自己的 bitwarden_rs 服务,一天花了 1 块多。我算下来有这钱我 300 三年买他个 vps 是不香吗
还有就是,我就我自己用我的都不知道这家伙怎么能花出去这么多的。
cy18
    60
cy18  
OP
   2023-04-27 15:04:14 +08:00
@SGTeam 看具体应用环境吧,像我这个高并发的用云函数还是挺合适的。
worldqiuzhi
    61
worldqiuzhi  
   2023-04-27 15:38:56 +08:00
所以到底是多少钱
ywy12345
    62
ywy12345  
   2023-04-27 15:39:23 +08:00
要小心 monolithic 的“函数”导致的各种可能的循环调用。。。特别是一初始化就调用自己这种的。。。这里面没有 singleton 和状态。。。循环调用吃掉几千万真不是梦
WhereverYouGo
    63
WhereverYouGo  
   2023-04-27 15:39:33 +08:00
插个眼,好奇
cy18
    64
cy18  
OP
   2023-04-27 15:39:49 +08:00
@worldqiuzhi 没花钱,免费额度都没用完呢。
Cat7373
    65
Cat7373  
   2023-04-27 15:45:55 +08:00
@cy18 所以你跑到一半停下来的精神损失费和已消耗的额度怎么办
cy18
    66
cy18  
OP
   2023-04-27 15:52:22 +08:00   ❤️ 1
@Cat7373 浪费的额度算钱估计撑死也就十几块,刚客服给我打电话说赔我 200 代金券。
精神损失费不可估量,不过已经在论坛回帖里找回点精神损失了。
sunxyless2
    67
sunxyless2  
   2023-04-27 16:00:57 +08:00
放心用,有透支上限的,怎么可能让你上来刷个几千万
AA5DE3F034ACCB9E
    68
AA5DE3F034ACCB9E  
   2023-04-27 16:02:37 +08:00
笑死,怎么通过验收的
retanoj
    69
retanoj  
   2023-04-27 16:04:23 +08:00
我就想知道这 bug 鹅厂怎么算
davidoff567
    70
davidoff567  
   2023-04-27 16:09:53 +08:00
这个模块的测试同学要倒霉了,这种易现缺陷能流到生产环境上,默哀一秒钟
jifengg
    71
jifengg  
   2023-04-27 16:12:02 +08:00
看来是虚惊一场,那就好
yolooo
    72
yolooo  
   2023-04-27 16:31:20 +08:00   ❤️ 11
此时一位前端同学失去了他的年终奖
rayhuang110
    73
rayhuang110  
   2023-04-27 16:35:49 +08:00   ❤️ 5
楼主及各位评论区的小伙伴们你们好,我是腾讯云云函数的研发同学。

非常抱歉给大家带来不便,云函数计费资源使用量数值异常原因是前端控制台使用的单位与数值实际的单位不一致导致,实际的用量及其费用均正常,不会导致楼主产生额外的费用,我们已第一时间修复了这个问题,目前展示已恢复。因我们的问题导致楼主的困惑深表歉意。同时非常感谢楼主及时反馈问题,作为奖励我们将赠送一定腾讯云代金券。

也非常欢迎大家在腾讯云建议反馈平台 https://cloud.tencent.com/voc/对云函数的不足提出批评,我们会虚心接受,及时改进,谢谢大家!
LokiSharp
    74
LokiSharp  
   2023-04-27 16:37:39 +08:00   ❤️ 6
不愧是宇宙第一工单系统 V2EX
ernest
    75
ernest  
   2023-04-27 16:38:36 +08:00 via iPhone
@cy18 这种金额的代金券一般都是奖励发现问题啦,我们之前提过一些线上小问题也是这样。前端问题还好,虚惊一场,摸摸楼主~
rayhuang110
    76
rayhuang110  
   2023-04-27 16:38:53 +08:00
抱歉上方回复的链接不方便跳转
反馈平台 https://cloud.tencent.com/voc
likunyan
    77
likunyan  
   2023-04-27 16:42:07 +08:00   ❤️ 1
@rayhuang110 你们腾讯的 bug 太多了,我上个礼拜就发现两个 bug
evil0harry
    78
evil0harry  
   2023-04-27 16:44:52 +08:00   ❤️ 1
语气强硬一点说影响到你的系统了,让他们补偿点优惠券什么的
rayhuang110
    79
rayhuang110  
   2023-04-27 16:47:23 +08:00   ❤️ 3
楼主及各位评论区的小伙伴们你们好,我是腾讯云云函数的研发同学。

非常抱歉给大家带来不便,云函数计费资源使用量数值异常原因是前端控制台使用的单位与数值实际的单位不一致导致,实际的用量及其费用均正常,不会导致楼主产生额外的费用,我们已第一时间修复了这个问题,目前展示已恢复。因我们的问题导致楼主的困惑深表歉意。同时非常感谢楼主及时反馈问题,作为奖励我们将赠送一定腾讯云代金券。

也非常欢迎大家在腾讯云建议反馈平台: https://cloud.tencent.com/voc/
对云函数的不足提出批评,我们会虚心接受,及时改进,谢谢大家!
RatioPattern
    80
RatioPattern  
   2023-04-27 17:22:00 +08:00
感觉这个 bug 可能有小半年了
lookStupiToForce
    81
lookStupiToForce  
   2023-04-27 18:48:25 +08:00
笑死,这随便几分钟就两千九百万的速度,换我早就订机票了🤣🤣
OP 心态真好
xiaomoxian
    82
xiaomoxian  
   2023-04-27 19:08:58 +08:00 via Android
换了我早就在外太空了
whileFalse
    83
whileFalse  
   2023-04-27 19:34:11 +08:00 via iPhone
这玩意 cpu 和内存绑定的吧,开 64 兆内存 cpu 只有一丢丢
cy18
    84
cy18  
OP
   2023-04-27 19:41:24 +08:00
@whileFalse 实测了 64 跟 128 的运行时间差异到不了两倍,反正用不到这么多内存,64M 性价比更高。
whileFalse
    85
whileFalse  
   2023-04-27 20:16:57 +08:00 via iPhone
@cy18 恩 里面下载数据的时间无论 64 还是 128 都差不多。
我的意思是你开这么点 cpu ,就算跑了很多实例,可能还不如一台高配台式机跑几个小时…

文档:
https://cloud.tencent.com/document/product/583/68734
cy18
    86
cy18  
OP
   2023-04-27 20:48:20 +08:00 via Android   ❤️ 1
@whileFalse
有效果,而且效果还很不错。
我在电脑上面跑,单核跑一个任务 1 秒左右,8 核 16 线程的机器上 10 分钟只能跑 800 个左右任务。做一次 100 多代,每代 800 个任务的迭代优化,基本要跑个通宵。
云函数上面跑,只跑一个任务的时候 3 秒多能跑完,开 2400 个线程发 https 请求并发 2400 个任务,跑一轮只要 40 秒左右,而且通过观察系统的 tcp 连接数量跟 cpu 占用率发现,大部分时间其实都是卡在本地 cpu 处理 https 请求上,如果优化下 https 处理效果应该会更好,不过现在的够用,就懒得折腾了。实际跑下来 1 个多小时就能跑完 100 轮左右的迭代,而且每代可以有 2400 个任务。
whileFalse
    87
whileFalse  
   2023-04-27 20:52:23 +08:00 via iPhone
@cy18 咦,那可能是腾讯机器多,所以云函数实际上使用的 cpu 远超文档中说明的“0.1 个核心”?
你机器啥配置
cy18
    88
cy18  
OP
   2023-04-27 20:53:11 +08:00 via Android
@whileFalse 我还是走了些弯路,先折腾的云函数,之后才发现 python 有几个专门的分布式计算的库,可以通过 k8s 动态创建容器作计算,效果应该更好。想着云函数这个凑合也能用,就先用着了。
cy18
    89
cy18  
OP
   2023-04-27 20:54:49 +08:00 via Android
@whileFalse 3700x+32G
2400 任务并发,每个就按 0.1 核,其实也有 240 核了,比我这 8 核 16 线程强了 10 倍了。
whileFalse
    90
whileFalse  
   2023-04-27 20:54:53 +08:00 via iPhone
而且你说单核 1 秒,那理论上 8 核应该 1 秒至少跑 8 个,一分钟 500 个,10 分钟 5000 个。实际上只跑了 800 个,是不是磁盘啥的瓶颈了。
cy18
    91
cy18  
OP
   2023-04-27 20:58:53 +08:00 via Android
@whileFalse 这么一算确实,不知道是不是哪里算错了,可能有其他什么瓶颈。我电脑上使用 process pool 跑的,按说应该能跑满,可能是跑久了 cpu 降频?
cy18
    92
cy18  
OP
   2023-04-27 22:07:24 +08:00   ❤️ 1
@whileFalse 重新看了下一两年前写的代码,前面说的问题规模有点问题,我把遗传算法筛选前的样本数量跟筛选后的样本数量搞混了。之前说的 800 跟 2400 是每轮筛选后的样本数量,筛选前的样本数量在代码里看不出来,懒得看了。
用同样的 800 规模重新测试了一下运行速度,本地差不多要 13 分钟一轮,并发跑一轮只要 30 秒左右,提升还是非常明显的。
leeraya
    93
leeraya  
   2023-04-28 11:23:47 +08:00
此时一位 tx 前端和 qa 正在被吊打
zmaplex
    94
zmaplex  
   2023-04-28 12:10:45 +08:00 via Android
腾讯云 beta 云
OliverDD
    95
OliverDD  
   2023-04-28 12:15:15 +08:00 via iPhone
笑死我了😆
cy18
    96
cy18  
OP
   2023-04-28 12:39:27 +08:00
@ywy12345 后台可以设置函数最长运行时间,时间到了应该就被 kill 掉了吧?
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1122 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 30ms · UTC 18:38 · PVG 02:38 · LAX 10:38 · JFK 13:38
Developed with CodeLauncher
♥ Do have faith in what you're doing.