同样的 AI 应用。火山引擎的 token。用的飞快。不知道怎么回事。

[shebaoting]

字节跳动火山引擎的 token 。参加那个协作奖励计划，每天赠送 500 万 token 。我使用 python 并发请求。10 个并发。基本 2 个小时就用了 1000 万。也就是倒欠了 500 万的 token 。大概欠 9 块钱。

但是用阿里百炼平台。之前赠送了我 1000 万的 token 。同样的 python 项目请求。同样的并发数量。用了 4 到 5 个小时。也没欠费，可能用光就停止了。

是啥原因？有其他人遇到过吗？难道是火山引擎的应答速度更快？我也没感觉和阿里云差别有多少啊。

[GlobalNPC]

好歹也列一下请求的什么模型，什么参数吧

[zqqian]

字节的机器性能高，速度快，所以 token 用的飞快

[ttkit]

接口里没响应用的 token 数？没有代码你说这有什么用。

[shebaoting]

deepseek v3 默认参数。没配置。并发是 10 个并发。

[shebaoting]

@ttkit 关键是同样的代码啊。和代码有关系吗？

[shebaoting]

@zqqian 我也在想是不是这个原因。

[keller]

记录一下每次请求的 输入输出 token ，自己统计一下。

[visper]

字节： 我速度快也有错？

[SakuraYuki]

现在 llm 最不透明的就是 token 的消耗量了，你也不知道到底是机器性能高消耗的多还是什么别的原因

[Morriaty]

你看下接口返回的 tokens 消耗啊，部分接口还有命中的 cache tokens 返回

[Rrrrrr]

我看了一下，10 来个问题，用了 5 万 token ，联网的。大概 4-5ktoken 一次?

[DIO]

阿里对高并发的控制理论上是更好的，双十一，支付宝的技术积累。

[thevita]

提供一点信息: https://www.volcengine.com/docs/82379/1346560

火山引擎好像是要手动管理 cache 的，大概看了下，好像没说 completions 会自动给 prefix cache ，未验证，仅提供方向，看看 你 api 的 usage 有没有命中咯

[shebaoting]

不过目前对火山，阿里云，腾讯云的体验下来。火山的对开发者的体验做的是比较好的。速度，功能设计，引导，都不错。其次是阿里云，阿里云目前头疼的是你不知道自己用了多少 token ，只能盲等账单结算。