parad

每个模型不太一样，但是质量都会随 context 长度下降。

https://arxiv.org/abs/2502.05167

推荐 Fireworks, Together 和 Hyperbolic ，我自己测试下来速度比较快。Hyperbolic 最近两天变慢了。

测试脚本的原始数据： https://github.com/paradite/deepseek-r1-speed-benchmark

测试报告 https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed

@lovestudykid 问了另一家 provider ，他们说因为 Deepseek R1 是 "trained in FP8"，所以本来就是 FP8 quantization 。所以没有影响。
但我也不确定这些 provider 有没有自己多做一层 quantization ，因为 Deepseek R1 的 FP8 是某些 layer 才有的，有会多其他 layer 还是 BF16：
- https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00001-of-000163.safetensors
- https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00160-of-000163.safetensors
- https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00163-of-000163.safetensors
这些 BF16 不确定是不是被额外的做了 FP8 quantization 。按照 vLLM 的说法，如果是 Online Dynamic Quantization
“all Linear modules (except for the final lm_head) have their weights quantized down to FP8_E4M3 precision with a per-tensor scale”：
- https://docs.vllm.ai/en/v0.5.0.post1/quantization/fp8.html

@lovestudykid 根据我的理解，DeepSeek 最终的 weight 是 mixed F8_E4M3 + FP32 。这个可以在 Hugging Face 的 原始 model layer details 里面看到： https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00027-of-000163.safetensors

而 Hyperbolic 的 FP8 是他们自己的 quantization ，是在 model 上面额外的 quantization ，这里有解释： https://docs.hyperbolic.xyz/docs/hyperbolic-ai-inference-pricing

所以我理解 Hyperbolic 应该是做了额外的 quantization 。当然有可能是我理解错了。欢迎指正。

域名太小众，渲染不出 link [https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed]( https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed)

有很多，我这里做了对比

https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed

持续更新中

@Ashkin https://openrouter.ai/rankings?view=trending

PCI DSS

https://www.nginx.com/resources/wiki/community/faq/

How do you pronounce “NGINX”?
There seems to be some confusion surrounding the pronunciation of NGINX.

Correct
en-juhn-eks*
Engine-X

Incorrect
en-jingks