weiming 最近的时间轴更新 weiming 最近的时间轴更新 |
weimingV2EX 第 13087 号会员，加入于 2011-10-29 11:08:37 +08:00 |
weiming 最近回复了
3 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
4 并发 17t/s 。a800 没有原生 fp8 支持，算力大打折扣。而且最近 vllm 在 H 系列上的优化 patch 挺多的，拍脑袋至少还能再快个 30%。
3 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
@zhyim vllm 0.7.2 awq
Parallel request Token per second （ Total ） Token per second(per request)
1 30 30
10 81 10
30 144 6.2
50 180 5
Parallel request Token per second （ Total ） Token per second(per request)
1 30 30
10 81 10
30 144 6.2
50 180 5
4 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
@zhyim 不应该啊，我用 A800x8 都有 30t/s 。用这个配置, https://huggingface.co/cognitivecomputations/DeepSeek-R1-AWQ
4 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
vllm + awq 量化
6 天前 回复了 levin56 创建的主题 › 生活 › 谈了快 10 年的女朋友要求 30 万彩礼 |
@dongyulin353 成都房子这么贵吗，北京均价也就 4 万
178 天前 回复了 shenjinpeng 创建的主题 › 咖啡 › 上班携带咖啡用什么容器 ? |
@avenger 冷萃没脂肪，这个直接喝也就是麦当劳涮锅水，不过跟牛奶混一块当拿铁饮料还能喝。
220 天前 回复了 shenyiyouge 创建的主题 › 游戏 › 电子阳痿的底层逻辑是什么？ |
催产素，血清素, 多巴胺这些神经递质，年龄大了之后其受体会减少，造成通路效率大减。导致神经网络算完之后很难达到阈值，兴趣归零。
Select Language