235777178's recent timeline updates 235777178's recent timeline updates |
235777178要么瘦要么死。 🏢 pm V2EX member #24760, joined on 2012-08-03 09:41:36 +08:00 |
jindx.net
北京
胖子产品产品胖子
 |
Per 235777178's settings, the topics list is only visible after you sign in |
Deals info, including closed deals, is not hidden
235777178's recent replies
2 days ago Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s） |
# Qwen3.8-27B 性能矩阵（ 192.168.1.20 · 双 RX 7900 XTX ）
> 场景：2 槽位 / 192K 上下文。单位 tok/s 。
| 变体 | 关键差异 | prefill (1024 / 8k / 32k) tok/s | gen (1024 / 8k / 32k) tok/s | 峰值 VRAM / 卡 |
|---|---|---|---|---|
| **S1_base** | tensor 1,1 · q8_0 KV · b16384/ub2048 · t32 · **MTP d2**（当前配置） | 521 / 1150 / **1053** | **54.1 / 51.6 / 51.9** | 16.3G |
| S2_kv_q4 | KV q4_0 | 512 / 1145 / 1049 | 52.6 / 54.5 / 49.3 | **14.9G** |
| S3_kv_q6 | KV q6_k | ❌ 启动失败（该 build 不支持 q6_k KV ） | — | — |
| S4_ts_5545 | tensor 55,45 | 493 / 1070 / 950 | 50.2 / 52.0 / 48.6 | 18.0G / 14.3G |
| S5_layer | layer split | 529 / 1095 / 1100 | 37.3 / 39.1 / **29.7** | 16.7G / 22.3G |
| S6_b32768 | batch 32768/ub4096 | 490 / 1143 / 1037 | 47.5 / 54.5 / 50.8 | 18.7G |
| S7_t48 | threads 48 | 518 / 1147 / 1046 | 53.3 / 50.5 / 51.0 | 16.3G |
| S8_mtp1 | MTP d1 | 519 / 1148 / 1047 | 46.6 / 48.1 / 43.0 | 16.2G |
| S9_nomtp | 无 MTP | 621 / **1281** / 1136 | 33.5 / 33.6 / 31.3 | 14.3G |
| S10_ub1024 | ubatch 1024 | 512 / 1122 / 1039 | 47.2 / 51.3 / 50.6 | 15.2G |
## 结论速读
- **甜点（ gen 最高）**：`S1_base`（ MTP d2 ）综合最强，gen 稳定 51–54 tok/s 。
- **prefill 最高**：`S9_nomtp`（无 MTP ）达 1281 tok/s ，但 gen 只有 33 tok/s — 用 prefill 换 gen 不划算。
- **最省显存**：`S2_kv_q4`（ 14.9G ），gen 几乎不掉，KV 量化到 q4_0 是性价比最高的调整。
- **不要踩**：`S3_kv_q6` 当前 build 不支持；`S5_layer` 分层切分导致 gen 暴跌到 29.7 。
> 场景：2 槽位 / 192K 上下文。单位 tok/s 。
| 变体 | 关键差异 | prefill (1024 / 8k / 32k) tok/s | gen (1024 / 8k / 32k) tok/s | 峰值 VRAM / 卡 |
|---|---|---|---|---|
| **S1_base** | tensor 1,1 · q8_0 KV · b16384/ub2048 · t32 · **MTP d2**（当前配置） | 521 / 1150 / **1053** | **54.1 / 51.6 / 51.9** | 16.3G |
| S2_kv_q4 | KV q4_0 | 512 / 1145 / 1049 | 52.6 / 54.5 / 49.3 | **14.9G** |
| S3_kv_q6 | KV q6_k | ❌ 启动失败（该 build 不支持 q6_k KV ） | — | — |
| S4_ts_5545 | tensor 55,45 | 493 / 1070 / 950 | 50.2 / 52.0 / 48.6 | 18.0G / 14.3G |
| S5_layer | layer split | 529 / 1095 / 1100 | 37.3 / 39.1 / **29.7** | 16.7G / 22.3G |
| S6_b32768 | batch 32768/ub4096 | 490 / 1143 / 1037 | 47.5 / 54.5 / 50.8 | 18.7G |
| S7_t48 | threads 48 | 518 / 1147 / 1046 | 53.3 / 50.5 / 51.0 | 16.3G |
| S8_mtp1 | MTP d1 | 519 / 1148 / 1047 | 46.6 / 48.1 / 43.0 | 16.2G |
| S9_nomtp | 无 MTP | 621 / **1281** / 1136 | 33.5 / 33.6 / 31.3 | 14.3G |
| S10_ub1024 | ubatch 1024 | 512 / 1122 / 1039 | 47.2 / 51.3 / 50.6 | 15.2G |
## 结论速读
- **甜点（ gen 最高）**：`S1_base`（ MTP d2 ）综合最强，gen 稳定 51–54 tok/s 。
- **prefill 最高**：`S9_nomtp`（无 MTP ）达 1281 tok/s ，但 gen 只有 33 tok/s — 用 prefill 换 gen 不划算。
- **最省显存**：`S2_kv_q4`（ 14.9G ），gen 几乎不掉，KV 量化到 q4_0 是性价比最高的调整。
- **不要踩**：`S3_kv_q6` 当前 build 不支持；`S5_layer` 分层切分导致 gen 暴跌到 29.7 。
20 days ago Replied to a topic by cwwx2022 › 问与答 › 现在买 U 都只能一百一百的买吗？听说风控非常变态 |
小额多批次，币商会帮你规避风险的。
Jul 11 Replied to a topic by fanghaydn › 职场话题 › 浙江县城小学校长收入如何？ |
收入没多少，看权利下有多少人。
逢年过节，职称晋升，学生插班，等等等等。
反正低于 60w 一年，那只能说他混的不咋滴。
逢年过节，职称晋升，学生插班，等等等等。
反正低于 60w 一年，那只能说他混的不咋滴。
Jun 26 Replied to a topic by lllanie › 苹果二手交易 · 验机 · 估价 › 想知道二手 23 年款 MBP 现在值多少 |
估计也就 5k 吧。
在华强北，m2 24/512 的话，4k 多。
在华强北，m2 24/512 的话，4k 多。
Select Language