2 万块以内，可以本地部署的最好的模型是哪个？

[jedeft]

不考虑输出速度的情况下

[yidinghe]

看看 strata 这个项目，就很适合。

https://github.com/Niko1221/Strata

[levn]

glm5.3 flash > qwen3.8 next > qwen3.8 27b

[strobber16]

得加钱

[defa21312]

qwen3.8flash ？据称超过 27b 了，需要 12g n 卡+128g 内存 freetoken 推理，2w 还是能拿下的，decode 速度不比 27b 慢，但是 prefill 速度很慢

[penisulaS]

mac 的解决方案：Qwen3.8-Flash-Next-REAP-288-oQ4e-BF16-MTP-PLE

[jedeft]

@penisulaS 生成质量怎么样？

[alexjoker467]

可以看看这个项目： https://github.com/ReDChicagOTypewriteR/ShotAI

[monk66601]

@yidinghe 用了 1 天了，用破限模逆向很不错

[uprit]

@levn glm5.3 flash ，2 万块能跑起来？具体说说啥配置啊？

[levn]

@uprit https://github.com/mw00/project-maya