在自己家里搞了个本地大模型基座, 实现了应用内接入 AI 自由.

[wises]

48G 内存小主机, 通过外接显卡埠一个 5070TI 的 16G 显存,经过 claude 的优化分配. 家里内网的一些应用直接局域网接入, 外部通过一个公网域名发布, 给一些广域网上跑的应用接入了 AI, 很好用, 模型是 qwen3.6-35, 基本应用内的一些对话和调用已经足够使用.

期待显卡大降价, 这样我就可以自己开算力中心,小型的可以给朋友用的那种.

用来检索一些大型的单证, 和客户分析,只要不并发太多, 足够了

我也做了个统计面板, 这是 token 数量.

[soleils]

速度如何

[wises]

@soleils 和显卡配置有直接关系, 显存越大肯定运行的模型越强, 不过目前这个显卡勉强能用,用来文字,图片处理, 一些在线客服足够用了.

[YanSeven]

比较好奇这个档次的本地智力是属于在原有的应用能力上“聊胜于无，锦上添花”还是发挥了核心的作用。

[wises]

@YanSeven 这么说吧, 如果企业中应用了这个, 用来处理大规模数据还是有用的, 比如文档/单证/会计律师事务所这些单证比较多的还是足够的.

[soleils]

@wises #2 我是说你这套能多少 token?

[ostrichb]

企業還不如直接買一個 DGX Spark 跑，不缺錢買這個

[jinsongzhaocn]

最近几个月折腾硬件不划算，内存涨疯了，动不动就 1 万以上

[coefu]

2026 年的 LLM ，就算是 qwen3.5 9B ，也是比 v 站 99.999%的人综合实力高。它比的是顶级（若干个领域的顶级博士集合）差，不是比只有单领域本科的大众差。


自己了解下那些 LLM pk 用的 benchmark ，大部分人，估计拿 1 分的能力都没有。

[fe619742721]

我关心的是这个尺寸的模型，基础的文档/单证场景会容易出错吗？

[kenshinhu]

想问一下，这个是否 通过本地分析问题之后调度不同的模型进行处理的？

[defunct9]

只有一个模型噻 @kenshinhu

[klc]

@coefu 在云 API 规划+本地执行这个场景来说，qwen3.5 9B 真不怎么样，极限量化的 Ternary Bonsai 27B 比它要好。TB 27B 是能干活但偶尔会有问题（云 API 会复核兜底），9B 的话稍微复杂一点的操作它就干不了了，小参数模型承受不了太长的逻辑链。

现在换成 Qwen3.8 27B 就更稳了，昨晚 GLM 不小心让它直接 review 30+个文件早上一看居然也干成了，真的不可小覷。

[elboble]

上下文空间？

[crime1024]

统计下电费如何，据说显卡也是有寿命的。。

[coefu]

@klc 🦀，bro 。

我们不在一个频道上。

“比较好奇这个档次的本地智力是属于在原有的应用能力上“聊胜于无，锦上添花”还是发挥了核心的作用。”

我是这个观点的频道上。

GPQA Diamond ，qwen3.5 9B 81.7 。了解一下这个数据集就知道；人类表现：领域人类专家的平均准确率约为 65%，非专家（即使拥有完全的网络访问权限）平均准确率仅为 34% 左右。这里有几个是这 1/34% ？