V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  wwhc  ›  全部回复第 1 页 / 共 29 页
回复总数  569
1  2  3  4  5  6  7  8  9  10 ... 29  
重度运行本地大模型的 Mac 要选用 M? Ultra ,即使是 M1 Ultra ,也强于任何世代的 Max 型号
@Jiajin
@junwind
不依赖别的工具,本地部署的 Qwen3.6 27B/35B 也能达到 GLM 的水准当使用“帮我生成一个天气查询 H5 应用”这个提示词
楼主的测试有偏差,本地部署的 Qwen3.6 27B/35B 使用楼主的提示词都能生成达到楼主图中 GLM 的水准的代码渲染,本地部署的 gpt-oss 120B 倒真是惨不忍睹,生成的的代码渲染出的页面没法看
差一点就能赶上 Qwen3.5 了
Qwen3.5 是适于本地部署的开源模型中最强的,Google 昨天新发布的开源 Gemma 4 模型也仅仅是追上 Qwen3.5 而已
罚太少了,我建议至少 5000 起步
Token 自由的感觉蛮不错
经验是用一到两块高性能大显存卡如 3090/4090/5090 ,再加上若干便宜的中低端卡(8-16GB 显存),把所有层都放进显存(能容纳的上下文越多越好,256k 大概需要 60GB 显存以上),尽可能多的把专家权重放到显存,一般能实现 10-20t/s 或以上的速度,建议使用 llama.cpp 而不是 vllm ,以便于快速迭代及灵活的硬件搭配
本地开源模型的表现:用楼主的复杂提示词,gpt-oss-120b 一次就成功完成了. Qwen3-Coder-Next-MXFP4 用了 5 次才成功,Qwen3.5-397B-A17B-MXFP4 3 次成功完成.成品质量最好的是 Qwen3.5-397B ,gpt-oss-120b 也算可以,但确实翻页有点慢
Qwen3.5 27B 很聪明,直接判定对方更“有理”,你是在耍流氓。
3 月 7 日
回复了 Livid 创建的主题 OpenAI GPT-5.4 Thinking 依然过不了洗车测试
不至于吧? Qwen3.5 35B/27B 这样的小模型都能给出正确答案
支持开源模型,希望能尽快开源 air 版本
2 月 13 日
回复了 everettjf 创建的主题 Rust 开源这两天 Vibe 的 Rust 重写的 OpenClaw
非得要绑定社交媒体才能使用?一直在找不是用 python 开发的能离线使用的本地模型 agent
2 月 11 日
回复了 linanwy 创建的主题 分享创造 受不了 Openclaw Bug 太多,手搓了一个新 Bot
看到增加了 Web chat channel ,看起来可用了。请问是否支持运行在 llama.cpp(server 模式) 的开源模型,有没有需要特别的配置?谢谢
离线的 gpt-oss-120b 给个搞笑的回答:

简短结论

如果是自动/自助洗车(需要把车开进洗车机),开车过去最直接、最安全。
如果是手动/推式洗车(可以把车推进去),步行过去并推车会更环保、还能顺手锻炼。
2 月 9 日
回复了 everettjf 创建的主题 Rust 开源这两天 Vibe 的 Rust 重写的 OpenClaw
和上一个用 go 写的一样不使用 python 之流的依赖麻烦制造者,也是好评。同样建议增加本地开源模型的支持(特别是对 llama.cpp 的支持),还有就是增加通过 web 使用的支持,不要一定非手机 APP 不可,这样对桌面用户比较友好
2 月 8 日
回复了 linanwy 创建的主题 分享创造 受不了 Openclaw Bug 太多,手搓了一个新 Bot
纯 go 构建,不需要一堆难于侍候的 python 依赖,好评。建议增加本地开源模型的接入及能不依赖于社交 app ,通过 web 使用
本地部署的 Qwen3-next-80b 可以回答出是 Gradius III
看起来不原生支持 llama.cpp ,比较可惜
1  2  3  4  5  6  7  8  9  10 ... 29  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3604 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 62ms · UTC 04:55 · PVG 12:55 · LAX 21:55 · JFK 00:55
♥ Do have faith in what you're doing.