 |
StopWaringV2EX 第 636976 号会员，加入于 2023-07-03 22:34:25 +08:00今日活跃度排名 19949 |
StopWaring 最近回复了
18 小时 4 分钟前 回复了 W3Cbox 创建的主题 › 程序员 › Gemini 2.5 Pro 代码水平已经能与腾讯 T7 相媲美了 |
.
4 天前 回复了 StopWaring 创建的主题 › Local LLM › 目前本地部署比较好的大模型有哪些 |
@coefuqin 大佬 、3090 是不是就只能用 llama.cpp 不能用 sglang
4 天前 回复了 StopWaring 创建的主题 › Local LLM › 目前本地部署比较好的大模型有哪些 |
@coefuqin 大佬，请教一下，unsloth/Qwen2.5-Coder-32B-Instruct-128K-GGUF q8 里，unsloth 是什么意思？另外 vlmm 部署和 llama.cpp 哪个好点？
4 天前 回复了 StopWaring 创建的主题 › Local LLM › 目前本地部署比较好的大模型有哪些 |
@m1nm13 试了下这个模型 占用 42G 显存....
4 天前 回复了 StopWaring 创建的主题 › Local LLM › 目前本地部署比较好的大模型有哪些 |
@beginor 具体是 32b 哪个版本？ 我 vllm 试了下 32B 跑不起来 显存不够
4 天前 回复了 StopWaring 创建的主题 › Local LLM › 目前本地部署比较好的大模型有哪些 |
@m1nm13 dalao 没找到 qwen-coder-qwq 的模型啊，有链接吗
4 天前 回复了 StopWaring 创建的主题 › Local LLM › 目前本地部署比较好的大模型有哪些 |
@m1nm13 啥是 QWQ AWQ ？
4 天前 回复了 StopWaring 创建的主题 › Local LLM › 你们都是使用什么方式运行本地大模型的 |
@crac 嗯 其实主要是想了解下除了 vllm 之外还有没有别的方式，ollama 就不说了
4 天前 回复了 StopWaring 创建的主题 › Local LLM › 目前本地部署比较好的大模型有哪些 |
@beginor
48G 显存建议跑用 llama.cpp 量化的 Qwen 2.5 Coder 32B 。
如果还富裕的话可以再跑个 3b 的 coder 做代码提示，llama.cpp 有特供的支持
我试一下 这是更好的选择了吗
48G 显存建议跑用 llama.cpp 量化的 Qwen 2.5 Coder 32B 。
如果还富裕的话可以再跑个 3b 的 coder 做代码提示，llama.cpp 有特供的支持
我试一下 这是更好的选择了吗
Select Language