本地跑大模型代码助手还挺好用 songray • 78 天前 • 最后回复来自 tabc2tgacd | 6 |
gemma2 2B 一键整合包(2.3G),能力超过 gpt3.5, cpu 也能跑得飞快 mumbler • 50 天前 • 最后回复来自 Pepsigold | 7 |
mac mini 24g 大模型推理怎么样 ChipWat • 119 天前 • 最后回复来自 xing7673 | 27 |
关于在本地部署开源模型的一些问题请教 ddvswgg • 120 天前 • 最后回复来自 CynicalRose | 9 |
intel mbp 有办法用 gpu 给 ollama 提速吗 Vitta • 120 天前 • 最后回复来自 Vitta | 6 |
win&mac 下开箱即用的本地大模型+知识库,支持数十种开源模型 mumbler • 105 天前 • 最后回复来自 mumbler | 18 |
Llama3.1 8B 本地部署抢先体验, win&mac 一键启动整合包,图形化界面+知识库 mumbler • 138 天前 • 最后回复来自 kangfenmao | 23 |
ollama 本地模型 GPU 跑不满 CNYoki • 140 天前 • 最后回复来自 clemente | 12 |
Tesla V100-DGXS-32GB 这张卡能用来跑 ollama 或者 vllm 不? idblife • 77 天前 • 最后回复来自 woscaizi | 2 |
本地跑 sd 和 local llm 推理, 什么显卡性价比最高? cinlen • 163 天前 • 最后回复来自 crackidz | 38 |
求推荐能同时链接 chatgpt 和 ollama 的 webui qweruiop • 146 天前 • 最后回复来自 kangfenmao | 3 |
有什么高性价比的开源大模型体验和生产部署服务? wencan • 183 天前 • 最后回复来自 bkdlee | 7 |
分享一下自己训练的大模型 Azure99 • 107 天前 • 最后回复来自 1Q1 | 53 |
支持不同显存显卡的推理加速框架 whyorwhynot • 195 天前 • 最后回复来自 whyorwhynot | 4 |
使用 llama3:70b 本地化部署, 100 人左右的并发,大概需要多少块 4090 才能满足? leeum • 155 天前 • 最后回复来自 keakon | 52 |
现在买 3090TI 玩 AI 靠谱吗 Tuatara • 202 天前 • 最后回复来自 glouhao | 91 |
请教各位,开源的 AI 模型需要什么样配置的机器?比如图像类啊大语言模型啊语音类啊都想玩玩 fushall • 209 天前 • 最后回复来自 AlexHsu | 14 |
折腾 Llama3 跑在 NAS...结果确实一言难尽 CoffeeLeak • 221 天前 • 最后回复来自 lchynn | 6 |
llama 3 发布了,我感觉挺猛的... t41372 • 140 天前 • 最后回复来自 kangfenmao | 12 |