怎样部署 ai 大模型然后训练他

[eedh]

本地电脑，用数据库训练

[mixuxin]

你说的可能是微调？

[qwzhang01]

lamafactory 训练
vllm 部署

[dlmy]

你是认真的吗？

我在本地电脑上用 ollama 部署了 deepseek-r1:7b ，就是个反应迟钝的玩具

[qwzhang01]

我看了下内容，如果按照微调思路回答的话：
1. 本地电脑要看什么显卡，显卡对应的 Python 版本、coda 版本等等环境还是比较麻烦的，如果是实验可以按小时组一些 GPU 试试，环境最好现成的。
2. 数据库训练，也就是使用自己数据库里面的数据，这个要根据你训练的模型以及使用的框架构建数据，可能要对数据库做下转换，不过这个也简单，直接让大模型出代码就行

目前只能回答这些了

[PandaIsGood]

自己部署跑着玩可以弄个 lm studio ，mac 这种统一内存就比较方便

[CEBBCAT]

之前听过一些厂商来宣讲，主要讲的就是怎么用他们的云服务来便利地微调，忘记是哪家了，楼主可以了解下（但个人不爱阿里）

---
@dlmy #3 不可以翻译吗？我现在用的沉浸式翻译是 glm 4 9b chat 模型，我看效果还行，比肩内置 Google 翻译水平了

[gaobh]

你再说啥，本地就部署一套 dify 调 api 玩玩就行了

[tcper]

一个非常大的疑问就是，你训练出来的模型如果比市面上的都差，怎么办？

[cheng6563]

训练个屁，个 7b 模型本来就弱智，再训练赛点东西进去更弱智了。

[richarddingcn]

你数据库数据是想 rag 还是真要训练

[qiancheng]

真想弄就去闲鱼找个人帮忙，花不了多少钱 甚至都不需要 GPU

[BlueSkyXN]

你有这钞能力吗，存疑

[msg7086]

之前有个小姐姐想给男友训练个自己口吻的聊天模型，在谷歌上基于现有模型跑了个简单的微调，第二天收到了 11 万人民币的账单。