AI 需求，主机配置推荐， 2024 年准备 all in AI

[suqiuluck]

网上看到这套配置，值得入吗大佬们，你们都是啥配置的，显卡值得上 4090 吗？ CPU：Intel 13400F 主板：华硕 B660M 重炮手 显卡：七彩虹战斧 RTX4060Ti 16GB 内存：光威 3200Hz 16G×2 固态：三星 990PRO 1TB 电源：酷冷 GX650 散热器：利民 PA120 SE 机箱：先马鲁班 1

[fannas]

直接买云服务比较划算

[Bluecoda]

这有啥用？外面租个有专业显卡的机器不香？更不用说现在还有 groq ？你那个破 4060 ，还一张，能干啥？
Mistral 7B 跑在 groq ~480 tokens/s $0.27(Price per 1M Tokens)的价格，不比你这小机器香？

玩游戏就好好玩游戏好了

[ohuo]

@suqiuluck 目前用的 2080TI SD 一般的模型都没啥问题，一般 5S 一张图吧。准备再去魔改一下，应该可以玩常见的所有模型吧

[shockingFly]

就这，你 all in AI ？

[PeneceaQwQ]

虽然但是，看你这个描述就是图一乐的需求
纯图一乐版：p102 ，加显存版，三五百
进阶图一乐版：2080ti 魔改 22g 显存，记得别买涡轮卡的，猛禽、七彩虹、微星都行，两三千
进阶 pro 版：4060Ti ，16g 显存
富哥图一乐版：4090 ，24g 显存，一两万


SD 的实测速度，一个插件测的，各用户传的：
https://vladmandic.github.io/sd-extension-system-info/pages/benchmark.html

[PeneceaQwQ]

@chesha1 #89 autodl 得避开毕业季，最近一水做毕设的，天天占满了，偶尔才能蹲到

[zhangdp]

All in ？？？这配置玩游戏都算是入门的。。

[Hansee]

4060 肯定是不够的，我现在 4090 都不够。
Cpu 也太低了，至少 i7 吧。
硬盘也不够，模型都很大。我本地模型七七八八都快 2T 了。
内存也不够。
你这个是配来打游戏的吧。

[logic159]

@esile #94 我的不是因为运行过程中高温炸的，是为了清灰搬机箱的时候放地上就炸了，目前已经换成了防尘网

[suqiuluck]

@Hansee #108 富哥，你电脑配置是不是 2w 了

[suqiuluck]

@zhangdp #107

[suqiuluck]

@PeneceaQwQ #105 这个测速不错，可以参考下

[suqiuluck]

@shockingFly #104 图一乐

[suqiuluck]

@xjhou00007 #98 get 了

[shm7]

这配置 乍一看 我还以为是 4 年前的帖子...

[leesin8848]

直接买服务器吧

[MadDoggy]

借楼问下 4060ti16g 有啥推荐的牌子吗

[c4fun]

这配置只能说浅尝辄止，离 All In 差远了。

4090 卡主表示单卡训 LoRA 都吃力，现在一直在想两张卡，一张训练一张推理。

[xieren58]

没个几十万, 玩不起...

[anjingdexiaocai]

魔改 2080ti 大显存貌似可以

[Betsy]

借楼问下，哪个大模型可以在个人 pc 上玩一下，主要想体验下完整的大模型训练过程。

[hepin1989]

你好，不是应该用 MacStudio 顶配？据说跑 SD 起来更快。

[momo1pm]

你这打游戏醒置，或者说打游戏都不够顶配

[momo1pm]

@suqiuluck 打游戏顶配都不止两万

[gaozizhong]

ALL IN AI 不一定要先搞装备，切记差生文具多

[crackhopper]

我个人预判还能凑合跑一些图（仅仅做一些推断），但应该比较慢。

4070 ti super 我用着的话还可以，不过那个机器只用来跑图，不做别的。4090 ，我也入手了，4090 可以勉强做一些 LoRA 微调。主要点：机箱弄大点，方便后续添东西。电源功率高点，免得负载上不去。散热看情况弄，差了自然也是有问题的，不过那个主要看 CPU 负载。另外，GPU 卡都这么贵了，主板 CPU 内存也得上来吧，要不然 IO 方面的瓶颈或者 CPU 不够导致性能发挥不足，岂不是浪费。总之，照着 2 万以上来配电脑可能更加好一些，别想着太便宜了。（如果 4090 ，照着 2.5 万以上配吧）

至于全量训练啥的，就别想了，不是个人玩得起的，至少 8 卡吧。

[unbridle]

玩游戏可以 ddr4 ，跑算法最好还是上 ddr5

[lunafreya]

@Betsy 玩 inference 不难，training 难。
我从零训练过 DiT, 用了 64 个 A100 大概 0.27s 传一次梯度，20000 步能出能用的图，但是 1M 分辨率的图像最好还是来个 1M 步，整个流程 train 一次如果用 aws 大概是 40 万刀。这还没算 VQGAN encoder/decoder 的训练开销

[kneo]

all in ai ，然后了，买个 4060 画图？想玩玩画图就画图呗，别扯什么 all in 了

[sampeng]

想玩游戏你就直说。。。