V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  tommyshelbyV2  ›  全部回复第 2 页 / 共 7 页
回复总数  123
1  2  3  4  5  6  7  
@z1829909 就是做业务发现也就那样,想看看端侧小模型能不能解决非常具体的问题,然后通过这个来搞点副业
@Aily 哈哈哈哈哈
@Donaldo 这个确实,公司业务用的双 4090 方案,跑 72b 都很不够。
其实感觉跑本地模型也是伪需求。小参数的模型性能更差了。也干不了啥。最重要是哪怕跑出来模型,最后部署服务也是要上服务器。
本来也有想过做点 AI 应用的副业的,但是现在其实 AI 的能力非常有限,更重要的是需求难找
@succ0520 我也想的,哈哈哈,但是怕在加一会这预算都没了
@dododada 3090 我搜了一下,感觉可以,目前看起来是最优解,有 24G 的显存
@ssiitotoo 不违心的讲,是的
@Donaldo 这个我搜到了,有在考虑,我看 3090 的 24G 也能拿下,正在看咸鱼
@killva4624 挺喜欢玩 3d 的,比如黑马喽
@heftyMan 别急嘛大兄弟,世界上总有跟你情况不一样的哈哈哈
@coffeesun 那嫂子不错啊
@fxxkgw 没玩梗哈哈哈,也还好。家里她管钱
公司里面用来做离线大模型的推理的设备,配置了两张 4090 ,使用下来感觉都不太够。
其实心里还是有点纠结这点,哪怕买了显卡,自己本地推理还是不太够,撑死了玩玩一些小模型,也不能对外提供服务
@LCheng 4k 都可以吗,这么顶,那推理模型哪些 OK 不
@ijrou 确实,这个也就是我纠结的原因,老哥说到点子上了,感觉买手机的话 有点违心了
@woodfizky 确实,现在的 cpu 也是 5600x, 32G 的内存,主板也是很水的,一升级其他也想升级哈哈哈
@tangchi695 老哥有经验啊,不过我已经入套了,早知道也和你一样了
@xiaoxixi 这个思路没想过诶,不过我还在开发 ios app 。不过好像也不是不能够妥协下
@oppoic 啥种人 我这种吗哈哈哈
@dust0522 我现在的只有 500w, 那我得在看看,看能不能多搞点预算哈哈哈
@dust052 可以我去看看,50 系出来,这个预算还能再上一档吗
1  2  3  4  5  6  7  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3173 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 12:34 · PVG 20:34 · LAX 04:34 · JFK 07:34
Developed with CodeLauncher
♥ Do have faith in what you're doing.