tclm 最近的时间轴更新
tclm

tclm

V2EX 第 325054 号会员,加入于 2018-06-27 15:17:25 +08:00
今日活跃度排名 13991
根据 tclm 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
tclm 最近回复了
肉身出去了?
19 天前
回复了 DavidG 创建的主题 职场话题 失业半年,分享下人生低谷期
你这也没失业啊?!
108 天前
回复了 izzy27 创建的主题 程序员 独立开发好做吗?
@ruobingm 叫私域
172 天前
回复了 zzzyk 创建的主题 程序员 推荐个 mini 主机,开发用
正在用天钡 gem12 8845hs / 散热很好 / 家用场景下 WIFI 够用 / 正常使用没声音
我觉得吧,国内搞大模型除开那几家头部,可能是真下成本在搞。其他的都是套壳忽悠钱,他们不在乎你会做什么,在乎的是你的背景能不能帮他忽悠。
221 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@mkdirmushroom

嗯,感谢,那纯 CPU + 内存 进行 70B 模型推理还是很勉强的事情.
225 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@tclm
@mkdirmushroom

主要是推理效率,也不能太慢对吧,如果 CPU 跑不了 70B 的话,那内存的预算其实可以削减下来.
225 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@tclm
@mkdirmushroom

内存是 96G ( 48G 5600Hz * 2 )

我主要担心的是 8845HS 在内存足够的情况下,处理器性能是否满足 70B 的推理要求。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5729 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 06:41 · PVG 14:41 · LAX 22:41 · JFK 01:41
Developed with CodeLauncher
♥ Do have faith in what you're doing.