云 llm 越卷越便宜， mac 统一内存本地部署 32b 已经没意义了

[crocoBaby]

硬件成本对比云 llm 已经没法比了，但是看了一眼二手市场 mac mini 依然高居不下

[qazwsxkevin]

其实你应该反边界思考，云 LLM 做不到的需求，还是很大的。

[crocoBaby]

@qazwsxkevin 除了 nsfw 没想到别的了

[xjoker]

隐私部署还是要的

比如人事部 财务部
资料不能外泄

[crocoBaby]

@xjoker 一般都签保密协议采购云 llm 吧

[xjoker]

@crocoBaby 没必要呀 真泄露了你没办法证明是不是它泄露，君子协定

[EdwardKot]

最近也确实有此疑问，但是我还是部署了 asr 、ocr 、35B-A3B ，有些小钱能省（但是主要是手头现有的内存还算大，如果是新买专门用于本地部署的肯定不会）

[xing7673]

mac mini 价格高早就不是本地 llm 需求驱动了，2-3 月还是，但是 4 月后就绝对不是了。

[crocoBaby]

@xing7673 是什么

[crocoBaby]

@EdwardKot 别说为了 ai 特意买大内存的想法没有了，连为了 coding 买的大内存的想法也没了

[slowman]

回到大型机时代了

[crocoBaby]

@slowman 确实，也只能这样了

[xing7673]

@crocoBaby #8 存储上涨，苹果备货清完了 SKU 都卖完了

[YaakovZiv]

私有化部署，目前的接触比较多的是两份财务统计的场景。医院信息科的测试场景。

[crocoBaby]

@xing7673 那只好等新款 macmini 了

[crocoBaby]

@YaakovZiv 刚需使用场景

[magichan]

数据安全性在很多公司具有一票否决权，

就像 5 楼说的，数据泄密是很难被证明的， 而且很多公司要求的不是泄密后有赔付，而是不泄密。

[lookenghua]

云 llm 越来越便宜,但是很多破限的模型也不支持,其次云端有延迟,对于敏感的用户很烦的,本地又不是非要跑那么大的,比如语音输入就很小适合本地跑

[conge]

@YaakovZiv 我在医院工作
我们医院买了保密的 Gemini
只让用 chat ，不开放 api ，
说是可以处理敏感信息的。

[AsukaShen]

@crocoBaby #14 新款铁定涨价，估计最低 5999等等党一败涂地

[crocoBaby]

@AsukaShen 如果跟二手的 2024 款 m4 对比,其实还是划算的

[since2021]

专用的 AI 一体机不是很贵嘛

[lujiaosama]

@conge 你这医院不是国内的吧。

[ktyang]

本地部署的需求永远都在，只是说你不是这方面的用户。

[Sezxy]

@YaakovZiv #13 OP 说的是 mac 统一内存本地部署，你这种场景应该是机房私有部署吧？

[faceRollingKB]

对于有些公司业务来说，把模型部署在其他公司的服务器上本身就是不可接受的风险

[Cabana]

现在大公司都在搞超节点，个人只能看个热闹了

[msg7086]

「签保密协议」的保密等级有限。真正保密等级高的，要么自建开源模型，要么自建机房然后让对方进驻。
比如我司的云计算产品，别人要采购，他们可能是自己建一个保密机房，然后我们的人进去部署好整个云计算环境，然后他们用。我们这边要访问机房里的环境，必须要政审拿到权限才可以进。要 debug ，得他们的人连上服务器，然后和我们共享屏幕，我们指导对方怎么查日志找问题。

[kkwa56188]

找 Kimi 改简历改出别人的真实简历， 这种事情发生一次就够说明问题了

[Topmax]

mac 部署本来性价比也不高

[lscexpress]

我的 mac 是 64g ，我都不考虑本地部署。

[MoonLin]

@msg7086 私有化部署我经常见，无法访问机房环境的客户我也天天打交道，但是需要政审访问机房环境闻所未闻，你们甲方这么大权力随便发协调函查档案和无犯罪证明？并且组织部还乖乖配合审查？

[hafuhafu]

本地部署小参数本来就是个人折腾着玩的。
公司数据敏感私有化也和 Mac mini 没啥关系。
这东西价格高可能还是因为很多人其实没接触过好奇加一些营销号宣传吧，加上虽然价格不低，但是还在一般人相对可接受范围内。
像 DGX Spark 对于大众就没啥讨论度了哈哈。

[wy315700]

@crocoBaby #4 保密协议有用就不会有间谍了。

[fcten]

32g 开个 codex 都不一定够用...这就没意义了？

[msg7086]

@MoonLin 是啊，甲方是美国联邦政府和美国国防部。

[wcwcxiaobin]

比如你想下载一个 电影，但是云 llm 肯定会拒绝帮你找资源，但是。。。

[cvooc]

个人使用的自部署需求量很低了, 但是企业还是存在的, 当然此时都是起手百万搞私有化了, 跟 mac 没关系了.

[iugo]

现在小模型智能不足, 微调不够普及. 今后的随身 AI 助理可能是:

1. 白天的信息全部储存在上下文. (推理/工作)
2. 晚上针对白天的信息进行微调. (微调/睡觉)

如果要切换新的 AI 助理, 就 "老带新" (类似蒸馏), 以确保知识迁移.

[17681880207]

你要从正经的角度来说，我也赞同你的观点。

因为类似 dgx spark 这种东西，说实话，部署一个 120b 左右的模型，说实话也就干点杂活，但凡是正经的做点事情，效果很差，而真正需要干活的例如医院，其实自己都有部署自己的算力集群，可以部署更大的模型，做到 100%离线。

在和 nvidia 线下交流会的时候，我冒犯的问了 nvidia 员工这个困扰我很久的问题，我很想知道 dgx spark 这种个人/边缘算力机器的东西到底是干什么的？你们的目标是谁？或者真正的 typical 场景是什么？
他倒也坦诚的表示，这东西的定位其实就是很模糊和小众，其实本质上就是当年疫情的时候，在美国很多离线办公的人，公司买来配给员工的，现在其实也不是他们主要的销售产品。

现在这台 dgx spark 搞了个 frp ，已经被我拿来做物理云服务器了，挺不错。然后跑了个 qwen3.6-35b 的模型，用来整理一些文档，仅此而已。

[AmericanExpress]

@msg7086
这种 gov/drcc region 出问题 debug 真的烦死人 而且大概率遇到一个啥都不懂的 operator

[txydhr]

说隐私保护的有点跑题，隐私分为非核心商秘（比如大部分行业的客户隐私）和核心机密。大部分都属于前者，所以保密协议可行。

[MMnv8DuECn968UX9]

https://github.com/drumih/turbo-fieldfare

Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook

[cuixf]

工作的话本地确实已经不如云了，但是要是玩的话，尤其是自己进行点微调训练，本地还是有优势的

[cuixf]

涨价了，一台至少涨了五百块，我还是买的贵点，估计得涨了有八百块左右

[autumncry]

企业落地没有人愿意云算力的，哪怕本地贵很多。
这些私域数据是企业的命脉，一旦某些关键数据泄露，可能直接关系到企业存亡
这也是为什么开源一定是 llm/agent 落地推进生产的关键，闭源 api 是永远没法落进实际生产环境的

[liushuang]

做工具这边的体感是，个人往本地跑的意愿确实在降，但主要不是模型差多少，而是现在 agent 、上下文管理这套工具链基本都按云端 API 优先设计的，本地模型再能打，配套生态跟不上用起来还是别扭。个人这块云是赢了，但企业私有化完全是另一套逻辑，动辄百万起，跟 mac 这种消费级硬件本来就不是一回事。

[CziL]

本地 llm 需求只会越来越大，延迟、隐私、安全就是 云 llm 无法解决的

[BlueSkyXN]

脑子抽了用 Mac mini 跑 LLM 本体
正确用法肯定是最合适的执行环境啊，当年养龙虾也没叫你本地跑 llm
最适合跑 llm 的最便宜的设备是 dgxspark

[woctordho]

每个人头上都有一个大脑，所以每个人手上都有一个智能达到大脑甚至超越大脑的设备是天经地义的

[terence4444]

微信读书不要钱的时候，也有人说可其它电子书都没有意义了。
外卖大战的时候，已经有人说可以不用再去实体店了。

等这波大战过去，开始收割时，本地 LLM 还是会再次流行起来。

[techmale]

Jesus Christ... Tunnel vision all the way!

[spark]

楼上的各位别争了，Mac mini 就是被硬炒上去的，你真用过它跑模型做业务么？就算是 LLM wiki 我都嫌本地模型蠢。更别提那个吞吐量了。

[GeruzoniAnsasu]

本地 LLM 确实是无意义的，但本地 AI 应用还亟待开发。我更期待手机上什么时候能上 32G 以上的内存

[alexluo1]

我已经后悔把 m3 max 64g 换成 m5 max 128g 了，哎

[GyroZeppeli13]

其实耐心就好，本地部署 LLM 总会有这个需求。有这个需求自然技术就会迭代，成本也会下来。比起云服务肯定会高，但最终会回归到一个合理的价格区间内。

[ryd994]

@MoonLin #31 说明你没见过政府用户。各大云都有政府云业务。还有欧洲区涉及 GDPR ，也需要分开运营。国外云厂商在中国必须由中国公司代理运营。这些都是不能直接访问的，必须通过代理公司和监管系统访问。

[crocoBaby]

@alexluo1 能跑 70B 了吧，应该是比较实用的参数量级了吧

[ajaxfunction]

用户群体不一样啊，做毛片的肯定要用本地部署

[unpay]

本地模型 哪怕是 32B 部署起起来也不便宜。。。

[felixcode]

私人的本地 llm 是用来发朋友圈、小红书炫耀的，瞬间成为资深 AI 专家

[lishunjie]

本地模型我用来做语音转文字、图片 OCR ，很好用，省云端 Token

[MoonLin]

@ryd994 没见过政府用户哈哈哈，我就是你所谓的“几大云”的员工，本想自证想想也没必要你爱信就信不信就当我放屁。

一次政审流程需要牵头部门给多个部门发函协调，就为了查个日志？你们政府业务不是让甲方用光盘和 A4 纸打印日志而是让甲方走政审流程？我都好奇你是哪个云厂商是这么玩的。哪怕天翼云这种国企我刚刚找前同事打听了一下也没听说这种操作。

另外你说什么欧洲更离谱了，欧洲公司都能操纵中国配合进行政审了？

[ryd994]

@MoonLin 呵，巧了，我也是，呵呵。按全世界的市场规模算天翼云算老几？

“就为了查个日志？”
你就没协助过政府云查过问题？就是为了不需要所有人都过政审，操作私有云有专门的团队。根据规定的级别不同，有的可以直接操作但需要有审计员监控，随时拔线。有的只能你说我猜，输入输出都只能由操作员执行。日志有预先审核过代码的，那些可以直接看。如果是需要执行命令采集的，那就需要由操作员脱敏、审核后才能邮件发给你。

“欧洲公司都能操纵中国配合进行政审了？”
说明你们公司在欧洲没业务啊。是我们公司要配合欧洲政府审查。因此欧洲区由欧洲公司代运营。

[MoonLin]

@ryd994 所以说了半天你其实并不知道“政审”是什么对吧？政审是政治审查，审查的是你的档案、无犯罪记录和党关系，甚至包括你的直系亲属的上述三件套。你说的这些跟政审有半毛钱关系吗？

“是我们公司要配合欧洲政府审查” 我还真没听说过欧洲政府能开出无犯罪记录协调函来，你们业务广泛啊。

[William337]

deepseek-v4-flash-0731 中转都能去到官方 1 折了，还本地跑干嘛

[ryd994]

@MoonLin 真是无语了。政府不是只有中国政府。政府云也不是中国才有。govcloud 了解一下。这年头，哪国都有的，多少比例而已。

你厂在国内可能算个大厂，但在国际市场上根本排不上号。public cloud market share 自己搜一下，你厂排老几？

至于中国区，中国规定通信行业属于关键产业，必须由国内公司运营。光环新网，世纪互联，就是为国外公司提供代管服务的国内公司。

类似的，控制政府云的当然必须是该国公民和本土公司。这些代管公司就是干这一行的，过不了政审的人根本就不可能入职。你说的这番话，因果关系就反了，是政府先提出要采购云服务，招标立项后才成立的代管公司。政府不协助代管公司政审员工，那采购的还有什么意义？

[ryd994]

@MoonLin “我还真没听说过欧洲政府能开出无犯罪记录协调函来”
什么 SB 逻辑？就你国有政审？访问哪国的政府数据不要背景审查的？

为什么要开协调函？想啥呢？能访问欧盟数据的必然只有当地代管公司的欧盟公民员工啊。欧盟政府审查欧盟公民，和中国有什么关系？

我厂配合审查是审查相关流程、安全设计。我们这些员工也不是完全不用审，但是标准就低很多了。毕竟有代管公司看门

[MoonLin]

@ryd994 你不如说说，你说说你经历的政治审查步骤是什么？如果你没经历过政审，你见过的政审步骤是什么，我真的好奇你知道什么叫政审吗？
我感觉你连政审是个专有名词，审查的是政治面貌家庭出身你都不知道，你能给我回复这么多也是了不起。

而且很有意思的是你都不知道我是哪个公司，怎么会反复强调我司排不上号，我看了看 public cloud market share 我司排老 5 ，想说明了什么？说明我司因为全球份额比较低所以我没见识？

[ryd994]

@MoonLin 谁和你讨论政审的过程了？从一开始讨论的就是为什么要需要私有云/政府云/主权云。我本人没经历过政审/背调，不代表我没见过或者间接操作过政府云/主权云。我就有同事有美国政府的 security clearance 。

当年为了争政府合同，公司还多招了一批退伍或者有过 clearance 的人。技术无所谓，有 clearance 就行。为的就是方便 debug ，这些人可以不用经过操作员就直接访问政府云。他们可以解决一些简单的故障。我们指导他们 debug 也比指导操作员容易。

“我看了看 public cloud market share 我司排老 5”
那不就是了。我知道你在中国公司啊。云计算国际市场占有率前三的就没有中国公司。云计算行业规模效应极其明显。除了前三都是弟弟。
这三家都是有（美国）政府云业务的。还是那句话。背景审查哪国都有。而云计算是不可能有两套技术团队的。所有云厂商的解决方案都是一套技术团队配各种操作员和合规团队。

[MoonLin]

@ryd994 所以我只想问，你连“政审”二字都不知道什么意思，你是怎么有勇气打这么多字的？

[ryd994]

@MoonLin 就中国有政审是吧？坐井观天
自己去看 35 楼 msg7086 的回复。真 TM 浪费我时间
已 block 勿回