感觉现在的 AI LLM 趋势对苹果而言就是死局

[terrysnake]

1. 众所周知苹果最注重隐私保护，也宣传了很多年。
2. 所以苹果只能做本地大模型。
3. 众所周知模型参数越大效果越好越占空间和内存。
4. 所以苹果撑死只能做个一般的本地大模型。
5. 隐私保护的含义除了本地设备，还有禁止联网。（没错不联网就是本地的意思）
6. 当前的对话框模式，对信息的实时性其实是有要求的，用户想的是一个框搞定，不只能给我写篇文章画个画，还要能实时搜索我想要的内容，比如：告诉我 NBA 当前的最新进展，并帮我分析下哪支球队最有可能夺冠。
7. 这对苹果的隐私又是一种打击。

所以，综上所述，苹果要么就是放弃 AI ，或者放弃隐私保护。 不管怎么选，对苹果股价都没啥好处。

[justfindu]

他本地只需要运营一个能够听懂理解指令的, 不需要更多知识用来大范围知识的问答. 所以它的确可以做到, 小模型通过训练就可以做到了.

其他时候他依旧可以使用搜索来进行补充回答.

我的理解是这样的, 比如一些专门做 textToSql 的 也是小模型即可.

[chhtdd]

啊，凭啥 apple 家的 llm 不能在线？

[sakilascott]

众所周知苹果最注重隐私保护。
上一个最注重的是黑莓，然而他已经死了。

[terrysnake]

@justfindu 嗯，你说的就是弱智的 Siri 嘛

[terrysnake]

@chhtdd 我都说了，可以在线，但就不能宣传隐私保护了。当然，苹果如果真在线，肯定也会宣传自己隐私做得好，数据不会泄露，但那就和现在的本地背道而驰了。

[terrysnake]

@sakilascott 黑莓的死不能归结为隐私保护，因为诺基亚摩托罗拉也都死了……

[sakilascott]

@terrysnake #6 我没有归结于隐私保护，而是想表达，宣传隐私并没有太大的用途。

[marc2017]

所以苹果现在在把卖点从“隐私”转向“环保”。

[woxihejinghao]

相反现在 各家手机都推的是本地模型，主要处理的是本地的逻辑数据，比如抠图那些。你要问这些逻辑数据可以联网啊，现在 siri 又不是不能联网

[chuck1in]

看看这次 wwdc macOS 能更新什么东西吧。

[justfindu]

@terrysnake #4 加了大模型 它也是这样啊 你还真指望给你塞一个大模型 帮你画图学知识啊

[yvescheung]

多看看新闻吧
https://9to5mac.com/2024/05/09/bloomberg-ios-18-ai-apple-silicon/

[callmesmc]

不一定只能做本地大模型，联网和隐私又不冲突，只是苹果之前靠念叨自家是离线模型来宣传自己的隐私保护罢了

你想想 iCloud ，不也在做吗。到时候只要把大模型放在苹果自己的服务器，然后给用户数据弄个加密什么的，不久齐活了

[SeaTac]

现在的 Siri 就能联网 查天气查比分都可以
这跟隐私没啥关系

[0o0O0o0O0o]

Apple 有个 iCloud Private Relay ，这种东西一定会有隐私问题，Apple：

> When Private Relay is enabled, your requests are sent through two separate, secure internet relays.
> Your IP address is visible to your network provider and to the first relay, which is operated by Apple. Your DNS records are encrypted, so neither party can see the address of the website you’re trying to visit.
> The second relay, which is operated by a third-party content provider, generates a temporary IP address, decrypts the name of the website you requested, and connects you to the site.

Apple 提供弱密码和已泄露密码检测：

> Your device may also inform you of passwords that may have been compromised in a data leak. This feature uses strong cryptographic techniques to regularly check derivations of your passwords against a list of leaked passwords in a secure and private way that doesn’t reveal to Apple your accounts or passwords. Apple will send to your device a list of common passwords that are present in data leaks. For your passwords that are not in this list, your device will send information calculated from your passwords to Apple to check if the passwords may be present in a data leak. You will be warned about your passwords determined to possibly be in a data leak. Your actual passwords are never shared with Apple, and Apple does not store the information calculated from your passwords. You can disable this feature at any time by going to Settings > Passwords > Security Recommendations.

Apple 还和 Cloudflare 它们一起搞了 ODoH 和 Private Access Tokens：

> ODoH adds a layer of public key encryption, as well as a network proxy between devices and DNS servers. The combination of these two added elements is designed such that only the user has access to both the DNS messages and their original IP address at the same time.
> Apple never learns which app or website that you're signing in to, and can't access your browsing history. The token issuance server knows only that you passed the verification, and never learns information about your device or Apple ID. The only information given to the app or website is the private access token.

所以我觉得 Apple 更在意的是有没有办法合法地把锅甩给第三方服务，不能甩出去就推进隐私方案，并没觉得会是死局，这本来也是该领域面临的问题。

[dilidilid]

这有啥难的，让用户自己选择，可以开启增强 AI 或者只是用本地的基础 AI 。你要追求极致隐私那牺牲一点便利也无可厚非吧

[lunafreya]

利益相关，匿了。 我承认现在的 Siri 和其他智能助手比起来就是个傻逼，但是一开始它的设计目标就是完成任务而不是和用户闲聊的 chatbot ，在 task completion 方面它仍然是业界最强的(trust me). 至于以后的 Siri, let's see.

[icyalala]

@terrysnake Siri 现在也不是纯本地的，看看苹果描述： https://www.apple.com.cn/privacy/features/
“必须将信息发送给服务器时，我们使用的是随机标识符，而不是你的 Apple ID ，以此保护你的隐私。”

该担心的不是苹果不敢做，而是要担心国内 AIGC 合规条例的问题。。。

[cyll]

本地模型也可以接 function call 啊。
而且未必要做大模型，Apple 近期开源的东西也都暗示着是走小而精的模型。

[hahiru]

如果硬要本地化的话，它只需要给手机端提供一个可以自动微调模型的能力。
这么久了，内存牙膏该从 8G 直接挤爆到 80G 了。

[fredweili]

保护隐私就只能本地小模型么？那 Siri 是怎么工作的？

[tangtang369]

你可能对苹果目前的 ai 性能有点误解，现在的 llm 核心问题是本地端内存不够，加载不了模型，理论上增加内存可解

[terrysnake]

@sakilascott 有些有用，有些没用吧，不能一概而论。

[terrysnake]

@woxihejinghao 本地毛线，你用用安卓的就知道了。

[terrysnake]

@justfindu 是啊这不就是大模型吗？

[Socrazy]

本地运行小模型，处理机器内部信息，一直就是这么干的。
大模型同 Siri ，可以选择用于学习，不用于学习那就跟 Siri 一样上传呗。

[terrysnake]

@lunafreya 我觉得还没小爱同学那个弱智懂得多

[dinghow]

海外版应该是本地小模型处理基本请求 + RAG： https://www.theverge.com/2024/5/3/24148282/apple-ai-iphone-ios-18-plans-ajax
国行版可能直接用文心一言了

[8355]

其实我觉得本地模型并不是所谓的大模型，只要做好当前手机里的数据做内部学习，呼叫 siri 和快捷指令自动生成高级内容就可以更好用了。学习数据来自于设备磁盘。
这样他们只需要对苹果系统训练出一套基础逻辑即可，剩下的根据用户的使用记录和数据慢慢学习调整。
类似变速箱学习逻辑即可。

[terrysnake]

@cyll 是啊然后完全干不过别人

[terrysnake]

@hahiru 上 1T 的爱疯给你 16G 内存（狗头）

[terrysnake]

@dinghow 假消息

[terrysnake]

@yvescheung 你这新闻都说了啥？和我说的有关系吗？

[SeanChense]

端侧模型比联网模型最本质的区别是什么？
本质的区别是芯片、电力费用谁来买单。

[terrysnake]

@8355 我再举个例子：
Siri ，给我在美团点一个我最长吃的黄焖鸡米饭。

这个例子下，我肯定要把所有的数据给到苹果，甚至是第三方 APP 的服务器内我的数据。
那么，这个模型是否需要联网？如果需要的话，那苹果怎么保证我的隐私？
这对苹果而言都是挑战。

国内的手机厂商就不会管那么多了，只要有接口，无所畏惧，哈哈

[dinghow]

@terrysnake 那来点真消息看看

[xz410236056]

“所以苹果只能做本地大模型。”
谁跟你说的。。。之前的 apple 的很多服务都会上传无特征向量。。你不会以为 LLM 是传原始文本的吧

[terrysnake]

@dinghow 有真信息还猜啥

[terrysnake]

@xz410236056 能不能不要断章取义

[RealVic]

普通人的隐私不重要、没价值，只要能解决安全问题（比如建造监控网络，让坏人犯罪就被抓），裸奔都没问题。

[otakustay]

老实说我觉得问题不在这里，确实大模型是规模越大效果越好的，但放回到苹果产品的使用场景之下，我们对大模型的期望是什么，我以 iPhone 这个销量最高的为例，观点是我们并不期望能跑泛用大模型，而是期望大模型加持产品使用场景，这里如果苹果真想干，是有优势的：
1. 苹果在产品层面的整合向来是优秀的，特别是在整合后的体验上，虽然可能不满足一部分希望灵活定制的人的诉求，但从大众来看绝对是 top 的档位
2. 苹果对开发者的控制力非常强，类似于“定一个外卖”这种过程，苹果来让开发者提供相关数据和 API 到系统层，比安卓生态更有可行性
3. 对于移动场景上的应用场景，小规模的模型的能力是足够的，苹果最新发布的几个 LLM 在同规模上效果也确实是顶尖的

[terrysnake]

@otakustay 就看它怎么干了

[LuckyLauncher]

点外卖不是 app 去适配手机厂商？
既然都是 app 去做的，那么苹果只需要 理解用户意图 -> 打开 app -> 向 app 请求数据 -> 拿到数据处理 -> 向 app 发送指令

从这一链路来看苹果 ai 为啥要联网？

[legenumbre]

现在的 siri 也不是本地的啊。

“如果 Apple 的确需要在我们的服务器上处理或存储数据，这些数据只会与被称作随机标识符的一长串字母和数字相关联。相关信息仅用于提升 Siri 的表现，我们绝不会进行分享或出售。Apple 不会保留你使用 Siri 时的音频记录，除非你选择了与我们分享这些信息以改进 Siri 。”

[yvescheung]

@terrysnake
"Bloomberg: iOS 18 AI features will be powered by Apple silicon-equipped data centers"
翻译成中文是“彭博社：iOS 18 人工智能功能将由配备苹果芯片的数据中心提供支持”

[wupher]

说的对，苹果股价这么高，肯定很有赚头。

现在开始长期卖空，财富自由就在眼前了。

[xz410236056]

@terrysnake #39 ？？？ 不是你自己说的？你的逻辑不就是 LLM 需要更多资源->apple 注重隐私不能使用云端-> apple 只能做个阉割版的边缘计算->apple 搞不成 LLM
“苹果要么就是放弃 AI ，或者放弃隐私保护。”

我不是跟你说了？谁跟你说的 LLM 和隐私保护冲突的？

[ajyz]

你这定义本就有问题，或者起码跟苹果的定义就有冲突，啥叫联网就没有隐私保护，那 iPhone 本身就不存在隐私保护，更别提现在已存在的 Siri 一样不存在你所谓的隐私保护

[aeron]

苹果的云存储服务是不是在线？

[8355]

@terrysnake #35 我觉得第一步还是苹果自己的 app 打通，之后你这种场景肯定还是 app 的开发者去对接给苹果，类似 app 提供快捷指令的调用接口，同时在本地设备中生成什么样格式的数据可以给本地模型学习才能达到的。
保证隐私只有一个基础就是本地模型，不联网可以操作，但是真要到你这种场景牵扯到支付之类的可能还要在 app 上加一大堆开关和授权操作才能实现吧。

[hahiru]

苹果如果想赶超 CloseAI 那必须走弯道超车。对拼大模型肯定是死路一条。只有利用好用户的数据，针对每个用户的微调模型才能真正让 AI 做到落地。 不然大模型那种统一的回复对于绝大部分用户来说只是一种搜索引擎。而且是费用有点贵的搜索引擎。 针对速度和费用可以先云端加本地。云端理解意义，再返回本地。

[wulili]

你对隐私保护的理解有点狭隘，联网和隐私保护并不冲突

[xstmjh123]

论据就错了，隐私保护和在联不联网是两回事儿

[8355]

@8355 #50 如果我说的这种场景全部达到估计起步可能要 500g 才能正常应用吧。。模型就要占 100g+容量，每次充电到 80%以上开启学习。

[miniliuke]

icloud 笑了：是的我是注重隐私的......

[qieqie]

本地不了一点，考虑过模型常驻内存的成本或者不常驻内存冷启动的延迟吗。更不用说还有个功耗限制。
至于保证隐私的实现路径也很多，最简单的就是云端大模型做任务规划，出一个 NL SDK 之类的让各个 APP 去把自己的 function call 的能力提供给系统，然后端侧小模型去执行就行。

[bghtyu]

联网查询公开信息是没问题的。但是用户和模型的聊天内容属于隐私内容，按苹果的调性肯定是要本地处理的。希望苹果能为了本地模型顺便提升下内存🤩

[WilliamZuo]

联想搞的小天大模型有本地处理和联网处理两个选项，但浅浅适用了一下没搞明白具体差异，或者是它是怎么划分端侧和云端任务的，理论上 ultra 7 和 32g 内存的商务本跑不动纯本地 llm 。

[jojoec05951]

Siri 这么多年了，还没小爱同学好用。这把又准备闷声搞 llm ，苹果还有多少神话。vision pro 是刚被搬出来的神话，我觉得，神话还是别搬出来了，搬出来就会变色笑话

[opengps]

换个思路考虑，所谓的隐私保护，其实是让更少的人或者物知道你的隐私，你把所有隐私都放在苹果确实做到了隐私保护

[privater]

举个反例—— 苹果的产品 GPU 一向是很强的，每年每次设备横向比较，10 次有 8 次 苹果的 GPU 性能都吊打同时期的安卓旗舰。按说大部分人也不会玩游戏，为啥苹果就要给 SoC 集成一个性能很强的 GPU 呢？一个可能的结论是系统的流畅度就是跟 GPU 有很大关系，很多人所谓的动画跟手，划屏流畅度等底层无不是靠 GPU compositing, 看似是一个体现 3D 游戏性能的硬件，底层也许就决定着苹果在交互体验上的优势。

而这每次都比对手更强的 GPU ，不是白白掉下来的，是苹果投入重金一代又一代迭代出来的结果。

说到这里，再回过来说 llm ，如果本地跑 llm 是苹果看准了的下个 10 年的重心，那么毫无疑问大幅度提升内存/显存/缓存/NPU ，苹果是丝毫不会吝啬。多少人还记得 iPad Air 一口气就从 A14 升级到了 M1 ，内存直接从 4G 翻到 8G 。

所以一切还是在于这个技术是否对苹果来说是必须的，必须的话，它根本不会在核心体验的硬件上挤牙膏。 你看到的牙膏基本都是它认为可有可无但是又能提升利润率的东西

[hello1996]

再高级的 LLM 还是跑在 iPhone 上

[pandachow]

难道现在 Siri 是本地的吗…

[Titanium21]

隐私和离线有什么关系？本地运行就一定不泄漏隐私？联网就一定泄漏？ imessage 不就是端到端加密

[SkywalkerJi]

apple 的神主牌早就从隐私换成环保了。我觉得可以统计下过去两年的用词频率。

[ShadowPower]

@xz410236056 向量怎么会是无特征的……

[SkywalkerJi]

@privater #61
感觉 iPhone 不可能有那么大升级幅度，2g 2g 爬最多了。

[DocHelper]

有点想象的成分
实际情况就是水平太差，做不出来

[dji38838c]

没有必要到论坛上吹吹牛，是不是真的这样，说服网友也没有什么用。

如果真对自己的判断有信心，用钱投票，做空苹果的股票就是了。
赚到了大钱之后，拿出投资记录，再来給大家说你的判断

[OneMan]

苹果现在没有人指出未来的产品发展方向。
运营也只能吃老本。

[guqikang]

要隐私也可以联网吧，数据加密保护好就行。但麻烦苹果先加个让用户设置 app 跳转 app 的权限，打开微博一下子就跳到淘宝真的好烦🤮

[BigDogWang]

siri 在目前的语音助手里面，除了不能闲聊，其他的任务型我觉得都不错，开车也能语音发微信消息了

[liprais]

"我比市值几万亿账面上千亿现金的大型跨国公司更懂"

[Socrazy]

@BigDogWang 装上 ChatGPT 不就随便可以用 Siri 聊了，不过很无聊就是。
用快捷指令也早就可以了。

[terrysnake]

@LuckyLauncher 点外卖只是举例子，现实又不是只有点外卖一个需求。

[terrysnake]

@xz410236056 你当 LLM 训练的大模型数据是从天上掉下来的吗？
当然，你说不冲突就以你为准。

[terrysnake]

@wulili 愿闻其详

[terrysnake]

@WilliamZuo 肯定是骗人的啦，都是基于开源的改的。

[mycang]

诺基亚活的挺好的。手机业务不做了。

[FFFMML]

苹果可以把联网权限给到用户自我选择，而且也完全有现成的方法加以保护，就是苹果的隐私中继啊。该本地的本地，该中继的中继，超大杯里给权益，订阅费增加收益。

[willx12123]

@chhtdd 在线跟国内估计就没关系了，大概率跟三星一样直接给你换文心一言+WPS

[NewMoorj]

当宣传隐私有利于我，那就宣传隐私。

当宣传环保有利于我，那就宣传环保。

当宣传划时代的 AI 体验有利于我，那就......

没有贬低的意思，我认为每个时期都要有不同的工作重点，世界是不断变化的。

陷于祖宗成法不可变的思维也可以，但肯定会被淘汰。

[NoOneNoBody]

没理解这个逻辑，保护隐私需要离线，那 icloud 是个啥？

[catalysia]

保护隐私只要脱敏就行了 为什么要本地？
或者说你不会觉得所有的大模型训练都是侵犯隐私的吧？
只有苹果保护隐私吧？
任何国家任何法律对隐私的定义都是 1 不能精确到个体 2 个体不愿意展示

比如 我是 gay 我不愿意让别人知道 这是隐私 英国人其中有一个人是 gay 这个人不愿意让别人知道 这就不是隐私

现在的大模型训练都是基于这样的 虽然通过你的行为 言论训练了 ai 只要 ai 不知道是跟你学的 这就不算侵犯隐私

[Biggoldfish]

苹果最注重隐私保护 哈哈哈哈哈哈哈哈

是指建立云上贵州还是 Apple 自己收集一大堆隐私数据？

[ly841000]

@terrysnake #24 vivo 是本地

[okcdz]

做混合的没什么不可能的，本地数据本地计算，其他数据云端计算，模型慢慢调就可以了。Siri 也是如此。

[aero99]

苹果的 siri 也是可以联网的，通过 safari 查询网页给你

[xuanbg]

@terrysnake 你以为的隐私保护：我不会拿你的信息

[dog82]

可以收购一个

[terrysnake]

@ly841000 要不是我有 x90 pro+就被你骗了。网络断开一秒钟就提示无连接

[terrysnake]

@catalysia 你信吗？大公司真的不知道你是你？

[forrestbandit]

https://arxiv.org/pdf/2312.11514

[forrestbandit]

苹果去年发过一篇论文，把大模型分层加载到内存和磁盘中。磁盘中放一些稀疏的前馈矩阵权重之类的，减少读取次数，这样可以用 iphone 很少的内存解决大模型的加载问题，再配合上量化的技术，应该是能解决隐私模型上端的问题

[LevineChen]

7b 13b 之类的小模型本地跑足够了, Apple 最近发布了个专门用于操作 app 的小模型, 可以满足你的 "叫一份黄焖鸡米饭"

[terrysnake]

@forrestbandit 怎么感觉是为了省内存。。。

[phrack]

Siri 就是联网的啊，我这 Siri 断网就不能用了

[nagisaushio]

那他倒是加内存啊

[bugu1986]

cook 不急

[lixintcwdsg]

这点你放心。
只要需要传输隐私数据，这些大公司就会推着法律法规走另一个方向，并且会有一系列宣传配合。
唉，太懂了。。。