买 M4 iPad 1TB 以下建议等 WWDC 后再决定。1TB 以下内存是 8GB ,1TB 2TB 内存是 16GB 。如果买了 8GB 内存,6 月 WWDC 发布本地 AI 大(xiao)模型只支持 16GB 那你就成韭菜了。虽然我认为 8GB 跑推理大概率是支持的,不排除可能模型会有阉割。
1
icz 234 天前 via iPhone 4
可是我为啥非要用 ipad 跑推理呢
|
2
maolon 234 天前 via Android
你要是关注过的话就会发现苹果的模型是超小型模型,之前开源的模型是 0.27b 0.45b 1b 和 3b ,不量化都能在 8g 里跑, 更何况还有量化+llm in a flash 技术,把 cache 存到储存里。
苹果的目标显然是连 4g 设备都能一并支持的模型。 |
3
BEza5k2j7yew0VN9 234 天前
你的 M4 ipad 会更新吗?
很多人都是到手什么版本用到报废,我因为上个 ipad 系统太老了才买的新的。 |
4
zhusimaji 234 天前 via iPhone
没啥好等的,如果做端侧务必会考虑模型大小,裁剪,蒸馏,量化等一系列操作下来模型就能兼容大部份设备,所以等 wwdc 没啥意义吧! 8g 和 16g 内存下可能体积大小有差异,但是也不一定
|
5
Socrazy 234 天前
大模型肯定是云端的啊,本地肯定是小模型
|
6
vicalloy 234 天前
移动设备更关心的是能耗吧。
我是不太明白苹果为啥要在移动设备上卷 AI 算力。 现在 7B 的 LLM 效果也不怎么样,真涉及到大模型还是走远程 API 更现实一点。 考虑到续航时间,iPad 上的 AI 模型应当不会太大。 |
7
gamekiller0010 234 天前
iPhone pro 最高也只有 8G
|
8
mkdirmushroom 234 天前
为啥要用移动设备跑本地大模型,如果实在在乎隐私,完全可以在家里搭建一个家庭服务器来跑啊,内网直接连,外网穿透连。(我现在就是这个方案)
|
9
mkdirmushroom 234 天前
@maolon apple 的优势其实还是生态,本地模型完全可以用家庭服务器跑,但是肯定不能接入苹果的软件就是了。
|
10
neptuno 234 天前
多出来这几千块,我都能订阅好几年 openai 了
|
11
zhaidoudou123 234 天前
新款 8G 起步,意味着 ai 功能就算限制也只能限制 m4
其他功能我觉得 m1 开始都能用 |
12
justsomac 234 天前
怎么感觉你们还在等苹果会在 LLM 上发布什么大杀器似的…即使 M4 算力提升不少,在端侧 LLM 也不能咋样啊,不也是现在 AI 的那些能力么,顶多是 Siri 没那么智障而已
|
13
happyzhong0618 227 天前 via iPhone
这玩意能干活?精确?啊?确定?开啥玩笑
|
14
iyue56 213 天前
还是建议别建议了,现在 MacBook 都是 8g 起步,就是为了变相提价而已,不会存在 16g 能做 8g 做不了的,最多就是慢一点卡一点。
|