V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
serafin
V2EX  ›  Apple

买 M4 iPad 1TB 以下 建议等 6 月 WWDC 后再决定

  •  2
     
  •   serafin · 234 天前 · 2362 次点击
    这是一个创建于 234 天前的主题,其中的信息可能已经有所发展或是发生改变。

    买 M4 iPad 1TB 以下建议等 WWDC 后再决定。1TB 以下内存是 8GB ,1TB 2TB 内存是 16GB 。如果买了 8GB 内存,6 月 WWDC 发布本地 AI 大(xiao)模型只支持 16GB 那你就成韭菜了。虽然我认为 8GB 跑推理大概率是支持的,不排除可能模型会有阉割。

    14 条回复    2024-05-29 15:41:29 +08:00
    icz
        1
    icz  
       234 天前 via iPhone   ❤️ 4
    可是我为啥非要用 ipad 跑推理呢
    maolon
        2
    maolon  
       234 天前 via Android
    你要是关注过的话就会发现苹果的模型是超小型模型,之前开源的模型是 0.27b 0.45b 1b 和 3b ,不量化都能在 8g 里跑, 更何况还有量化+llm in a flash 技术,把 cache 存到储存里。
    苹果的目标显然是连 4g 设备都能一并支持的模型。
    BEza5k2j7yew0VN9
        3
    BEza5k2j7yew0VN9  
       234 天前
    你的 M4 ipad 会更新吗?
    很多人都是到手什么版本用到报废,我因为上个 ipad 系统太老了才买的新的。
    zhusimaji
        4
    zhusimaji  
       234 天前 via iPhone
    没啥好等的,如果做端侧务必会考虑模型大小,裁剪,蒸馏,量化等一系列操作下来模型就能兼容大部份设备,所以等 wwdc 没啥意义吧! 8g 和 16g 内存下可能体积大小有差异,但是也不一定
    Socrazy
        5
    Socrazy  
       234 天前
    大模型肯定是云端的啊,本地肯定是小模型
    vicalloy
        6
    vicalloy  
       234 天前
    移动设备更关心的是能耗吧。
    我是不太明白苹果为啥要在移动设备上卷 AI 算力。
    现在 7B 的 LLM 效果也不怎么样,真涉及到大模型还是走远程 API 更现实一点。
    考虑到续航时间,iPad 上的 AI 模型应当不会太大。
    gamekiller0010
        7
    gamekiller0010  
       234 天前
    iPhone pro 最高也只有 8G
    mkdirmushroom
        8
    mkdirmushroom  
       234 天前
    为啥要用移动设备跑本地大模型,如果实在在乎隐私,完全可以在家里搭建一个家庭服务器来跑啊,内网直接连,外网穿透连。(我现在就是这个方案)
    mkdirmushroom
        9
    mkdirmushroom  
       234 天前
    @maolon apple 的优势其实还是生态,本地模型完全可以用家庭服务器跑,但是肯定不能接入苹果的软件就是了。
    neptuno
        10
    neptuno  
       234 天前
    多出来这几千块,我都能订阅好几年 openai 了
    zhaidoudou123
        11
    zhaidoudou123  
       234 天前
    新款 8G 起步,意味着 ai 功能就算限制也只能限制 m4
    其他功能我觉得 m1 开始都能用
    justsomac
        12
    justsomac  
       234 天前
    怎么感觉你们还在等苹果会在 LLM 上发布什么大杀器似的…即使 M4 算力提升不少,在端侧 LLM 也不能咋样啊,不也是现在 AI 的那些能力么,顶多是 Siri 没那么智障而已
    happyzhong0618
        13
    happyzhong0618  
       227 天前 via iPhone
    这玩意能干活?精确?啊?确定?开啥玩笑
    iyue56
        14
    iyue56  
       213 天前
    还是建议别建议了,现在 MacBook 都是 8g 起步,就是为了变相提价而已,不会存在 16g 能做 8g 做不了的,最多就是慢一点卡一点。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2530 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 11:06 · PVG 19:06 · LAX 03:06 · JFK 06:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.