V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fantasyjm
V2EX  ›  Apple

Apple Silicon 运行 LLaMa 的性价比似乎还不错

  •  
  •   fantasyjm · 2023-03-09 09:52:15 +08:00 · 2540 次点击
    这是一个创建于 604 天前的主题,其中的信息可能已经有所发展或是发生改变。
    5 条回复    2023-03-13 00:49:23 +08:00
    tool2d
        1
    tool2d  
       2023-03-09 10:03:16 +08:00
    烦躁,AI 聊天对机器硬件要求,比起早期的 AI 绘图,要高上整整一大截。
    fantasyjm
        2
    fantasyjm  
    OP
       2023-03-09 10:06:06 +08:00
    这一条写错了
    应该是
    Ryzen 5800X + 32GB RAM + 8GB 2070s == 65B @ 0.02 token/s ( https://github.com/facebookresearch/llama/issues/79#issuecomment-1457172578)
    agagega
        3
    agagega  
       2023-03-09 10:19:14 +08:00 via iPhone
    看起来和显存关系非常大?
    netdcy
        4
    netdcy  
       2023-03-11 18:02:18 +08:00
    这个 B 和 token 是什么意思呢?
    Champa9ne
        5
    Champa9ne  
       2023-03-13 00:49:23 +08:00
    感觉虽然 M1 的架构有容易达到大显存的优势,但是算力强度不够啊。听说只能对标到 1050 Ti ?那 65B 推理一次补得等上三五年 O-o
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2584 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 15:36 · PVG 23:36 · LAX 08:36 · JFK 11:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.