V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
littlemis
V2EX  ›  Local LLM

请问此配置如何加速 ollama ds-r1 32b 的速度,好慢

  •  
  •   littlemis · 5 天前 · 422 次点击

    请问此配置如何加速 ollama ds-r1 32b 的速度,好慢

    五分钟才生成以下图片回答 image windows 利用情况 image nvida 版本 : 24.21.13.9793 GPU : NVIDIA Quadro P2000 内存 image

    czfy
        1
    czfy  
       5 天前
    你先把驱动改成 Studio 驱动 试试
    littlemis
        2
    littlemis  
    OP
       5 天前
    @czfy 大老,我查看 https://www.nvidia.com/en-us/drivers/details/241085/ 好像没有 studio 驱动,请问是我找的方式不对吗
    tool2dx
        3
    tool2dx  
       5 天前 via Android
    你这显存完全没有动起来,都是 CPU 在推理,肯定慢的。
    换 m40 显卡,买二手的几百块,显存够大够用。
    littlemis
        4
    littlemis  
    OP
       5 天前
    https://zhuanlan.zhihu.com/p/645580165
    我用 nvidia-smi -dm 0 -i 0 设置成 WDDM 模式,速度加快了!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   6051 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 02:39 · PVG 10:39 · LAX 19:39 · JFK 22:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.