jinsongzhaocn
V2EX  ›  Local LLM

部署 Qwen3.8-27B 模型死循环问题最新升级

  •  
  •   jinsongzhaocn · 2h 58m ago · 258 views

    部署 Qwen3.8-27B 模型的朋友,死循环问题可以升级了。 https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates llama.cpp 的配置参数里指定模板文件:

    --jinja --chat-template-file /model/Qwen3.8-27B/chat_template.jinja --reasoning-format deepseek

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4882 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 643ms · UTC 09:46 · PVG 17:46 · LAX 02:46 · JFK 05:46
    ♥ Do have faith in what you're doing.