Home Sign Up Sign In
tkwl
V2EX  ›  问与答

请问单卡或者双卡的 LLM 推理服务器用什么卡较好，预算 10w 左右的，是不是 H20 是比较合适的选择

  •   
  •   tkwl · 1 day ago · 735 views
  • LLM
  • 推理
  • 显卡
    3 replies  •  2026-07-08 15:16:36 +08:00
    zsj1029
        1
    zsj1029  
       1 day ago
    h20 目前推理卡性价比最高的没错，vllm 部署，pcie 的就可以，多卡根据预算来
    tkwl
        2
    tkwl  
    OP
       1 day ago
    @zsj1029 谢谢，我看预算再往下就不如搞 5090 多卡了
    AIgogo
        3
    AIgogo  
       22h 58m ago
    工作站用 nvidia p6000 最强，要考虑功耗和散热，还有显存和 token 吞吐吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5854 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 06:15 · PVG 14:15 · LAX 23:15 · JFK 02:15
    ♥ Do have faith in what you're doing.