V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
x18960
V2EX  ›  问与答

V 友 有买物理服务器跑 AI 的吗?

  •  
  •   x18960 · 2023-07-19 09:12:40 +08:00 · 3681 次点击
    这是一个创建于 519 天前的主题,其中的信息可能已经有所发展或是发生改变。

    看了大厂 GPU 计算的服务器太贵了。 就寻思自己买个矿卡托管到机房,后来发现麻烦至极。不知道 V 友有没有类似操作的

    20 条回复    2023-07-19 17:30:46 +08:00
    opengps
        1
    opengps  
       2023-07-19 09:14:02 +08:00
    到了 GPU 这个级别了,放在家里不是更省吗?
    gaobh
        2
    gaobh  
       2023-07-19 09:15:10 +08:00 via iPhone
    自己玩,买个主机配一台也行,商业化只能用云服务
    misaki321
        3
    misaki321  
       2023-07-19 09:29:45 +08:00
    跟公司申请买了一台 4 卡 V100 ,将就用
    passall
        4
    passall  
       2023-07-19 09:39:57 +08:00
    托管到机房要多少钱?
    NSAtools
        5
    NSAtools  
       2023-07-19 09:42:01 +08:00
    可以找小厂,比如 AutoDL
    gam2046
        6
    gam2046  
       2023-07-19 09:48:13 +08:00   ❤️ 2
    你是一点没算电费、散热、维护成本呀,
    用自己采购的物料成本去对比人家的物料+运营成本。

    自己放家里,你要买专业卡的话,散热成本低不了,要不就是买游戏卡,应用范围和云厂商的专业卡比不了。
    要是托管机房的话,万一哪天机器死了,你就要走各种审批手续,然后人肉到机房处理,这也是成本。

    ---

    小规模应用,采买云厂家的服务已经是相对最便宜的了。
    当应用规模需要 10 个以上专业卡的时候,且业务相对成型,自建才有性价比。
    asdgsdg98
        7
    asdgsdg98  
       2023-07-19 10:37:01 +08:00
    不如放自己家,成本也就占地
    fiht
        8
    fiht  
       2023-07-19 10:39:31 +08:00
    家里本来有一个 EPYC 的主机,今年 AI 比较火热加了一张 3090 显卡。

    其实没问题的,家里极少停电,网路也很稳定,散热之类的也不用太考虑。

    托管就大可不必了,托管一个是费用高,另外就是上架、下架、远程维护、换个硬盘等的,都是问题。
    x18960
        9
    x18960  
    OP
       2023-07-19 10:51:04 +08:00
    看到一个 国内机房托管带 2080TI 显卡的物理服务器
    要 1K 一个月,感觉有点小贵。年付 1W 也不知道项目能不能挺这么久
    me1onsoda
        10
    me1onsoda  
       2023-07-19 11:03:05 +08:00
    大概率会空载,不是云厂商那边按量使用
    me1onsoda
        11
    me1onsoda  
       2023-07-19 11:04:11 +08:00
    @me1onsoda 不是->不如
    vopsoft
        12
    vopsoft  
       2023-07-19 11:30:51 +08:00
    @passall
    世纪互联
    一个 9A 机柜 5000/月
    chengxiao
        13
    chengxiao  
       2023-07-19 11:35:14 +08:00
    反正感觉国内的云又贵又不好用
    直接跟老板申请了台 4090/13900k 换算成云 GPU 服务器基本上不到一年就回本了
    然后我这两天天天拿来串流打 Cyberpunk 2077 ~
    vopsoft
        14
    vopsoft  
       2023-07-19 11:39:30 +08:00
    我们的托管费用
    chesha1
        15
    chesha1  
       2023-07-19 12:57:50 +08:00   ❤️ 1
    别老看大厂的啊,gpu 云有不少廉价的
    国内比如 autodl ,国外比如 vast.ai

    vast.ai 上,一块 A100 一小时才要 1 美元,这已经很便宜了
    hui9000
        16
    hui9000  
       2023-07-19 16:22:52 +08:00
    托管不算固定自残啊。还是买物理机自己搞,就算损耗卖 2 手也能处理出去。你托管钱花了就是花了;
    herozzm
        17
    herozzm  
       2023-07-19 16:29:08 +08:00
    我托管了一台,安装了普通个人用的显卡,扯掉了风扇,1U 体积,一年 6000
    manasheep
        18
    manasheep  
       2023-07-19 17:02:27 +08:00
    你看 B 站 林亦 LYi ,他应该一直都是自己跑着玩,最近用 M2 的 Mac 跑,因为可以有超大至多 192GB 的统一内存充当显存。
    cccclk
        19
    cccclk  
       2023-07-19 17:26:52 +08:00
    自己弄可能会有不少烦心事,客户自己弄的天天温度降不下来,强制关机了
    tangtang369
        20
    tangtang369  
       2023-07-19 17:30:46 +08:00
    @x18960 肯定是 4090 和 A100 差不多的性能 除了不能加载超大模型 A100 的显存是 40G 4090 是 24GB
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2361 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 16:08 · PVG 00:08 · LAX 08:08 · JFK 11:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.