V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
vaniot
V2EX  ›  云计算

k8s1.12 获取 pod 的 gpu mertics

  •  1
     
  •   vaniot · 2019-06-20 10:23:20 +08:00 · 3555 次点击
    这是一个创建于 1743 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前找到的版本实现是 1.13pod-gpu-metrics-exporter,寻求支持 1.12 的采集的开源方案。我好菜,别喷我^_^。

    richzhu
        1
    richzhu  
       2019-06-20 10:26:40 +08:00 via iPhone   ❤️ 1
    高级,我用的 Prometheus 省事🤪
    vaniot
        2
    vaniot  
    OP
       2019-06-20 10:29:41 +08:00
    @richzhu 大佬 prometheus 可以采集到 pod 的 goux 信息吗?
    choury
        3
    choury  
       2019-06-20 10:41:11 +08:00 via Android   ❤️ 1
    用 cadvisor
    vaniot
        4
    vaniot  
    OP
       2019-06-20 10:48:45 +08:00
    @choury 我用了 cadvisor 的得到 mertic:`container_accelerator_memory_used_bytes`,每一个的 value 都是一样的数据,目前只有一个 node 上有 nvidia gpu,这是统计总的信息?
    choury
        5
    choury  
       2019-06-20 10:55:17 +08:00 via Android
    @vaniot 看 label 啊
    vaniot
        6
    vaniot  
    OP
       2019-06-20 11:03:17 +08:00
    @choury 从 label 可以区分,但 pod 的 used 的值是一样,没区分开每个 pod 各自的值
    choury
        7
    choury  
       2019-06-20 11:06:08 +08:00 via Android   ❤️ 1
    @vaniot 你有几张卡? pod 是怎么分配的?
    vaniot
        8
    vaniot  
    OP
       2019-06-20 11:09:44 +08:00
    @choury 一张卡,每个 gpu 切分 200 份,按 200 来分配
    choury
        9
    choury  
       2019-06-20 11:13:38 +08:00 via Android
    @vaniot 怎么分配的呢? mps ? grid ?当前的监控都只能做到卡的粒度,如果你只有一张卡那看到的都是这改卡的使用率
    vaniot
        10
    vaniot  
    OP
       2019-06-20 11:24:07 +08:00
    @choury 这两个没用到,获取的 value 似乎是卡的使用率,所以来 V2EX 问下,有没有更细的粒度
    menyakun
        11
    menyakun  
       2019-06-20 11:49:52 +08:00
    NVIDA 官方提供的 exporter 没有的话,应该也不会有了吧。你用的是 NVIDA GRID ?我记得是要买许可的吧,不知道会不会有闭源的解决方案。
    vaniot
        12
    vaniot  
    OP
       2019-06-20 11:58:17 +08:00
    @menyakun Nvidia 提供收费的方案,360 实现了容器的 gpu 监控
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4713 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 10:00 · PVG 18:00 · LAX 03:00 · JFK 06:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.