Skip to content

资源监控 / GPU 监控 ​

「GPU 监控」查看加速卡节点的卡数、算力与显存用量,并按节点汇总每张卡的状态。需要判断算力是否被真正使用、显存是否吃紧,或比较不同节点的加速卡负载时使用这一页。

前提条件 ​

  • 已登录 Boss 管理侧。
  • 账号具备「监控中心」>「资源监控」>「GPU 监控」的访问权限。
  • 集群内存在加速卡节点,且已接入监控采集。

界面说明 ​

GPU 监控

截图采集于 2026-11-02,环境:开发环境。

页面标题下方的说明为「查看 GPU 节点与每张卡的算力、显存、温度与功耗」。右上角是「刷新」按钮与「自动刷新间隔」选择器,设置周期后页面自动更新,单击「刷新」立即取数。

时间范围上方是集群页签:「全部」「主集群」「昇腾183」「昇腾集群」「成员集群」,用于收窄到单个集群。页签下方一行「数据最新时间」标注采样时刻,截图为 2026-11-02 23:32:58。

指标卡共 3 张,标题后的 ⓘ 图标说明统计口径:

指标卡展示内容截图示例
GPU 卡数统计范围内的加速卡总数24
GPU 利用率加速卡整体利用率63.5 %
显存利用率整体利用率与已用 / 总量72.8 %,932 GiB / 1.25 TiB

指标卡下方是节点列表,标题为「GPU 节点」,右侧标注「3 个节点」。「GPU 节点」标签左侧有「集群」筛选按钮,用于按集群过滤节点;表格右上角的图标按钮控制列的显示与隐藏。

节点表各列含义如下:

列说明截图示例
节点节点主机名bms-75847414-001、bms-87171263
集群节点所属集群昇腾集群
型号加速卡型号910B4-1-Ascend-V1
GPU 卡数节点上的卡数8
GPU 用量三条用量条:算力、算力分配、显存算力 97%、算力分配 0%、显存 89%

「GPU 用量」列把三类指标并排展示,条形越长表示占用越高:第一行为算力 97 %、算力分配 0 %、显存 89 %;第二行为算力 94 %、算力分配 0 %、显存 89 %。算力高而算力分配为 0 %,说明卡上有任务在跑,但没有按算力做申请。每张指标卡标题后的 ⓘ 图标给出该项的统计范围。

操作步骤 ​

按集群查看加速卡

  1. 在集群页签中选择「全部」「主集群」「昇腾183」「昇腾集群」或「成员集群」。
  2. 读取「GPU 卡数」「GPU 利用率」「显存利用率」三张指标卡。
  3. 在「GPU 节点」列表中查看该集群每个节点的型号与卡数。

比较节点用量

  1. 在节点表中沿「GPU 用量」列自上而下比对算力条的填充比例。
  2. 算力高而显存也接近满时,结合「显存利用率」判断是否需要迁移或扩容。
  3. 需要只看某集群时,单击「集群」筛选按钮选择集群。

刷新与核对时效

  1. 查看页面上方的「数据最新时间」,确认数据是否为当前时刻。
  2. 数据滞后时单击「刷新」,或通过「自动刷新间隔」设置自动更新周期。

结果验证 ​

切换集群页签后,指标卡数值与「GPU 节点」的数量同步变化,节点列表只保留所选集群的节点。单击「刷新」后「数据最新时间」更新为新时刻,用量条比例随之变化。

注意事项 ​

  • 「算力分配」为 0 而「算力」很高,表示任务未按算力配额申请就占用了卡,核对配额时应同时看两条。
  • 「显存利用率」接近 100 % 时新任务可能因显存不足启动失败。
  • 指标卡是统计范围内的合计值,单个节点的异常会被平均,定位问题要看节点表。
  • 「数据最新时间」明显落后说明采集延迟,此时数值不代表当前状态。
  • 页面只展示当前账号有权访问的集群与节点。

相关操作 ​