Skip to content

指标管理 / 监控指标 ​

「监控指标」列出平台内置的监控指标及其分类、优先级、单位、正常范围与告警阈值,并标明指标适用的推理框架。需要确认某个指标的正常区间、阈值分级,或核对新接入框架是否已有对应指标时使用这一页。

前提条件 ​

  • 已登录 Boss 管理侧。
  • 账号具备「监控中心」>「指标管理」>「监控指标」的查看权限。
  • 已在顶部选择目标集群。

界面说明 ​

监控指标

截图采集于 2026-11-02,环境:开发环境。

页面顶部为集群页签:「昇腾183」「昇腾集群」「成员集群」「主集群」。其下是两级筛选:第一行为「全部」「节点指标」「设备指标」「推理指标」,用于按指标大类切换;第二行为「全部」「硬件健康」「计算性能」「推理延迟」「推理吞吐」「资源与队列」「错误与健康」「缓存效率」「系统与网络」「高级扩展」,用于按场景细分。两级筛选可叠加,右上角的下载图标把当前清单导出为文件。

表格各列含义如下:

列说明截图示例
指标名称指标的中文名核心温度、TTFT 首字延迟、E2E 端到端请求延迟
分类指标归属的类别设备指标、推理指标
优先级指标重要级别P0
单位取值单位°C、s
正常范围正常取值区间< 80°C、P50 < 1s,P99 < 3s
预警阈值触发预警的取值≥ 85°C、P99 ≥ 3s、P99 ≥ 10s
严重阈值触发严重的取值≥ 90°C、P99 ≥ 8s、P99 ≥ 25s
适用适用的框架或芯片厂商,逐行罗列见下
vast 指标对应指标标识,列宽不足时截断vast_device_ter…、vllm:time_to_first_…
详情行内操作入口查看详情

截图中的三行可以直接对照阈值分级:

  • 「核心温度」:分类「设备指标」,优先级 P0,单位 °C,正常范围 < 80°C,预警阈值 ≥ 85°C,严重阈值 ≥ 90°C;「适用」列出平头哥、昇腾、寒武纪、海光、天数智芯、昆仑芯、沐曦、英伟达八个芯片厂商。
  • 「TTFT 首字延迟」:分类「推理指标」,优先级 P0,单位 s,正常范围 P50 < 1s,P99 < 3s,预警阈值 P99 ≥ 3s,严重阈值 P99 ≥ 8s;「适用」为 MindIE、SGLang、vLLM。
  • 「E2E 端到端请求延迟」:分类「推理指标」,优先级 P0,单位 s,正常范围 P50 < 5s,P99 < 15s,预警阈值 P99 ≥ 10s,严重阈值 P99 ≥ 25s;「适用」为 MindIE、SGLang、TEI、vLLM、vLLM-Omni。

表格默认每页「10 条」,翻页按钮位于右下角。列较多,右侧的「适用」「vast 指标」「详情」需横向滚动查看。

操作步骤 ​

按大类筛选指标

  1. 在顶部选择目标集群。
  2. 单击第一行的「节点指标」「设备指标」或「推理指标」,列表按大类过滤。
  3. 回到「全部」恢复完整清单。

按场景细分

  1. 在第一行选定大类后,单击第二行的场景标签,例如「推理延迟」「硬件健康」。
  2. 两级条件同时生效,列表只保留同时满足的指标。

核对阈值

  1. 在列表中找到目标指标,读取「正常范围」「预警阈值」「严重阈值」三列。
  2. 需要更完整的说明时,单击该行的「查看详情」。

结果验证 ​

单击筛选标签后,标签变为选中态,表格行数与内容同步变化,底部总条数随之更新。同一指标的「正常范围」「预警阈值」「严重阈值」三列按从宽到严的顺序排列,可据此判断当前值处在哪一档。

注意事项 ​

  • 阈值按指标给出,同一指标在不同框架下的比较对象可能不同(如 P50 与 P99),取值时先看「正常范围」的写法。
  • 「适用」列罗列该指标支持的框架或厂商,未列出的组合不会有对应数据。
  • 本页只展示指标定义与阈值,不展示实时数值,也不修改阈值。
  • 列较多时表格可横向滚动,导出后可在本地查看完整内容。

相关操作 ​