Rise Global 智算平台

主题

指标管理 / GPU 故障码 ​

「GPU 故障码」按加速卡厂商列出错误类型、错误码与错误描述，用于把监控或日志里看到的故障码翻译成可读原因。排查加速卡掉卡、ECC 报错、NVLink 异常时，先在这一页确认错误码的含义和建议动作。

前提条件 ​

  • 已登录 Boss 管理侧。
  • 账号具备「监控中心」>「指标管理」>「GPU 故障码」的查看权限。
  • 已在顶部选择目标集群。

界面说明 ​

GPU 故障码

截图采集于 2026-11-02，环境：开发环境。

页面顶部为集群页签：「昇腾183」「昇腾集群」「成员集群」「主集群」，当前页签高亮。页签下方是厂商页签，按顺序为「英伟达」「昇腾」「沐曦」「昆仑芯」「海光」「寒武纪」「燧原」「天数智芯」「平头哥」，切换厂商后下方表格替换为该厂商的错误码清单。

厂商页签右侧是「搜索」输入框（占位文案「搜索 错误配置列表…」）和下载图标按钮：搜索按错误码或错误信息过滤，下载把当前清单导出为文件。

表格各列含义如下：

列说明截图示例
错误类型故障大类XID 错误、ECC 错误、NVLink 错误
严重程度故障等级标签高、中、严重
错误码数字错误码13、31、32、43、45、48、63、64、74、79
错误信息英文错误名GR: SW Notify Error、DBE (Double Bit Error) ECC Error
错误描述中文原因说明与建议动作通常是应用程序访问越界或其他错误…

截图中的对应关系可以作为查码参考：「错误类型」为「XID 错误」时严重程度为「高」或「中」，错误码 13 对应 GR: SW Notify Error，31 对应 FIFO: MMU Error，32 对应 PBDMA Error，43 对应 Reset Channel Verif Error，45 对应 OS: Preemptive Channel Removal；「ECC 错误」的 48、63、64 严重程度为「严重」；错误码 74 为「NVLink 错误」，79 为 XID 错误且错误信息为 GPU has fallen off the bus。

底部显示「共 24 条」，每页行数可选「10」，当前为「第 1 页/共 3 页」，翻页按钮位于右下角。

操作步骤 ​

按厂商查故障码

  1. 在顶部集群页签中选择目标集群。
  2. 单击厂商页签，例如「昇腾」或「英伟达」，表格切换为该厂商的错误码。
  3. 向下翻页，浏览完整清单。

用错误码定位原因

  1. 在「搜索」框中输入错误码或错误信息的关键字，例如 79 或 NVLink。
  2. 在结果行读取「错误类型」「严重程度」和「错误描述」。
  3. 依据「错误描述」判断是应用问题还是硬件问题。

导出清单

  1. 选定厂商并确认筛选结果。
  2. 单击厂商页签右侧的下载图标，保存当前清单。

结果验证 ​

切换厂商页签后，表格内容与底部总条数同时变化，表头列保持不变。搜索后列表只保留匹配行，「严重程度」标签仍按高、中、严重分级显示。

注意事项 ​

  • 同一错误码在不同厂商下的含义可能不同，查码前先确认厂商标签。
  • 「严重程度」为「严重」的故障（如 ECC 双比特错误、NVLink 错误、掉卡）通常需要停机处理，按「错误描述」给出的动作执行。
  • 本页是错误码字典，只做解释，不触发修复动作，也不改变集群状态。
  • 清单条数随所选集群与厂商变化，看不到目标错误码时先切换到对应厂商再搜索。

相关操作 ​