主题
资源管理 / 推理实例
「推理实例」列出平台内已部署的推理服务，用于核对服务状态、部署模板和副本情况。页面说明写明：把模型部署为常驻推理服务，提供 OpenAI 兼容端点，支持开关机、克隆与版本回滚。需要确认某个模型是否正常提供服务、排查调度失败，或核对服务占用的加速卡与节点时使用此页。
前提条件
- 已登录 Boss 管理侧，并具备「资源中心」中「资源管理」的访问权限。
- 目标推理服务已创建，且所用部署模板、工作空间与项目在平台中存在。
界面说明
截图采集于 2026-11-02，环境：开发环境。
页面顶部为面包屑「资源管理 / 推理实例」和功能说明。其下是集群分组标签：「全部」、「昇腾集群 5」、「昇腾183 3」、「主集群 1」、「成员集群 0」，数字为对应分组下的服务数量。
筛选区包含「请输入名称或模型」输入框，以及带「+」的「工作空间」、「项目」、「状态」、「模板状态」条件按钮。工具区在右侧，提供「列显隐」、「刷新」和「自动刷新间隔」；「自动刷新间隔」带有下拉箭头，用于选择列表的自动刷新节奏。
表格列如下：
| 列 | 说明 |
|---|---|
| 名称/模型 | 服务名称与模型标识，分两行显示；部分行带模型图标 |
| 状态 | 服务状态，如「运行中」、「异常」、「已关机」，以彩色圆点标识 |
| 工作空间 | 服务所属工作空间，空值显示「-」 |
| 集群 | 服务所在集群，如「昇腾183」、「昇腾集群」、「主集群」 |
| 项目 | 服务所属项目 |
| 部署模板 | 使用的部署模板名称，下方标注「跟随最新」 |
| 资源池 | 服务绑定的资源池 |
| 规格 | 加速卡与 CPU、内存规格，如「ascend-910b4-1 整卡 ×1 · 11 CPU / 11 核 · 64Gi」 |
| 节点 | 服务调度到的节点，未调度时显示「未调度」 |
| 副本 | 副本数量与编排阶段，如「0/0」、「P1 · D1 · R1」 |
| 创建时间 | 服务创建时间 |
| 操作 | 行内「详情」与「更多操作」（…） |
列表底部显示「共 9 条」和分页控件，每页条数选择「10 条/页」。
操作步骤
筛选并查看服务
- 在左侧导航选择「资源管理」>「推理实例」。
- 单击集群分组标签，将列表限定在目标集群。
- 在「请输入名称或模型」输入服务名或模型名，或单击「工作空间」、「项目」、「状态」、「模板状态」选择条件。
- 在目标行单击「详情」，查看服务的规格、副本与运行信息。
调整刷新与显示
- 单击「自动刷新间隔」，选择列表自动刷新的间隔。
- 单击「刷新」立即重新拉取当前列表。
- 单击「列显隐」勾选需要查看的列。
结果验证
- 修改筛选条件后，列表底部「共 N 条」随结果数量变化。
- 服务状态变化后，「状态」列的文字与圆点颜色同步更新。
- 设置「自动刷新间隔」后，列表按所选间隔更新。
- 调度完成后，「节点」列由「未调度」变为实际节点名称。
详情页
功能说明
从推理实例列表单击行内「详情」进入推理服务详情页。详情页用于核对一个推理服务的模型、部署模板、模板版本与副本状态，取用调用示例，并查看调度过程、服务监控、弹性伸缩与版本记录。服务异常、副本数为零或调用方拿不到端点时，先在此页确认状态与失败原因。
界面说明
截图采集于 2026-11-03，环境：开发环境。
页面左上为返回入口「推理服务」，右侧显示服务名称与状态，如「qa4319-qwen3」与「异常」。名称下方一行并列四个摘要字段：「项目」、「模型」、「部署模板」、「副本」，截图中的取值为「180project」、「qa4319-qwen3」、「qa4319-vllm」、「0/0」。右上角为「关机」按钮。
其下为页签，除「概览」外，多数页签后带数量标记：
| 页签 | 内容 |
|---|---|
| 「概览」 | 基本信息、调用示例与启动配置 |
| 「实例」 | 服务当前的实例，页签后带数量，无实例时显示「0」 |
| 「日志」 | 服务运行日志 |
| 「事件」 | 服务运行过程中产生的事件 |
| 「调度过程」 | 从提交到调度的过程记录 |
| 「服务监控」 | 服务层面的请求与响应指标 |
| 「资源监控」 | 服务的资源使用曲线 |
| 「弹性伸缩」 | 服务的副本伸缩配置与记录 |
| 「版本管理」 | 服务的版本列表，页签后带数量 |
| 「基准测试」 | 与该服务相关的性能测试 |
| 「网关」 | 服务在网关侧的接入信息 |
「概览」页左侧第一张卡片为「基本信息」：
| 字段 | 说明 |
|---|---|
| 「状态」 | 服务当前状态，状态文字旁可带补充标签，如「异常」与「ScaledToZero」 |
| 「模型」 | 服务使用的模型名，旁附模型来源标签（如「BaseModel」）与架构、参数量信息 |
| 「缓存加速」 | 是否启用缓存加速，如「未开启」 |
| 「资源池」 | 服务使用的资源池，如「system-whole-card」 |
| 「规格」 | 申请的通算规格与加速卡，如「8 核 · 32Gi · huawei.com/Ascend910B4 1」 |
| 「节点」 | 服务调度到的节点，未调度时显示「还没调度到节点」 |
| 「副本」 | 就绪副本与期望副本 |
| 「项目」 | 服务所属项目，右侧图标可复制项目名 |
| 「部署模板」 | 使用的部署模板，可单击跳转，旁附模板类型标签（如「ServingRuntime」） |
| 「模板版本」 | 服务跟随的模板版本，如「跟随最新」 |
| 「创建时间」 | 服务创建时间 |
「基本信息」卡片底部以红色文字给出当前异常说明，例如副本为零时显示「engine is scaled to 0 replicas; no pods are serving」。
第二张卡片为「调用示例」，以代码块给出可直接使用的请求命令，右上角图标可复制整段示例。截图中的示例包含请求地址、请求头与请求体三行，请求体中带「model」与「messages」字段。
第三张卡片为「启动配置」，列出「启动命令」等启动参数，截图中「启动命令」带「沿用模板」标记。
操作步骤
核对服务状态
- 在「概览」页签查看「状态」与「副本」。
- 副本为零时查看「节点」与「基本信息」底部的红色说明，确认服务为何没有可用 Pod。
- 需要确认模型与模板来源时，查看「模型」旁的架构信息与「部署模板」旁的模板类型。
复制调用示例
- 在「调用示例」卡片核对其中的请求地址与模型名。
- 单击代码块右上角的复制图标，将示例复制到剪贴板。
- 在调用方终端中粘贴示例，替换鉴权信息后发送请求。
查看调度与运行情况
- 副本长时间未就绪时切换到「调度过程」页签，查看调度环节。
- 需要看请求指标时切换到「服务监控」页签；需要看资源用量时切换到「资源监控」页签。
- 排查启动失败时依次查看「日志」与「事件」页签。
- 需要确认版本回滚依据时切换到「版本管理」页签。
关机
- 单击右上角「关机」。
- 在确认弹窗中核对服务名称，确认后提交。
结果验证
- 副本就绪后，「副本」与摘要行不再为「0/0」，「节点」由「还没调度到节点」变为实际节点名。
- 服务恢复后红色异常说明消失，「状态」不再显示「异常」。
- 按「调用示例」发送请求时，返回模型推理结果；示例中的模型名与「模型」字段一致。
- 「关机」提交后，页面顶部的状态与右上角按钮随之变化。
注意事项
- 「状态」旁的「ScaledToZero」表示服务被缩到零副本，此时没有 Pod 对外提供推理，调用示例中的地址不可用。
- 「模板版本」显示「跟随最新」时，部署模板更新会影响该服务，回滚前先确认「版本管理」中的记录。
- 「调用示例」中的鉴权信息为占位内容，复制后需替换为实际可用的凭据。
- 管理侧展示全平台服务，操作前确认「项目」，避免影响其他租户。
注意事项
- 「异常」状态以红色圆点标识，「已关机」以灰色圆点标识，处理前先结合「详情」确认原因。
- 工作空间为空的服务在「工作空间」列显示「-」，此类服务通常由平台侧直接创建。
- 「部署模板」列的「跟随最新」表示服务跟随模板的当前版本，模板升级会影响该服务。
- 管理侧展示全平台范围，操作会影响服务所属租户。