Skip to content

模型管理 / 性能基准 ​

「性能基准」汇总对推理服务发起的压测作业与结果。页面说明写明:对推理服务发起压测并记录结果,列表只显示作业状态,指标在详情页查看。需要对比不同服务或不同配置的吞吐与延迟、确认某次压测是否成功,或导出结果做留档时使用此页。

前提条件 ​

  • 已登录 Boss 管理侧,并具备「资源中心」中「模型管理」的访问权限。
  • 压测对象已部署并可访问;压测作业已由平台或管理员发起。

界面说明 ​

性能基准

截图采集于 2026-11-02,环境:开发环境。

页面顶部为面包屑「模型管理 / 性能基准」和功能说明。其下是集群分组标签:「全部」、「昇腾集群 15」、「昇腾183 3」、「成员集群 0」、「主集群 0」,数字为对应分组下的作业数量。

筛选区包含「请输入名称、压测对象」输入框,以及带「+」的「工作空间」、「项目」、「状态」条件按钮。工具区右侧是「列显隐」、「刷新」、「自动刷新间隔」和「导出」。

表格列如下:

列说明
名称压测作业名称(蓝色链接)
状态作业状态,如「已完成」、「失败」,以彩色圆点标识
工作空间作业所属工作空间,空值显示「-」
集群作业运行集群,如「昇腾集群」、「昇腾183」
项目作业所属项目
压测对象被测服务,显示为「项目/服务」
TPS(tok/s)每秒输出 token 数,无数据时显示「...」
TTFT 均值(s)首 token 延迟均值,单位秒
TPOT 均值(s)每输出 token 耗时均值,单位秒
创建时间作业创建时间
操作行内「详情」

列表底部显示「共 18 条」和分页控件,当前为第 1 页,共 2 页。截图中「已完成」的作业显示具体数值,如 TPS「78.54」、TTFT「1.06」、TPOT「0.0153」;「失败」的作业指标列显示「...」。

操作步骤 ​

筛选并查看结果 ​

  1. 在左侧导航选择「模型管理」>「性能基准」。
  2. 单击集群分组标签,将列表限定在目标集群。
  3. 在「请输入名称、压测对象」输入关键字,或单击「工作空间」、「项目」、「状态」选择条件。
  4. 在目标行单击「详情」,查看该次压测的完整指标。

导出与刷新 ​

  1. 单击「导出」,导出当前列表。
  2. 单击「自动刷新间隔」,选择自动刷新节奏;需要立即更新时单击「刷新」。
  3. 单击「列显隐」勾选需要查看的指标列。

结果验证 ​

  • 修改筛选条件后,列表底部「共 N 条」随结果数量变化。
  • 作业完成后,「状态」显示「已完成」,TPS、TTFT、TPOT 列显示具体数值。
  • 作业失败时「状态」显示「失败」,指标列显示「...」。
  • 导出后得到当前列表的数据文件。

注意事项 ​

  • 列表只显示作业状态与汇总指标,完整指标在「详情」中查看。
  • 指标列为「...」表示该次作业没有可用结果,不代表数值为零。
  • 对比不同作业时先确认「压测对象」与「集群」一致,避免混用不同环境的数据。
  • 管理侧展示全平台范围,导出内容包含各工作空间的作业。

相关操作 ​