模型管理 / 性能测试

性能测试用于对推理实例或模型压测，记录吞吐、首 Token 时延和每 Token 时延，帮助选择规格和副本数。

前提条件

• 已登录 Console，并选择目标工作空间和项目。
• 已有运行中的推理实例或可压测的模型。

界面说明

截图采集于 2026-11-02，环境：主环境。

列表字段：

字段	说明
名称	压测任务名称。
状态	压测任务的运行状态。
集群	任务所属集群。
项目	任务所属项目。
压测对象	被压测的实例或模型。
TPS（tok/s）	每秒生成的 Token 数。
TTFT 均值（s）	首 Token 平均时延。
TPOT 均值（s）	每个输出 Token 的平均时延。
创建时间	任务创建时间。
操作	详情等操作入口。

页面提供项目、状态筛选，以及「自动刷新间隔」「列显隐」「导出」和「刷新」。

操作步骤

创建压测任务

1. 在左侧导航选择「模型管理」>「性能测试」。
2. 单击「创建」。
3. 选择压测对象和并发数，按页面要求填写输入长度、输出长度和测试轮次。
4. 提交后任务出现在列表中，状态变为运行中。

查看结果

1. 等待状态变为完成。
2. 在列表中查看 TPS、TTFT 和 TPOT。
3. 需要进一步分析时，单击「详情」查看分阶段结果。
4. 需要留存时单击「导出」。

结果验证

压测完成后列表显示 TPS、TTFT 和 TPOT；重复压测的结果可用于对比不同规格或副本数。

注意事项

• 压测会占用被压测实例的算力，可能影响同时进行的业务调用。
• 并发数和输入长度会显著影响结果，对比时保持相同参数。
• 压测对象停止或删除后，历史结果仍保留在列表中。