Skip to content

模型管理 / 部署模板 ​

部署模板描述模型如何启动,包括推理引擎、镜像、可服务架构、加速器要求和版本。创建推理实例时直接选择模板,避免每次重复填写启动参数。

界面说明 ​

部署模板

截图采集于 2026-11-02,环境:主环境。

列表字段:

字段说明
名称模板名称。
集群模板适用的集群。
项目模板所属项目。
引擎使用的推理引擎,例如 vLLM、SGLang。
类别模板类别。
形态单机或多机等部署形态。
镜像模板使用的镜像。
可服务架构模板支持的模型架构。
加速器要求对 GPU 或 NPU 的要求。
当前版本模板当前版本。
被引用是否有推理实例在使用该模板。
操作详情和更多操作。

页面提供范围、推理引擎、类别和形态筛选,以及「列显隐」和「刷新」。

操作步骤 ​

查看模板 ​

  1. 在左侧导航选择「模型管理」>「部署模板」。
  2. 用筛选条件缩小范围。
  3. 单击「详情」查看模板的完整参数,包括启动命令、端口和环境变量。

使用模板部署 ​

  1. 打开「算力服务」>「推理实例」。
  2. 单击「创建」,在部署模板中选择目标模板。
  3. 选择资源池、规格和副本数。
  4. 提交后实例按模板参数启动。

结果验证 ​

  • 模板出现在列表中,「被引用」显示当前引用数量。
  • 详情页可以看到完整的启动参数。
  • 用该模板创建的推理实例状态达到运行中。

详情页 ​

功能说明 ​

从部署模板列表单击模板名称或行内「详情」进入详情页。详情页展示模板的基本信息、资源、启动配置和引用方,用于确认模板参数以及哪些推理实例正在使用它。

界面说明 ​

部署模板详情

截图采集于 2026-11-03,环境:主环境。

详情页顶部显示模板名称和操作入口,下方是以下页签:

页签内容
基本信息模板类型、项目、镜像、形态、推理引擎、类别、用途、可服务架构、协议、模型格式和加速卡等字段。
引用方当前引用该模板的推理实例数量,截图中为 0。
PrefillPD 分离部署中 Prefill 角色的配置。
DecodePD 分离部署中 Decode 角色的配置。
RouterPD 分离部署中 Router 角色的配置。

页面提供「查看模板当前内容」和「复制」入口。

基本信息中的关键字段:

字段说明
类型平台模板或项目模板。
项目模板所属项目;平台模板显示为「-」。
镜像模板使用的镜像地址。
形态部署形态,例如 PD 分离。
推理引擎使用的推理引擎,例如 SGLang。
类别模板类别,例如对话生成。
可服务架构模板支持的模型架构。
协议对外提供的协议,例如 OpenAI。
模型格式模型权重格式。
模型框架模型依赖的框架版本。
加速卡模板要求的加速卡型号。

操作步骤 ​

查看模板参数

  1. 打开「基本信息」页签,逐项核对镜像、引擎、协议和加速卡要求。
  2. 单击「查看模板当前内容」,查看模板的完整配置。
  3. PD 分离模板分别查看「Prefill」「Decode」「Router」页签。

确认引用关系

  1. 切换到「引用方」页签,查看引用该模板的推理实例数量。
  2. 需要复用到其他项目时,单击「复制」。

结果验证 ​

  • 基本信息中的字段与创建推理实例时选择的模板一致。
  • 引用方数量与使用该模板的推理实例数量一致。
  • 复制后生成新的模板记录。

注意事项 ​

  • 修改被引用的模板会影响后续创建或更新的实例,正在运行的实例不自动更新。
  • 平台模板只读;需要调整时复制为项目模板。
  • PD 分离模板的 Prefill、Decode 和 Router 配置需要与资源池和镜像匹配。

注意事项 ​

  • 被引用的模板修改后会影响后续创建的实例;正在运行的实例不自动更新。
  • 模板的镜像和加速器要求必须与目标资源池匹配,否则实例无法调度。
  • 公共模板由平台维护,项目内模板只对当前项目可见。