主题
模型管理 / 部署模板
「部署模板」管理推理服务的运行模板。页面说明写明:推理服务的运行模板包括镜像、可服务的模型架构、加速器要求与启动参数;平台模板全工作空间可用,项目模板只在所属项目内可见。需要为新模型选择运行引擎、核对模板支持的架构与加速器,或维护平台公共模板时使用此页。
前提条件
- 已登录 Boss 管理侧,并具备「资源中心」中「模型管理」的访问权限。
- 新增模板前,已确认目标镜像可拉取,并明确模板所属的集群与项目。
界面说明

截图采集于 2026-11-02,环境:开发环境。
页面顶部为面包屑「模型管理 / 部署模板」和功能说明。其下是集群分组标签:「全部」、「成员集群 69」、「昇腾集群 20」、「昇腾183 2」、「主集群 0」,数字为对应分组下的模板数量。
筛选区包含「请输入名称、镜像或项」输入框,以及「范围」条件(当前取值「公共」)和带「+」的「推理引擎」、「类别」、「形态」条件按钮。工具区右侧是「新增」、「列显隐」和「刷新」。
表格列如下:
| 列 | 说明 |
|---|---|
| 名称 | 模板名称,部分名称前带引擎图标,部分带「已禁用」标签 |
| 集群 | 模板所属集群,如「昇腾集群」 |
| 项目 | 模板归属,平台级模板显示「平台模板」 |
| 引擎 | 运行引擎,如「vLLM」、「SGLang」 |
| 类别 | 模板类别,如「对话生成」,未填写时显示「-」 |
| 形态 | 部署形态,如「单机」、「PD」、「多机 · 每」 |
| 镜像 | 模板使用的镜像地址 |
| 可服务架构 | 模板支持的模型架构 |
| 加速器要求 | 模板对加速卡的要求 |
| 当前版本 | 模板当前版本 |
| 被引用 | 引用该模板的推理服务 |
| 操作 | 行内「详情」与「更多操作」(…) |
列表底部显示「共 91 条」和分页控件,当前为第 1 页,共 10 页。
操作步骤
筛选并查看模板
- 在左侧导航选择「模型管理」>「部署模板」。
- 单击集群分组标签,将列表限定在目标集群。
- 在「请输入名称、镜像或项」输入关键字,或单击「范围」、「推理引擎」、「类别」、「形态」选择条件。
- 在目标行单击「详情」,查看模板的镜像、可服务架构、加速器要求与启动参数。
新增模板
- 单击「新增」。
- 在打开的表单中填写模板信息并提交。
- 提交后回到列表,确认新模板出现在当前分组中。
调整列表
- 单击「列显隐」勾选需要查看的列。
- 单击「刷新」重新拉取列表。
结果验证
- 新增成功后,列表底部「共 N 条」数量增加,新模板显示在对应集群分组。
- 模板可用时名称正常显示;被停用的模板名称后带「已禁用」标签。
- 「被引用」列可确认模板是否已被推理服务使用。
详情页
功能说明
从部署模板列表单击行内「详情」进入模板详情页。详情页用于核对一个模板的镜像、推理引擎、可服务架构、加速卡要求与启动配置,并查看有哪些推理服务正在引用该模板。选择模板部署模型前,先在此页确认模板支持的架构与加速卡是否匹配目标模型。
界面说明

截图采集于 2026-11-03,环境:开发环境。
页面左上为返回入口「部署模板」,右侧显示模板名称与状态,如「ljl-test-1」与「可用」。
其下为两个页签:
| 页签 | 内容 |
|---|---|
| 「基本信息」 | 模板信息、资源要求与启动配置 |
| 「引用方」 | 引用该模板的推理服务,页签后带数量,无引用时显示「0」 |
「基本信息」页签右侧有「查看模板当前内容」按钮,用于查看模板当前的完整内容。
第一张卡片为「基本信息」,字段按两列排列:
| 字段 | 说明 |
|---|---|
| 「类型」 | 模板归属类型,如「平台模板」 |
| 「项目」 | 模板所属项目,平台模板显示「-」 |
| 「镜像」 | 模板使用的镜像地址 |
| 「形态」 | 部署形态,如「单机」 |
| 「推理引擎」 | 运行引擎,如「vLLM」 |
| 「类别」 | 模板类别,如「对话生成」 |
| 「投机解码」 | 是否启用投机解码,未设置时显示「未声明」 |
| 「缓存加速」 | 是否启用缓存加速,未设置时显示「未声明」 |
| 「用途」 | 模板用途,如「推理服务」 |
| 「可服务架构」 | 模板支持的模型架构,如「Qwen3ForCausalLM」 |
| 「协议」 | 对外的接口协议,如「openAI」 |
| 「模型格式」 | 支持的模型文件格式,如「safetensors 1.0.0」 |
| 「模型框架」 | 支持的模型框架及版本范围,如「transformers(版本不限)」 |
第二张卡片为「资源」,列出两项:「加速卡」给出要求的加速卡型号,如「ascend-910b4-1」;「每实例机器」给出每个实例占用的机器数,如「单机」。卡片顶部说明:加速卡要求只用于筛规格,实际配额由创建服务时选择的规格决定。
第三张卡片为「启动配置」,列出「镜像」、「端口」、「最低 CPU」、「最低内存」、「最低卡数」、「最低显存」、「最低算力」、「启动命令」、「启动参数」。截图中未设置的项显示「-」,「启动命令」显示「(沿用镜像自带的 ENTRYPOINT)」,「启动参数」显示「(无)」。
操作步骤
核对模板与模型是否匹配
- 在「基本信息」卡片查看「可服务架构」,确认包含目标模型的架构。
- 查看「模型格式」与「模型框架」,确认模型文件格式在支持范围内。
- 查看「资源」卡片中的「加速卡」,确认目标资源池有此型号的卡。
查看启动配置
- 在「启动配置」卡片核对「镜像」、「端口」与各项最低资源要求。
- 「启动命令」显示「(沿用镜像自带的 ENTRYPOINT)」时,说明启动方式由镜像决定。
- 「启动参数」显示「(无)」时,说明模板未附加启动参数。
查看模板当前内容与引用情况
- 单击右上角「查看模板当前内容」,查看模板当前的完整内容。
- 切换到「引用方」页签,查看引用该模板的推理服务。
- 需要确认模板归属范围时,核对「类型」与「项目」。
结果验证
- 「可服务架构」包含目标模型架构时,创建推理服务时可选中该模板。
- 「引用方」页签中的服务与推理实例列表中「部署模板」为该模板的服务一致。
- 单击「查看模板当前内容」后,显示模板当前的完整内容,与卡片中列出的字段对应。
注意事项
- 「类型」为「平台模板」时「项目」显示「-」,此类模板全平台可用;项目模板只在所属项目内可用。
- 「投机解码」「缓存加速」显示「未声明」表示模板未声明该能力,不能据此判断开启或关闭。
- 「启动参数」为「(无)」时,服务启动完全依赖镜像行为,调整参数需修改模板。
- 修改被引用的模板会影响使用该模板的推理服务,调整前先核对「引用方」页签。
注意事项
- 「平台模板」对所有工作空间可见,项目模板只在所属项目内可见,新增前确认「项目」归属。
- 名称后带「已禁用」标签的模板为停用状态,选用前先确认。
- 模板的「当前版本」变化会影响「跟随最新」的推理服务。
- 停用或调整被引用的模板前,先核对「被引用」列。