Skip to content

模型管理 / 部署模板 ​

「部署模板」管理推理服务的运行模板。页面说明写明:推理服务的运行模板包括镜像、可服务的模型架构、加速器要求与启动参数;平台模板全工作空间可用,项目模板只在所属项目内可见。需要为新模型选择运行引擎、核对模板支持的架构与加速器,或维护平台公共模板时使用此页。

前提条件 ​

  • 已登录 Boss 管理侧,并具备「资源中心」中「模型管理」的访问权限。
  • 新增模板前,已确认目标镜像可拉取,并明确模板所属的集群与项目。

界面说明 ​

部署模板

截图采集于 2026-11-02,环境:开发环境。

页面顶部为面包屑「模型管理 / 部署模板」和功能说明。其下是集群分组标签:「全部」、「成员集群 69」、「昇腾集群 20」、「昇腾183 2」、「主集群 0」,数字为对应分组下的模板数量。

筛选区包含「请输入名称、镜像或项」输入框,以及「范围」条件(当前取值「公共」)和带「+」的「推理引擎」、「类别」、「形态」条件按钮。工具区右侧是「新增」、「列显隐」和「刷新」。

表格列如下:

列说明
名称模板名称,部分名称前带引擎图标,部分带「已禁用」标签
集群模板所属集群,如「昇腾集群」
项目模板归属,平台级模板显示「平台模板」
引擎运行引擎,如「vLLM」、「SGLang」
类别模板类别,如「对话生成」,未填写时显示「-」
形态部署形态,如「单机」、「PD」、「多机 · 每」
镜像模板使用的镜像地址
可服务架构模板支持的模型架构
加速器要求模板对加速卡的要求
当前版本模板当前版本
被引用引用该模板的推理服务
操作行内「详情」与「更多操作」(…)

列表底部显示「共 91 条」和分页控件,当前为第 1 页,共 10 页。

操作步骤 ​

筛选并查看模板 ​

  1. 在左侧导航选择「模型管理」>「部署模板」。
  2. 单击集群分组标签,将列表限定在目标集群。
  3. 在「请输入名称、镜像或项」输入关键字,或单击「范围」、「推理引擎」、「类别」、「形态」选择条件。
  4. 在目标行单击「详情」,查看模板的镜像、可服务架构、加速器要求与启动参数。

新增模板 ​

  1. 单击「新增」。
  2. 在打开的表单中填写模板信息并提交。
  3. 提交后回到列表,确认新模板出现在当前分组中。

调整列表 ​

  1. 单击「列显隐」勾选需要查看的列。
  2. 单击「刷新」重新拉取列表。

结果验证 ​

  • 新增成功后,列表底部「共 N 条」数量增加,新模板显示在对应集群分组。
  • 模板可用时名称正常显示;被停用的模板名称后带「已禁用」标签。
  • 「被引用」列可确认模板是否已被推理服务使用。

详情页 ​

功能说明 ​

从部署模板列表单击行内「详情」进入模板详情页。详情页用于核对一个模板的镜像、推理引擎、可服务架构、加速卡要求与启动配置,并查看有哪些推理服务正在引用该模板。选择模板部署模型前,先在此页确认模板支持的架构与加速卡是否匹配目标模型。

界面说明 ​

部署模板详情

截图采集于 2026-11-03,环境:开发环境。

页面左上为返回入口「部署模板」,右侧显示模板名称与状态,如「ljl-test-1」与「可用」。

其下为两个页签:

页签内容
「基本信息」模板信息、资源要求与启动配置
「引用方」引用该模板的推理服务,页签后带数量,无引用时显示「0」

「基本信息」页签右侧有「查看模板当前内容」按钮,用于查看模板当前的完整内容。

第一张卡片为「基本信息」,字段按两列排列:

字段说明
「类型」模板归属类型,如「平台模板」
「项目」模板所属项目,平台模板显示「-」
「镜像」模板使用的镜像地址
「形态」部署形态,如「单机」
「推理引擎」运行引擎,如「vLLM」
「类别」模板类别,如「对话生成」
「投机解码」是否启用投机解码,未设置时显示「未声明」
「缓存加速」是否启用缓存加速,未设置时显示「未声明」
「用途」模板用途,如「推理服务」
「可服务架构」模板支持的模型架构,如「Qwen3ForCausalLM」
「协议」对外的接口协议,如「openAI」
「模型格式」支持的模型文件格式,如「safetensors 1.0.0」
「模型框架」支持的模型框架及版本范围,如「transformers(版本不限)」

第二张卡片为「资源」,列出两项:「加速卡」给出要求的加速卡型号,如「ascend-910b4-1」;「每实例机器」给出每个实例占用的机器数,如「单机」。卡片顶部说明:加速卡要求只用于筛规格,实际配额由创建服务时选择的规格决定。

第三张卡片为「启动配置」,列出「镜像」、「端口」、「最低 CPU」、「最低内存」、「最低卡数」、「最低显存」、「最低算力」、「启动命令」、「启动参数」。截图中未设置的项显示「-」,「启动命令」显示「(沿用镜像自带的 ENTRYPOINT)」,「启动参数」显示「(无)」。

操作步骤 ​

核对模板与模型是否匹配

  1. 在「基本信息」卡片查看「可服务架构」,确认包含目标模型的架构。
  2. 查看「模型格式」与「模型框架」,确认模型文件格式在支持范围内。
  3. 查看「资源」卡片中的「加速卡」,确认目标资源池有此型号的卡。

查看启动配置

  1. 在「启动配置」卡片核对「镜像」、「端口」与各项最低资源要求。
  2. 「启动命令」显示「(沿用镜像自带的 ENTRYPOINT)」时,说明启动方式由镜像决定。
  3. 「启动参数」显示「(无)」时,说明模板未附加启动参数。

查看模板当前内容与引用情况

  1. 单击右上角「查看模板当前内容」,查看模板当前的完整内容。
  2. 切换到「引用方」页签,查看引用该模板的推理服务。
  3. 需要确认模板归属范围时,核对「类型」与「项目」。

结果验证 ​

  • 「可服务架构」包含目标模型架构时,创建推理服务时可选中该模板。
  • 「引用方」页签中的服务与推理实例列表中「部署模板」为该模板的服务一致。
  • 单击「查看模板当前内容」后,显示模板当前的完整内容,与卡片中列出的字段对应。

注意事项 ​

  • 「类型」为「平台模板」时「项目」显示「-」,此类模板全平台可用;项目模板只在所属项目内可用。
  • 「投机解码」「缓存加速」显示「未声明」表示模板未声明该能力,不能据此判断开启或关闭。
  • 「启动参数」为「(无)」时,服务启动完全依赖镜像行为,调整参数需修改模板。
  • 修改被引用的模板会影响使用该模板的推理服务,调整前先核对「引用方」页签。

注意事项 ​

  • 「平台模板」对所有工作空间可见,项目模板只在所属项目内可见,新增前确认「项目」归属。
  • 名称后带「已禁用」标签的模板为停用状态,选用前先确认。
  • 模板的「当前版本」变化会影响「跟随最新」的推理服务。
  • 停用或调整被引用的模板前,先核对「被引用」列。

相关操作 ​