主题
模型管理 / 缓存加速
「缓存加速」管理为推理服务开启的 KV Cache 服务。页面说明写明：为推理服务开启 KV Cache，复用前缀计算结果以降低首 token 延迟。需要降低长上下文请求的首 token 延迟、核对缓存服务是否就绪，或为某个集群新建缓存服务时使用此页。
前提条件
- 已登录 Boss 管理侧，并具备「资源中心」中「模型管理」的访问权限。
- 新建缓存服务前，已确认目标集群可调度，并规划好每节点缓存容量。
界面说明
截图采集于 2026-11-02，环境：开发环境。
页面顶部为面包屑「模型管理 / 缓存加速」和功能说明。其下是集群分组标签：「全部」、「昇腾183」、「昇腾集群」、「成员集群」、「主集群」，标签不显示数量。
筛选区包含「名称」输入框，以及带「+」的「状态」、「类型」条件按钮。工具区右侧是「创建」、「列显隐」和「刷新」。
表格列如下：
| 列 | 说明 |
|---|---|
| 名称 | 缓存服务名称，名称前的「>」可展开该服务的下级信息 |
| 状态 | 服务状态，如「运行中」，以绿色圆点标识 |
| 集群 | 服务所在集群，如「昇腾集群」 |
| 类型 | 缓存类型，如「LMCache」、「Mooncake」 |
| 就绪实例 | 就绪实例数与实例总数，如「2 / 2」、「1 / 1」 |
| 容量 | 缓存容量，如「内存 4 GiB」、「内存 20 GiB 本地盘 100 GiB」 |
| 地址 | 缓存服务访问地址 |
| 操作 | 行内「查看 YAML」与「更多操作」（…） |
列表底部显示「共 7 条」和分页控件，每页条数选择「10 条/页」。
单击「创建」打开右侧「新建缓存服务」抽屉：
截图采集于 2026-11-02，环境：开发环境。
抽屉分为两组字段：
| 分组 | 字段 | 说明 |
|---|---|---|
| 基本信息 | 集群* | 选择缓存服务所在的集群 |
| 基本信息 | 名称* | 填写缓存服务名称 |
| 基本信息 | 类型* | 选择缓存类型，截图中为「LMCache（每节点缓存进程，同节点多副本共享）」 |
| L1 缓存（内存） | 每节点缓存容量（GiB）* | 填写每个节点的内存缓存容量，截图中为「40」 |
| L1 缓存（内存） | 淘汰策略 | 选择缓存淘汰策略，截图中为「LRU」 |
| L1 缓存（内存） | 淘汰触发水位 | 设置触发淘汰的水位，字段后带说明图标 |
| L1 缓存（内存） | 淘汰比例 | 设置每次淘汰的比例，字段后带说明图标 |
抽屉底部为「取消」和「创建」。
操作步骤
查看缓存服务
- 在左侧导航选择「模型管理」>「缓存加速」。
- 单击集群分组标签，将列表限定在目标集群。
- 在「名称」输入服务名，或单击「状态」、「类型」选择条件。
- 单击名称前的「>」展开下级信息，或在目标行单击「查看 YAML」查看配置。
新建缓存服务
- 单击「创建」，打开「新建缓存服务」抽屉。
- 在「基本信息」中选择「集群」、填写「名称」、选择「类型」。
- 在「L1 缓存（内存）」中填写「每节点缓存容量（GiB）」，按需选择「淘汰策略」并设置「淘汰触发水位」、「淘汰比例」。
- 单击「创建」提交；需要放弃时单击「取消」。
结果验证
- 创建成功后，新服务出现在列表中，底部「共 N 条」数量增加。
- 服务就绪后「状态」显示「运行中」，「就绪实例」显示为「2 / 2」或「1 / 1」。
- 单击名称前的「>」可展开该服务的下级信息。
注意事项
- 「集群」、「名称」、「类型」、「每节点缓存容量（GiB）」为必填项，字段后带「*」。
- 「类型」的选择会影响缓存组织方式，截图中「LMCache」为每节点缓存进程、同节点多副本共享。
- 「淘汰触发水位」和「淘汰比例」决定缓存回收时机，字段后带说明图标，填写前先查看说明。
- 缓存服务被推理服务引用后，调整容量或淘汰策略会影响命中率。