Skip to content

上游统计 / 质量监控 ​

「质量监控」对比多个上游服务的成本、延迟与错误率,给出平均、P95、P99 与首 Token 时延等指标。需要判断某家上游是否变慢、是否存在稳定性差异时使用这一页。

前提条件 ​

  • 已登录 Boss 管理侧。
  • 账号具备「上游统计」>「质量监控」的查看权限。
  • 统计周期内已有上游服务承接调用,且产生了可统计的耗时数据。

界面说明 ​

质量监控

截图采集于 2026-11-02,环境:开发环境。

页面标题为「上游统计 / 质量监控」,说明为「对比多个上游服务的成本、延迟和错误率。」。

右上角为「上游服务」筛选按钮与时间范围选择器,截图中范围为「10-19 23:32:50 至 11-02 23:32:50」。

页面顶部提示:「有 225 次调用的上游成本无法确认。成本金额、趋势和排名仅包含已核算部分。」。

图表区为四张卡,分两行排布:

卡片内容截图示例
上游成本趋势按时间展示各上游成本曲线,图例可翻页纵轴为 ¥,0 至 6000
上游成本对比横向条形图对比上游成本,右上角标注「显示前 5 个 / 共 436 个」首条为 190 image gene…
上游服务延迟趋势按时间展示延迟曲线,右上角标注「显示前 5 个 / 共 355 个」图例中出现带「(已删除)」标记的服务
上游服务平均延迟横向条形图对比平均、P95、P99 延迟,标注「显示前 5 个 / 共 355 个」单位 s,0 至 70

「上游服务延迟趋势」的图例中会出现「(已删除)」后缀,表示该上游服务已不存在,但历史延迟数据仍保留在图表中。

页面下半部分的上游服务表格在截图中位于折叠线以下,字段如下:

列说明
上游服务上游服务名称
上游成本(¥)该服务的上游成本
TPS(tok/s)每秒生成的 Token 数
平均延迟平均耗时
P95 延迟95 分位耗时
P99 延迟99 分位耗时
首Token时延(TTFT)首个 Token 返回耗时
TTFT P95首 Token 时延的 95 分位
错误率该服务的错误占比
流式占比流式调用占该服务调用的比例
操作「复制」「详情」

表格工具栏为「列显隐」「刷新」,底部每页条数截图中为「10 条/页」。

操作步骤 ​

比较上游延迟

  1. 在左侧导航选择「上游统计」>「质量监控」。
  2. 在「上游服务平均延迟」中查看平均、P95、P99 三条数据。
  3. 单击图表右上角箭头查看更多上游服务。
  4. 在下方表格中按「P95 延迟」排序,定位长尾较重的服务。

查看延迟走势

  1. 在「上游服务延迟趋势」中选择要观察的服务。
  2. 对照横轴时间点,找出耗时突增的时段。
  3. 结合「上游成本趋势」判断是否为流量高峰导致。
  4. 需要更细的逐条数据时进入「调用记录」。

筛选单个上游

  1. 单击「上游服务」选择目标服务。
  2. 观察四张图表同时收窄。
  3. 在下表核对「错误率」「流式占比」等指标。
  4. 清除筛选恢复全量对比。

结果验证 ​

  • 筛选上游服务后,四张图表只展示所选服务的数据。
  • 「上游服务平均延迟」中三条条形分别对应平均、P95、P99。
  • 图例中的「(已删除)」标记保留历史数据,不影响其他服务对比。
  • 表格中的延迟数值与图表中的条形长度方向一致。

注意事项 ​

  • 「显示前 5 个 / 共 436 个」表示图表只画前 5 项,完整数据需翻页或在表格中查看。
  • 带「(已删除)」标记的上游服务只保留历史数据,不能再承接新调用。
  • 「上游成本(¥)」只含已核算部分,与顶部提示中的未确认调用数对应。
  • 延迟对比需在相同时间范围下进行,跨周期数据不可直接比较。
  • 表格列较多,右侧指标需横向滚动查看。

相关操作 ​