"model": "@release-summary" 和输入,你也可以把策略变更一次推行到一个调用方。
该请求结构可直接用于生产环境。预设说明了预设的设置如何与请求合并;本指南讲的是推行过程。
把调用方迁移到预设
1
创建预设
在设置 → 预设中创建
release-summary,包含系统提示、批准的模型、提供商偏好,以及 temperature 等默认参数。也可以使用管理密钥:2
按名称调用
把预设作为 响应中的
model 发送。没有单独的 preset 字段。model 是实际回答的模型,meta.routing.selected_provider 是提供商。3
查看预设应用了什么
在设置 → 用量 → 日志中打开该请求。它会显示应用了哪些预设默认值。不在预设允许模型范围内的模型会以
validation_error(关键字 preset_model_not_allowed)失败,而不会被重新路由。解释路由决策
当请求没有按你预期的方式路由时,在设置 → 用量 → 日志中展开该请求的路由可观测性。它回答三个问题:
解释路由决策介绍了每个字段。
推行策略变更
- 把变更发布为新的预设版本;如果策略差异很大,就创建一个新的 slug。
- 把一个低风险的调用方迁移过去,例如让它指向
@release-summary@v4或canary标签。 - 将它的请求详情和用量趋势与其他调用方进行比较。
- 路由符合预期后,迁移其余调用方。要回滚,就把标签指回之前的版本。