目标
- 统一提示词和参数的默认值。
- 在发布或合规边界内限制可使用的提供商。
- 保留足够的请求上下文,以解释请求为何以这种方式路由。
1. 创建预设
在控制台 -> 设置 -> 预设中创建预设,并设置:- 清晰的名称和 slug
- 系统提示词
- 已批准的模型
- 提供商偏好
temperature等参数默认值
2. 保持请求正文简洁
预设的主要优势是调用方无需在每个请求中重复相同的路由和提示词默认值。3. 了解预设会更改哪些内容
预设会在提供商路由前应用:- 请求中缺失的参数会由预设补齐
- 预设提示词会添加到系统层开头
- 提供商偏好会在排序前缩小可用提供商列表
- 模型限制会提前检查,而不是静默改用其他路由
4. 调试路由结果
如果请求的路由结果不符合预期,请在 Gateway -> 用量 中打开请求并检查:- 纳入考虑的提供商
- 排序后的候选项
- 每个候选项关联的路由因素
- 工作区策略或护栏导致的阻止
- 提供商为何被跳过
- 请求为何被阻止
- 成本更低或延迟更低的目标为何排名靠前
5. 运维模式
更改路由行为时,请按此模式逐步上线:- 为新策略创建新的预设 slug。
- 将一个低风险调用方切换到新预设。
- 检查请求详情和活动趋势。
- 只有在路由结果符合预期后才扩大上线范围。