目标
- 精简 Python 调用代码
- 使用预设标识进行路由,而不是在代码中硬编码模型
- 请求严格的结构化输出
- 保留足够的响应元数据,以便调试路由或插件行为
1. 从共享客户端开始
2. 将稳定的默认值移入预设
如果以下设置需要在多个调用方之间保持一致,请在控制台 -> 设置 -> 预设中创建预设:- 系统提示词
- 模型或允许使用的模型列表
- 提供方偏好
- 推理配置
- temperature 和相关生成参数
- 需要确定性重放时使用的响应缓存策略
3. 请求一种严格的 JSON 结构
preset将路由和提示词默认值放在应用代码之外response_format明确了输出契约- 如果工作流允许,
plugins可以恢复接近有效但格式错误的 JSON meta保留路由和插件执行详情,便于调试
4. 解析 JSON 并记录运行标识
- 控制台中的请求详情对话框
- 路由诊断
- 插件执行元数据
5. 添加覆盖配置前先调试
如果某个请求的路由与预期不同:- 在 Gateway -> 用量 中打开该请求
- 查看路由诊断和候选提供方
- 如果涉及结构化 JSON,请检查插件执行元数据
- 查看日志确认实际行为后,再更改预设
6. 需要复用结果时保持缓存兼容
如果预设启用了响应缓存:- 保持提示词措辞稳定
- 保持响应架构稳定
- 避免不必要的逐请求提供方覆盖
- 避免频繁变化的工具列表