组织集成结构
- 把 Gateway 调用封装在一个服务或 SDK 客户端中,这样更换模型或提供商时只需改动一处。参见集成 Gateway。
- 向聊天界面流式传输响应,让用户在 token 到达时就能看到。参见流式传输。
- 把不紧急的工作放入队列,例如后台生成和评估,以平滑流量高峰。Batch API 以异步方式运行大型任务。
保护密钥
- 在生产环境中,把 API 密钥存放在密钥管理器(AWS Secrets Manager、Doppler、1Password)中,而不是
.env文件中。 - 从后端调用 Gateway,并让你自己的客户端应用向后端进行身份验证,这样客户端永远不会持有 Gateway 密钥。
- 只记录密钥的前缀,例如
phaseo_v1_sk_<kid>,绝不记录密钥本身。
安全地重试
- 对
429和5xx响应使用带抖动的指数退避重试。 - 重试受速率限制的请求之前,等待
Retry-After指定的时间。 - 在请求日志中查看每个请求由哪个提供商处理,以便发现流量何时故障转移到另一个提供商。
关注正确的信号
参见请求日志与可观测性。把提示模板、参数和输出处理方式记录在团队可以审阅的地方;预设可以把共享的提示和默认值集中在一处。