架构
- 隔离提供商逻辑。 将 Gateway 调用封装在专用服务或 SDK 中，避免改动扩散。
- 尽可能流式传输响应。 随着令牌生成，将其立即传到界面，降低助手的延迟。
- 批量处理非关键任务。 将后台生成或评估任务排入队列，平滑流量峰值。
安全
- 在生产环境中，请将 API 密钥存储在密钥管理器（AWS Secrets Manager、Doppler、1Password）中，而不是
.env文件里。 - 为自有 API 启用请求签名，避免客户端应用暴露 Gateway 密钥。
- 日志中只记录截断后的密钥（例如
sk_prod_abcd...），避免泄露凭据。
可靠性
- 对所有可重试错误（HTTP 429 或 5xx）采用带随机抖动的指数退避。
- 重试受到速率限制的请求前，请遵循
Retry-After请求头。 - 监控提供商元数据，及时发现流量自动切换到其他提供商的情况。
可观测性
协作
- 在内部 Wiki 中记录提示模板、输入参数和输出处理方式。
- 共享可视化面板，突出基准测试的变化及其对产品的影响。
- 鼓励产品、研究和支持团队定期评审，确保行为保持一致。