跳转到主要内容
把 Gateway 调用放在后端的一个服务之后,让密钥远离客户端和日志,只重试可以安全重试的请求,并按模型监控延迟、成本和错误。下面每一节都链接到包含详细内容的页面。

组织集成结构

  • 把 Gateway 调用封装在一个服务或 SDK 客户端中,这样更换模型或提供商时只需改动一处。参见集成 Gateway。
  • 向聊天界面流式传输响应,让用户在 token 到达时就能看到。参见流式传输。
  • 把不紧急的工作放入队列,例如后台生成和评估,以平滑流量高峰。Batch API 以异步方式运行大型任务。

保护密钥

  • 在生产环境中,把 API 密钥存放在密钥管理器(AWS Secrets Manager、Doppler、1Password)中,而不是 .env 文件中。
  • 从后端调用 Gateway,并让你自己的客户端应用向后端进行身份验证,这样客户端永远不会持有 Gateway 密钥。
  • 只记录密钥的前缀,例如 phaseo_v1_sk_<kid>,绝不记录密钥本身。
参见身份验证。

安全地重试

  • 对 429 和 5xx 响应使用带抖动的指数退避重试。
  • 重试受速率限制的请求之前,等待 Retry-After 指定的时间。
  • 在请求日志中查看每个请求由哪个提供商处理,以便发现流量何时故障转移到另一个提供商。
参见错误与调试和速率限制。

关注正确的信号

参见请求日志与可观测性。把提示模板、参数和输出处理方式记录在团队可以审阅的地方;预设可以把共享的提示和默认值集中在一处。
最后修改于 2026年11月5日