429。
提供商限制
BYOK 请求使用您的提供商账户限制。托管请求使用提供商的共享容量;该容量并非单个工作区的专属配额。 当路由到的提供商提供Retry-After 值时,Phaseo 会验证并转发该值。BYOK 响应还可能包含 X-Phaseo-Upstream-RateLimit-* 标头。这些配额标头描述的是提供商的共享容量,因此托管请求会省略这些标头。其他上游标头不会被转发。
处理被限流的请求
- 检查错误代码,区分提供商的临时限流与需要更改配置的策略或预算限制。
- 如果存在
Retry-After,请遵循其要求。该值可能是以秒为单位的延迟,也可能是 HTTP 日期;在安排重试前验证该值。 - 否则,使用带随机抖动和最大延迟的指数退避。
- 同时限制重试次数和总体截止时间。取消已放弃的任务,并在重试前释放每个失败响应的响应体。
- 如果限流持续,请降低并发量。
监控限流
按端点和模型跟踪429 的发生率,并在请求日志中检查回退频率。将应用日志与路由设置以及 BYOK 流量的提供商账户配额进行对比。
有关工作区的支出和访问控制,请参阅预算和防护规则。