429 を返す可能性は残ります。
プロバイダーの制限
BYOK リクエストには、ご自身のプロバイダーアカウントの制限が適用されます。管理対象のリクエストは共有のプロバイダー容量を使用します。この容量は、個々のワークスペースに割り当てられた利用枠ではありません。 ルーティング先のプロバイダーがRetry-After を返した場合、Phaseo は検証済みの値を転送します。BYOK のレスポンスには X-Phaseo-Upstream-RateLimit-* ヘッダーが含まれることもあります。これらのクォータヘッダーは共有のプロバイダー容量を示すため、管理対象のリクエストでは省略されます。その他の上流ヘッダーは転送されません。
制限されたリクエストへの対応
- エラーコードを確認し、プロバイダーによる一時的な制限と、設定変更が必要なポリシーや予算の制約を区別してください。
Retry-Afterがある場合は従ってください。値は秒数による待機時間、または HTTP 日付です。再試行をスケジュールする前に値を検証してください。- それ以外の場合は、ランダムな揺らぎと最大待機時間を設定した指数バックオフを使用してください。
- 再試行は、試行回数と全体の期限の両方で制限してください。不要になった処理をキャンセルし、再試行する前に失敗した各レスポンスのボディを解放してください。
- 制限が続く場合は同時実行数を減らしてください。
スロットリングの監視
エンドポイントとモデル別に429 の発生率を追跡し、リクエストログでフォールバックの頻度を確認してください。アプリケーションのログをルーティング設定、および BYOK トラフィックに対するプロバイダーアカウントのクォータと照合してください。
ワークスペースの支出とアクセスの制御については、予算とガードレールを参照してください。