メインコンテンツへスキップ
Gateway の呼び出しはバックエンドの 1 つのサービスの背後に置き、キーはクライアントやログに含めず、安全に再試行できるものだけを再試行し、モデルごとにレイテンシ、コスト、エラーを監視します。以下の各セクションから、詳しいページにリンクしています。

連携の構成を決める

  • Gateway の呼び出しを 1 つのサービスまたは SDK クライアントにまとめる。 モデルやプロバイダーを変更するときに、変更箇所が 1 か所で済みます。Gateway との連携を参照してください。
  • チャット UI にはレスポンスをストリーミングする。 ユーザーはトークンが届くたびに確認できます。ストリーミングを参照してください。
  • 急ぎでない処理はキューに入れる。 バックグラウンドでの生成や評価などをキューに入れて、トラフィックの急増を平準化します。Batch API は大きなジョブを非同期で実行します。

キーを秘密に保つ

  • 本番環境では、API キーを .env ファイルではなくシークレットマネージャー(AWS Secrets Manager、Doppler、1Password)に保存します。
  • Gateway はバックエンドから呼び出し、自分のクライアントアプリはバックエンドに対して認証させて、クライアントが Gateway のキーを持たないようにします。
  • ログに記録するのはキーのプレフィックス(phaseo_v1_sk_<kid> など)だけにし、シークレットは決して記録しません。
認証を参照してください。

安全に再試行する

  • 429 と 5xx のレスポンスは、ジッター付きの指数バックオフで再試行します。
  • レート制限されたリクエストは、Retry-After の時間だけ待ってから再試行します。
  • 各リクエストをどのプロバイダーが処理したかをリクエストのログで確認し、トラフィックが別のプロバイダーにフェイルオーバーしたときに気付けるようにします。
エラーとデバッグとレート制限を参照してください。

適切な指標を監視する

リクエストログと可観測性を参照してください。プロンプトのテンプレート、パラメーター、出力の扱いは、チームがレビューできる場所に文書化しておきます。プリセットを使うと、共有のプロンプトと既定値を 1 か所にまとめられます。
最終更新日 2026年11月5日