連携の構成を決める
- Gateway の呼び出しを 1 つのサービスまたは SDK クライアントにまとめる。 モデルやプロバイダーを変更するときに、変更箇所が 1 か所で済みます。Gateway との連携を参照してください。
- チャット UI にはレスポンスをストリーミングする。 ユーザーはトークンが届くたびに確認できます。ストリーミングを参照してください。
- 急ぎでない処理はキューに入れる。 バックグラウンドでの生成や評価などをキューに入れて、トラフィックの急増を平準化します。Batch API は大きなジョブを非同期で実行します。
キーを秘密に保つ
- 本番環境では、API キーを
.envファイルではなくシークレットマネージャー(AWS Secrets Manager、Doppler、1Password)に保存します。 - Gateway はバックエンドから呼び出し、自分のクライアントアプリはバックエンドに対して認証させて、クライアントが Gateway のキーを持たないようにします。
- ログに記録するのはキーのプレフィックス(
phaseo_v1_sk_<kid>など)だけにし、シークレットは決して記録しません。
安全に再試行する
429と5xxのレスポンスは、ジッター付きの指数バックオフで再試行します。- レート制限されたリクエストは、
Retry-Afterの時間だけ待ってから再試行します。 - 各リクエストをどのプロバイダーが処理したかをリクエストのログで確認し、トラフィックが別のプロバイダーにフェイルオーバーしたときに気付けるようにします。
適切な指標を監視する
リクエストログと可観測性を参照してください。プロンプトのテンプレート、パラメーター、出力の扱いは、チームがレビューできる場所に文書化しておきます。プリセットを使うと、共有のプロンプトと既定値を 1 か所にまとめられます。