アーキテクチャ
- プロバイダーのロジックを分離する。 Gateway の呼び出しを専用サービスまたは SDK でラップし、変更の影響範囲を限定します。
- 可能な限りレスポンスをストリーミングする。 生成されたトークンをすぐに UI へ送信し、アシスタントのレイテンシを下げます。
- 重要度の低いジョブをまとめる。 バックグラウンドの生成や評価をキューに入れて、トラフィックの急増を抑えます。
セキュリティ
- 本番環境では
.envファイルではなく、シークレットマネージャー（AWS Secrets Manager、Doppler、1Password）に API キーを保存します。 - 独自 API でリクエスト署名を有効にし、クライアントアプリケーションから Gateway キーが漏れないようにします。
- 認証情報の漏えいを避けるため、キーは末尾を省略して記録します（例：
sk_prod_abcd...）。
信頼性
- 再試行可能なすべてのエラー（HTTP 429 または 5xx）に対し、ジッターを加えた指数バックオフを実装します。
- レート制限されたリクエストを再試行する前に、
Retry-Afterヘッダーに従います。 - プロバイダーのメタデータを監視し、別のプロバイダーへの自動切り替えを検出します。
可観測性
コラボレーション
- プロンプトのテンプレート、入力パラメーター、出力の処理方法を社内 Wiki に記録します。
- ベンチマークの変化とプロダクトへの影響が分かるダッシュボードを共有します。
- プロダクト、リサーチ、サポートの各チームで定期的にレビューし、動作の一貫性を保ちます。