https://api.phaseo.app/v1 に向け、各 model_name エイリアスと各プロキシ設定を一つずつ意図的に対応付けます。LiteLLM を残したまま Phaseo をその上流として使う場合は、LiteLLM 連携を参照してください。
クライアントを切り替える
GET /v1/models?format=openai の ID への明示的な対応付けが必要です。呼び出し元が社内用のエイリアスを使っている場合は、すべてのリクエストを編集するのではなく、クライアントの境界にある 1 つの関数で変換してください。
プロキシの設定を対応付ける
プロキシを外す前に、コールバック、予算、リトライを棚卸ししてください。プロキシがなくなると、これらは何の通知もなく止まります。
プロキシはチーム全体のトラフィックを 1 人のキー所有者経由で送るため、そのユーザーの 1 分あたりのリクエスト数の上限を共有します。新しいワークスペースではこの上限は 10 です。切り替え前に Gateway の制限を確認し、より高い上限を手配してください。
テストして展開する
ストリーミング、ツール、構造化出力、リトライ、エラーの対応付け、そしてプロキシが処理していたコールバック経由のテレメトリをテストします。レイテンシー、出力、トークン使用量、コストを比較してから、段階的にトラフィックを移します。切り替え前に、次を確認してください。- LiteLLM の URL、キー、
LITELLM_*変数をすべて特定した - 本番のすべてのエイリアスに Phaseo への明示的な対応付けがある
- 共有の既定値がプリセットまたは 1 つの境界関数にまとまっている
- 必要なコールバックとテレメトリに代わるものがある
- 支出の記録を LiteLLM、Phaseo、またはその両方のどれにするか決めた
- 切り戻しが引き続きベース URL とキーの変更だけで済む