変更点
1
プロキシ設定を洗い出す
現在の LiteLLM デプロイで使われているモデルエイリアス、フォールバック、プロバイダールール、再試行ポリシー、予算、コールバック、環境変数をすべて記録します。共通ポリシーと、単一アプリケーションに属する設定を区別してください。
2
プロキシのエンドポイントを置き換える
OpenAI互換のリクエストコードはそのままにし、ベースURLとキーを変更します。
3
エイリアスとルーティングルールを対応付ける
すべての本番モデルを
GET /v1/models で確認します。呼び出し側が内部エイリアスに依存している場合、各リクエストを変更するのではなく、アプリケーションの1か所で正規化します。再利用するプロンプト、パラメーター、プロバイダー制限はプリセットに移します。プロバイダーの優先順位とフォールバックはルーティングとフォールバックで設定します。4
本番ワークフローを検証する
ストリーミング、ツール、構造化出力、再試行、エラー変換、LiteLLM デプロイが担っていたコールバック型の可観測性をテストします。トラフィックを段階的に移す前に、レイテンシ、出力、トークン使用量、コストを比較してください。
移行チェックリスト
- LiteLLM の URL、キー、デプロイ依存関係を洗い出した。
- 本番の各モデルとエイリアスに明示的な Phaseo の対応先がある。
- 共有デフォルトをプリセットまたはアプリケーションの一か所に移した。
- 使用する場合、ストリーミング、ツール、構造化出力がステージングで動作する。
- 必要なコールバックとテレメトリに代替手段がある。
- ロールバックは引き続きエンドポイントとキーの設定変更だけで行える。