クライアントを切り替える
LLM_GATEWAY_* 変数を対応付けるか削除してください。アプリが @llmgateway/ai-sdk-provider を使っている場合は、Vercel AI Gateway からの移行のとおり @phaseo/ai-sdk-provider に切り替えます。
モデル ID を対応付ける
Phaseo の ID を一覧表示し、本番の各モデルと照合します。alibaba/<model> は Phaseo の ID ではありません。各 ID を Phaseo の <org>/<model> に対応付け、プロバイダーの固定は provider.only または provider:org/model 形式の ID で維持します。gpt-4o のようなプレフィックスのないエイリアスは、呼び出し箇所ごとではなく、クライアントの境界にある 1 つの関数で変換してください。
Gateway の機能を対応付ける
テストして展開する
基準となるプロンプトを両方の Gateway で実行し、品質、レイテンシー、コストを比較します。まずエンドポイントを確認してください。- すべての環境に
PHASEO_API_KEYが設定されている - 本番のすべてのモデル ID が対応付けられ、一覧に載っている
- ステージングで非ストリーミングとストリーミングのリクエストが通る
- 無効なキーと無効なモデルのエラーを処理している。エラーのボディは LLM Gateway と異なる場合があります
- ステージングで失敗したリクエストを
GET /v1/generationsから復元できる - 共有のプロンプトとルーティングの既定値が、本来あるべきプリセットにまとまっている