LLM Gateway からの移行

​

変更点

​

開始前に用意するもの

• 現在の LLM Gateway エンドポイントと API キーの設定。
• ローカル、ステージング、本番環境で利用できる PHASEO_API_KEY。
• 出力品質、レイテンシ、エラー率の基準となるサンプル。

​

1) 連携箇所を洗い出す

• LLM_GATEWAY_* 環境変数の使用箇所を探します。
• 実行時設定にあるベースURLの参照箇所を見つけます。
• 現在有効なモデルIDとフォールバックの連鎖を記録します。
• 共有プロンプトの既定値、プロバイダーの許可・拒否ロジック、Gateway プリセットに移すパラメーター設定を記録します。

​

2) エンドポイントと認証情報を切り替える

// Before
import OpenAI from "openai";

const before = new OpenAI({
  apiKey: process.env.LLM_GATEWAY_API_KEY,
  baseURL: "https://api.llmgateway.io/v1",
});

// After
import OpenAI from "openai";

const after = new OpenAI({
  apiKey: process.env.PHASEO_API_KEY,
  baseURL: "https://api.phaseo.app/v1",
});

curl -s "https://api.phaseo.app/v1/chat/completions" \
  -H "Authorization: Bearer $PHASEO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4.1-mini",
    "messages": [{"role":"user","content":"Hello"}]
  }'

​

3) モデルの互換性を確認する

curl -s "https://api.phaseo.app/v1/models" \
  -H "Authorization: Bearer $PHASEO_API_KEY" | jq '.data | length'

​

4) LLMGateway 移行チェックリスト

• すべての LLM_GATEWAY_* 変数を対応付けるか削除した。
• ベースURLを https://api.phaseo.app/v1 に変更した。
• すべてのデプロイ環境で PHASEO_API_KEY を設定した。
• 本番のモデルIDを /v1/models で確認した。
• ステージングでストリーミングあり・なしのリクエストを検証した。
• 無効なキーとモデルのエラー処理を再確認した。
• 必要に応じて、共有プロンプトやルーティングの既定値をプリセットに移した。
• GET /v1/generations?id=<request_id> による生成情報の検索を再確認した。replay_supported=true の場合、保存済みの replay_request ペイロードから失敗したリクエストを再生できます。

​

5) 検証して段階的に切り替える

1. 基準となるプロンプトセットを実行し、品質、レイテンシ、コストを基準値と比較します。
2. ステージングで失敗したリクエストを、GET /v1/generations が返す再生用ペイロードで復旧できることを確認します。
3. カナリアフラグを使って公開し、安定したらトラフィックの割合を段階的に増やします。
4. 古い設定を削除する前に、少なくとも1回のリリースサイクルで本番メトリクスを監視します。

​

検証用コマンド

curl -s "https://api.phaseo.app/v1/health"
curl -s "https://api.phaseo.app/v1/models" -H "Authorization: Bearer $PHASEO_API_KEY"

• ステージングでストリーミングあり・なしのリクエストを実行します。
• 基準となるプロンプトを再実行し、結果を比較します。

​

次のステップ

• OpenRouter からの移行
• Vercel AI Gateway からの移行
• クイックスタート