レッスン 1/2 · 10 分

プロバイダー間でルーティングする

プロバイダーを順位付け、制限、固定し、失敗したときのフォールバックモデルを指定します。

ほとんどのモデルは、複数のプロバイダーが提供しています。Phaseo はリクエストごとに、ルールで許可されたプロバイダーを残し、順位付けして、最適なものを呼び出します。そのプロバイダーが失敗した場合は、次のプロバイダーを試します。既定の順位付け balanced は、成功した回答あたりのコストを評価します。

これは provider オブジェクトで調整します(routing も別名として使えます)。

{
  "model": "openai/gpt-5.6-luna",
  "input": "Summarize this changelog.",
  "provider": {
    "order": ["openai", "azure"],
    "sort": "latency",
    "require_zero_data_retention": true
  }
}
  • order は優先する順番を指定します。only と ignore はプロバイダーを許可またはブロックします。
  • sort は price、latency、throughput のいずれかで順位付けします。モデルのサフィックス :cheap、:fast、:nitro も同じ働きをし、sort より優先されます。
  • max_price は価格の上限を設定します。required_execution_region、required_data_region、require_zero_data_retention は、データをどこでどう扱うかを制限します。

クロスプロバイダーのフォールバックなしで 1 つのプロバイダーに固定するには、baseten:thinking-machines/inkling-small のように、モデル ID の前にプロバイダーを付けます。リクエスト全体をリージョンでルーティングしたい場合は、テキストのリクエストを eu.api.phaseo.app または us.api.phaseo.app に送ってください。

ほかのモデルにフォールバックするには、models にそれらを指定します。Phaseo はまず model を試し、次に各エントリーを順番に試しますが、前のモデルが 429、500、502、503、504 で終わった場合に限ります。400、401、402 などのエラーはすぐに返されます。各試行は別々のリクエストとして課金され、レスポンスの model フィールドには回答したモデルが示されます。ストリームがフォールバックするのは、最初のバイトが届く前だけです。

理解度チェック

"model": "openai/gpt-6-astra" と "models": ["anthropic/claude-sonnet-5.5"] を送りました。最初のモデルが 400 validation_error を返します。どうなりますか?

実践してみる

法務チームから、顧客のプロンプトはゼロデータ保持を満たすプロバイダーにだけ送ること、そして特定の 1 つのプロバイダーには決して送らないことを求められました。プロバイダーを 1 つに固定したくはありません。何を送りますか?

答えを表示

Phaseo がプロバイダー間でフォールバックできるようにモデル ID はそのままにし、"provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] } を追加します。provider:model で固定すると、クロスプロバイダーのフォールバックが無効になってしまうので、ここでは使いません。

ポイント

プロバイダーの順位付けと制限には provider を、1 つに固定するには provider: プレフィックスを、再試行可能なエラーでほかのモデルにフォールバックするには models を使います。

関連リンク

進捗はこのブラウザーに保存されます。

最終確認日:2026年11月17日