プロバイダー間でルーティングする
プロバイダーを順位付け、制限、固定し、失敗したときのフォールバックモデルを指定します。
ほとんどのモデルは、複数のプロバイダーが提供しています。Phaseo はリクエストごとに、ルールで許可されたプロバイダーを残し、順位付けして、最適なものを呼び出します。そのプロバイダーが失敗した場合は、次のプロバイダーを試します。既定の順位付け balanced は、成功した回答あたりのコストを評価します。
これは provider オブジェクトで調整します(routing も別名として使えます)。
{
"model": "openai/gpt-5.6-luna",
"input": "Summarize this changelog.",
"provider": {
"order": ["openai", "azure"],
"sort": "latency",
"require_zero_data_retention": true
}
}
orderは優先する順番を指定します。onlyとignoreはプロバイダーを許可またはブロックします。sortはprice、latency、throughputのいずれかで順位付けします。モデルのサフィックス:cheap、:fast、:nitroも同じ働きをし、sortより優先されます。max_priceは価格の上限を設定します。required_execution_region、required_data_region、require_zero_data_retentionは、データをどこでどう扱うかを制限します。
クロスプロバイダーのフォールバックなしで 1 つのプロバイダーに固定するには、baseten:thinking-machines/inkling-small のように、モデル ID の前にプロバイダーを付けます。リクエスト全体をリージョンでルーティングしたい場合は、テキストのリクエストを eu.api.phaseo.app または us.api.phaseo.app に送ってください。
ほかのモデルにフォールバックするには、models にそれらを指定します。Phaseo はまず model を試し、次に各エントリーを順番に試しますが、前のモデルが 429、500、502、503、504 で終わった場合に限ります。400、401、402 などのエラーはすぐに返されます。各試行は別々のリクエストとして課金され、レスポンスの model フィールドには回答したモデルが示されます。ストリームがフォールバックするのは、最初のバイトが届く前だけです。
理解度チェック
"model": "openai/gpt-6-astra" と "models": ["anthropic/claude-sonnet-5.5"] を送りました。最初のモデルが 400 validation_error を返します。どうなりますか?
実践してみる
法務チームから、顧客のプロンプトはゼロデータ保持を満たすプロバイダーにだけ送ること、そして特定の 1 つのプロバイダーには決して送らないことを求められました。プロバイダーを 1 つに固定したくはありません。何を送りますか?
答えを表示答えを隠す
Phaseo がプロバイダー間でフォールバックできるようにモデル ID はそのままにし、"provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] } を追加します。provider:model で固定すると、クロスプロバイダーのフォールバックが無効になってしまうので、ここでは使いません。
ポイント
provider を、1 つに固定するには provider: プレフィックスを、再試行可能なエラーでほかのモデルにフォールバックするには models を使います。関連リンク
最終確認日:2026年11月17日