"model": "phaseo/auto" を送ると、Phaseo はワークロード、ワークスペースの目的、料金の上限に基づいて、リクエストごとにモデルを選びます。自動ルーティングは、選ばれたワークスペースで利用できるアルファ版です。
model フィールドに、回答したモデルが表示されます。
モデルの選び方
- 候補。 Phaseo は、標準料金がわかっているすべての本番テキストモデルから始め、モデルのパターンと支出プロファイルに一致するものだけを残します。
- チェック。 各候補は、モデルを固定したリクエストと同じエンドポイント、ワークスペースのモデル、プロバイダー、プライバシー、ガードレール、サーキットブレーカーのチェックを通過する必要があります。
- 分類器。 固定された低コストのモデルがリクエストを読み、ワークロードの構成(コード、推論、ツール使用など)、複雑さのスコア、信頼度を返します。分類器自身がモデルを選ぶことはありません。リクエスト内のツールと構造化出力は、信頼できる事実として分類器に渡されます。
- スコア付け。 複雑さによって、許容できる回答を返せる可能性が高い最も能力の低いモデルに余裕を加えた水準が決まります。その後 Phaseo は、自己申告ではないカタログのベンチマークを、目的と、各候補の現在の料金、レイテンシー、健全性、信頼性と組み合わせます。データが欠けている場合は中立として扱われ、候補リストが広がることはありません。
設定する
1
自動ルーティングを開く
ダッシュボード -> 設定 -> ルーティング -> 自動ルーティング を開きます。
2
目的を選ぶ
3
支出プロファイルを選ぶ
各プロファイルは、標準ティアのテキスト料金(100 万トークンあたりの USD)に対する厳格な上限です。上限を超えるモデルは一切検討されません。
カスタム上限 では、両方の上限を自分で設定します。
4
モデルを絞り込む(任意)
anthropic/*、openai/gpt-5.* などのパターンや、正確なモデル ID を追加します。5
フォールバックを許可して保存する
フォールバックを有効にすると、
429、500、502、503、504 の後に、Phaseo は次の順位のモデルを試します。各フォールバックでも、すべてのチェックをもう一度通過します。クライアントエラーではモデルは切り替わりません。phaseo routing auto update --objective <o> --spend-profile <p> --allowed-patterns <list> --allow-fallbacks で設定し、phaseo routing auto get で読み戻します。API は PATCH /v1/routing/auto です。
分類器へのリクエスト
各phaseo/auto リクエストは、同じワークスペースと請求 ID のもとで、分類器モデルへの別の子リクエストを作成します。このリクエストは purpose=auto_routing_classifier と親リクエストの ID 付きでリクエストログに個別に表示され、個別に課金されます。
分類器が失敗した場合、タイムアウトした場合、または無効なデータを返した場合、Phaseo は代わりにローカルのルールベースの分類器(コード、推論、ツール使用、構造化出力、翻訳、要約、一般)を使うため、メインのリクエストは引き続き実行されます。
プライバシーとリージョンの制限
リクエストに対するデータの制限は、自動ルーティングにも適用されます。provider.require_zero_data_retention: trueを指定した場合、またはデータ保持ゼロのプロバイダーのみを許可するワークスペースやキーのガードレールがある場合、そのようなプロバイダーを持つモデルだけが候補になります。- 必須のリージョンは、各候補のプロバイダーに対して確認されます。
- 分類器へのリクエストにも同じ制限と、
onlyおよびignoreのプロバイダーリストが適用されます。分類器のモデルがそれを満たせない場合、Phaseo はローカルの分類器を使います。
unmet_requirements 付きの 403 model_region_unavailable で失敗します。他の理由でも除外されたモデルがある場合は、400 unsupported_model_or_endpoint で失敗します。
判断の内容を確認する
リクエストの詳細には、ワークロード、目的、選ばれたモデル、フォールバックの順序、各候補のスコアと要素ごとのスコア、ベンチマーク ID、除外理由、アルゴリズムのバージョンが表示されます。トレースにはプロンプトやレスポンスの内容は含まれません。他のルーティングと組み合わせる
- 動的ルート。 適用された動的ルートが選んだ固定モデルが優先されます。この上書きは記録され、そのリクエストでは自動ルーティングのフォールバックは無効になります。
- リクエストのフォールバック。
phaseo/autoは独自の順位付きフォールバックを管理するため、modelsリストと組み合わせたり、その中に含めたりすることはできません。