provider オブジェクトを追加すると、ワークスペースの既定値やプリセットを変えずに、そのリクエストを処理するプロバイダーを変更できます。完成すると、優先順を指定する、リクエストを許可リストの中に収める、特定のプロバイダーをスキップする、といったことができ、どのプロバイダーが応答したかをレスポンスで確認できます。
これらのリクエストの形は本番環境で使えます。プロバイダーのスラッグは実在する例です。使うモデルを提供しているプロバイダーは、そのモデルのページで確認してください。
プロバイダーを 1 つだけに限定し、プロバイダー間のフォールバックを無効にするには、代わりにモデル ID の前にプロバイダーを付けます。1 つのプロバイダーに固定するを参照してください。
決まった順序でプロバイダーを試す
meta: true を指定するとレスポンスに meta.routing.selected_provider が追加されるため、ログを開かずに結果を確認できます。
リクエストを許可リストの中に収める
only を送り、必要に応じて sort も送ると、その一覧の中で順位付けされます。
特定のプロバイダーをスキップする
プロバイダーの品質が低下しているときや、別の経路をテストしている間はignore を送ります。
組み合わせる
候補の範囲にはonly、その中での優先順には order、残りには sort を使います。次の例はリクエストを Google Vertex に限定し、EU リージョンを最初に試し、その後はレイテンシで順位付けします。