provider.sort を設定すると、既定のバランス型の順位付けではなく、price、latency、throughput のいずれかで同じモデルのプロバイダーを順位付けします。完成すると、使う言語でのリクエストができ、並べ替えでどのプロバイダーが選ばれたかをレスポンスとログで確認できます。
これらのリクエストの形は本番環境で使えます。ワークスペースの既定値、routing.mode、モデルのサフィックス :cheap・:fast・:nitro については、プロバイダーの順位付け方法を選ぶで説明しています。
並べ替え付きのリクエストを送る
meta: true を指定すると、並べ替えで選ばれたプロバイダーである meta.routing.selected_provider が追加されます。
各並べ替えの重み付け
並べ替えはプロバイダーのスコアの重みを変えるだけで、他の指標を外すわけではありません。そのため、安くても信頼性の低いプロバイダーが選ばれないこともあります。
レイテンシとスループットは、各プロバイダーについて Phaseo が最新に計測した値です。
承認済みの範囲内で並べ替える
並べ替えは、候補が受け入れられるプロバイダーだけになっているときに最も効果を発揮します。only を追加すると、その範囲内で並べ替えが行われます。
only、order、ignore についてはプロバイダーを固定または除外するで説明しています。