Trier les fournisseurs par prix, latence ou débit

Utilisez cette recette lorsque le modèle reste le même, mais que vous souhaitez que le gateway classe différemment les offres des fournisseurs pour une requête.

Objectif

Privilégiez le fournisseur le moins cher pour une requête.
Privilégiez le fournisseur ayant la latence la plus faible pour les parcours interactifs.
Privilégiez le fournisseur au débit le plus élevé pour la génération en masse.

1. Ajoutez `provider.sort` à la requête

Pour les requêtes textuelles, définissez le tri souhaité directement dans l’objet provider.

curl https://api.phaseo.app/v1/responses \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "google/gemini-3.1-flash-lite",
    "input": "Give me one release-note bullet for the last deploy.",
    "provider": {
      "sort": "price"
    }
  }'

import Phaseo from "@phaseo/sdk";

const client = new Phaseo({ apiKey: process.env.PHASEO_API_KEY! });

const response = await client.generateResponse({
  model: "google/gemini-3.1-flash-lite",
  input: "Give me one release-note bullet for the last deploy.",
  provider: {
    sort: "price",
  },
});

console.log(response.output_text);

from phaseo import Phaseo

client = Phaseo(api_key="YOUR_API_KEY")

response = client.generate_response(
    {
        "model": "google/gemini-3.1-flash-lite",
        "input": "Give me one release-note bullet for the last deploy.",
        "provider": {
            "sort": "price",
        },
    }
)

print(response.get("output_text"))

package main

import (
  "context"
  "fmt"

  phaseo "github.com/phaseoteam/Phaseo/packages/sdk/sdk-go/v3"
)

func main() {
  client := phaseo.New("YOUR_API_KEY", "https://api.phaseo.app/v1")

  response, err := client.GenerateResponse(context.Background(), phaseo.ResponsesRequest{
    Model: "google/gemini-3.1-flash-lite",
    Input: "Give me one release-note bullet for the last deploy.",
    Provider: map[string]interface{}{
      "sort": "price",
    },
  })
  if err != nil {
    panic(err)
  }

  fmt.Println(response)
}

using PhaseoSdk;
using System.Collections.Generic;

var client = new Phaseo("YOUR_API_KEY");

var response = await client.GenerateResponse(new Dictionary<string, object>
{
    ["model"] = "google/gemini-3.1-flash-lite",
    ["input"] = "Give me one release-note bullet for the last deploy.",
    ["provider"] = new Dictionary<string, object>
    {
        ["sort"] = "price"
    }
});

Console.WriteLine(response);

<?php
require 'vendor/autoload.php';

use Phaseo\Sdk\Phaseo;

$client = new Phaseo(getenv('PHASEO_API_KEY') ?: 'YOUR_API_KEY');

$response = $client->generateResponse([
    'model' => 'google/gemini-3.1-flash-lite',
    'input' => 'Give me one release-note bullet for the last deploy.',
    'provider' => [
        'sort' => 'price',
    ],
]);

print_r($response);

require 'phaseo_sdk'

client = PhaseoSdk::Phaseo.new(api_key: ENV.fetch('PHASEO_API_KEY', 'YOUR_API_KEY'))

response = client.generate_response(
  model: 'google/gemini-3.1-flash-lite',
  input: 'Give me one release-note bullet for the last deploy.',
  provider: {
    sort: 'price'
  }
)

puts response

Les tris de routage disponibles pour ce workflow sont :

price
latency
throughput

2. Choisissez le tri adapté à la charge de travail

Utilisez :

price lorsque le coût compte davantage que la latence de queue
latency pour le chat, les copilotes et les outils avec intervention humaine
throughput pour la génération à grande échelle ou les traitements de rattrapage

3. Comprenez ce que compare le gateway

Lorsque vous indiquez un tri explicite au niveau de la requête, le gateway classe les candidats de façon déterministe au lieu d’utiliser le mélange pondéré équilibré habituel. Pour les modèles textuels :

price compare les tarifs sur une base commune entre les fournisseurs admissibles
si des compteurs de texte communs existent, le gateway privilégie les correspondances entre input_text_tokens et output_text_tokens
latency utilise les données de latence les plus récentes des fournisseurs
throughput utilise les mesures de débit les plus récentes

4. Gardez un ensemble de fournisseurs réaliste

Le tri fonctionne mieux lorsque vous réduisez d’abord le nombre de candidats, si nécessaire. Par exemple, triez uniquement parmi un ensemble approuvé de fournisseurs :

curl https://api.phaseo.app/v1/responses \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "google/gemini-3.1-flash-lite",
    "input": "Summarize the incident in one sentence.",
    "provider": {
      "only": ["google-vertex", "google-vertex-eu"],
      "sort": "latency"
    }
  }'

import Phaseo from "@phaseo/sdk";

const client = new Phaseo({ apiKey: process.env.PHASEO_API_KEY! });

const response = await client.generateResponse({
  model: "google/gemini-3.1-flash-lite",
  input: "Summarize the incident in one sentence.",
  provider: {
    only: ["google-vertex", "google-vertex-eu"],
    sort: "latency",
  },
});

console.log(response.output_text);

from phaseo import Phaseo

client = Phaseo(api_key="YOUR_API_KEY")

response = client.generate_response(
    {
        "model": "google/gemini-3.1-flash-lite",
        "input": "Summarize the incident in one sentence.",
        "provider": {
            "only": ["google-vertex", "google-vertex-eu"],
            "sort": "latency",
        },
    }
)

print(response.get("output_text"))

package main

import (
  "context"
  "fmt"

  phaseo "github.com/phaseoteam/Phaseo/packages/sdk/sdk-go/v3"
)

func main() {
  client := phaseo.New("YOUR_API_KEY", "https://api.phaseo.app/v1")

  response, err := client.GenerateResponse(context.Background(), phaseo.ResponsesRequest{
    Model: "google/gemini-3.1-flash-lite",
    Input: "Summarize the incident in one sentence.",
    Provider: map[string]interface{}{
      "only": []string{"google-vertex", "google-vertex-eu"},
      "sort": "latency",
    },
  })
  if err != nil {
    panic(err)
  }

  fmt.Println(response)
}

using PhaseoSdk;
using System.Collections.Generic;

var client = new Phaseo("YOUR_API_KEY");

var response = await client.GenerateResponse(new Dictionary<string, object>
{
    ["model"] = "google/gemini-3.1-flash-lite",
    ["input"] = "Summarize the incident in one sentence.",
    ["provider"] = new Dictionary<string, object>
    {
        ["only"] = new[] { "google-vertex", "google-vertex-eu" },
        ["sort"] = "latency"
    }
});

Console.WriteLine(response);

<?php
require 'vendor/autoload.php';

use Phaseo\Sdk\Phaseo;

$client = new Phaseo(getenv('PHASEO_API_KEY') ?: 'YOUR_API_KEY');

$response = $client->generateResponse([
    'model' => 'google/gemini-3.1-flash-lite',
    'input' => 'Summarize the incident in one sentence.',
    'provider' => [
        'only' => ['google-vertex', 'google-vertex-eu'],
        'sort' => 'latency',
    ],
]);

print_r($response);

require 'phaseo_sdk'

client = PhaseoSdk::Phaseo.new(api_key: ENV.fetch('PHASEO_API_KEY', 'YOUR_API_KEY'))

response = client.generate_response(
  model: 'google/gemini-3.1-flash-lite',
  input: 'Summarize the incident in one sentence.',
  provider: {
    only: ['google-vertex', 'google-vertex-eu'],
    sort: 'latency'
  }
)

puts response

5. Vérifiez le résultat du classement

Pour le débogage, examinez la requête dans Gateway -> Utilisation et recherchez :

fournisseurs pris en compte
fournisseurs classés
les facteurs de score du routage liés au prix, à la latence ou au débit

Cela permet de vérifier facilement si le gateway a effectué le tri attendu.

Guides associés

Dernière modification le 2 octobre 2026

Commencez ici

Créer des applications

Routage et politiques

Recherche et données structurées

Démarrages rapides du SDK d’agents

Workflows avancés d’agents

Trier les fournisseurs par prix, latence ou débit

Objectif

1. Ajoutez `provider.sort` à la requête

2. Choisissez le tri adapté à la charge de travail

3. Comprenez ce que compare le gateway

4. Gardez un ensemble de fournisseurs réaliste

5. Vérifiez le résultat du classement

Guides associés

​Objectif

​1. Ajoutez provider.sort à la requête

​2. Choisissez le tri adapté à la charge de travail

​3. Comprenez ce que compare le gateway

​4. Gardez un ensemble de fournisseurs réaliste

​5. Vérifiez le résultat du classement

​Guides associés

Objectif

1. Ajoutez `provider.sort` à la requête

2. Choisissez le tri adapté à la charge de travail

3. Comprenez ce que compare le gateway

4. Gardez un ensemble de fournisseurs réaliste

5. Vérifiez le résultat du classement

Guides associés