Passer au contenu principal
La plupart des modèles sont servis par plusieurs fournisseurs. Pour chaque requête, le Gateway conserve les fournisseurs autorisés par vos règles, les classe et appelle le meilleur. Si ce fournisseur échoue, il essaie le suivant ; si tous les fournisseurs échouent avec une erreur pouvant être relancée, il peut passer à un modèle de repli. Votre client doit tout de même relancer les réponses 429 et 5xx avec un backoff exponentiel.

Choisir comment les fournisseurs sont classés

Définissez la valeur par défaut de l’espace de travail dans Tableau de bord -> Paramètres -> Routage, avec phaseo settings update --routing-mode <mode>, ou avec routing_mode sur PATCH /v1/settings. Pour une seule requête, envoyez provider.sort ou routing.mode, ou ajoutez un suffixe à l’identifiant du modèle : Un suffixe remplace routing.mode, provider.sort, ainsi que les modes du préréglage et de l’espace de travail. Les listes d’autorisation, les régions, les garde-fous et les plafonds de prix s’appliquent toujours. La page des paramètres de routage propose aussi des interrupteurs pour les canaux bêta et alpha : les fournisseurs en préversion ne reçoivent du trafic que si vous les activez.

Comment le mode balanced classe les fournisseurs

Pour les requêtes texte (Chat Completions, Responses et Messages), balanced estime le coût par réponse réussie de chaque fournisseur :
  • Tokens : ce que coûte une requête typique pour ce modèle chez le fournisseur, d’après les tailles de prompt et de sortie mesurées pour le modèle et le taux de succès du cache mesuré chez le fournisseur.
  • Attente : le délai avant le premier token et avant la réponse complète, converti en dollars au prix typique par seconde du modèle.
  • Échecs : le total divisé par le taux de réussite récent du fournisseur, plus une pénalité pour les erreurs du fournisseur et une plus faible pour les limites de débit.
Les fournisseurs proches du coût le plus bas se partagent l’essentiel du trafic. Chaque fournisseur conserve une petite part, afin qu’un rétablissement soit remarqué. Choisissez un scénario pour voir comment cela se passe (les fournisseurs sont des exemples) : Les autres endpoints sont notés selon la fiabilité, la latence, la latence de queue, le débit, le prix et l’adéquation en tokens. Si vous êtes un fournisseur, Comment les fournisseurs obtiennent du trafic explique comment gagner une part plus importante.

Modèles de repli au niveau de la requête

Listez les modèles de repli dans models. Phaseo essaie d’abord model, puis chaque entrée dans l’ordre :
Choisissez ce que renvoie chaque modèle pour voir quand Phaseo passe au suivant : Ce qui fait passer au modèle suivant. Un modèle n’est essayé qu’après que le précédent, avec toutes ses relances chez les fournisseurs, s’est terminé par 429, 500, 502, 503 ou 504. Un 429 dû à un budget Phaseo ou au quota d’un modèle gratuit fait aussi passer au suivant, car un autre modèle peut tenir dans la limite restante. C’est aussi le cas d’un modèle qu’aucun fournisseur ne sert plus, par exemple un modèle retiré. Ce qui ne le fait pas. Les erreurs client telles que 400, 401, 402, 403, 404, 408, 413 et 422 sont renvoyées immédiatement. De même pour les échecs survenant avant l’exécution du premier modèle, comme l’authentification ou les limites de débit de la clé API. Règles de la liste :
  • model est obligatoire ; envoyer models seul renvoie 400.
  • models accepte de 1 à 25 entrées. Les doublons et les copies de model sont ignorés.
  • Les entrées peuvent être des identifiants de modèle, des identifiants qualifiés par fournisseur ou des préréglages tels que @support.
  • Chaque tentative est validée comme une requête à part entière (endpoint, paramètres, modèles de l’espace de travail, garde-fous, préréglages, tarification, BYOK). Un modèle de repli qui ne peut pas servir la requête est ignoré et journalisé ; il ne remplace jamais l’erreur que vous auriez reçue sinon. Une tentative identique à une tentative déjà effectuée est aussi ignorée.
Journaux et facturation. Chaque tentative est une requête distincte avec son propre enregistrement d’utilisation, facturée comme si les solutions de repli n’existaient pas. Le champ model de la réponse nomme le modèle qui a répondu, et sa trace de routage liste l’identifiant de la requête principale, l’ordre de repli et chaque tentative antérieure. Streaming, vidéo et musique. Un stream ne se replie qu’avant son premier octet ; ensuite, les erreurs arrivent dans le stream. La vidéo et la musique ne se replient que pendant la soumission de la tâche. Avec les autres contrôles de routage. Les solutions de repli d’une route dynamique associée ont priorité sur models, et un modèle fixe choisi par la route s’applique toujours à chaque tentative. Un préréglage applique ses propres contraintes à chaque tentative où il est utilisé. phaseo/auto gère ses propres solutions de repli et ne peut pas être combiné avec models. Les endpoints multipart acceptent des champs models répétés, des champs models[] ou une chaîne de tableau JSON unique. Consultez aussi Limites de débit et Erreurs.

Épingler un seul fournisseur

Placez le fournisseur devant l’identifiant du modèle pour utiliser exactement ce fournisseur :
Cela désactive le repli vers d’autres fournisseurs pour la requête. Les suffixes restent dans l’identifiant du modèle, comme dans baseten:google/gemma-4-26b-a4b:free. Identifiants de modèle qualifiés par fournisseur détaille la syntaxe complète et les erreurs.

Limiter les fournisseurs utilisés

Associer des règles de routage à des clés API

Une route dynamique est un flux de règles associé à une ou plusieurs clés API d’inférence. Elle peut :
  • créer des branches selon les champs du corps de la requête, les en-têtes, les metadata personnalisées, l’endpoint, le modèle ou l’identifiant de session
  • répartir le trafic par pourcentage pour les tests A/B et les déploiements progressifs
  • plafonner les requêtes ou le coût quotidien, hebdomadaire ou mensuel par clé
  • changer de modèle, de mode de routage, de préférence de fournisseur et de modèles de repli (jusqu’à huit)
  • activer l’affinité de fournisseur tenant compte du cache et de la session
Les conditions ont des sorties vrai et faux ; les nœuds de débit et de budget ont des sorties « dans la limite » et « dépassé ». Les répartitions en pourcentage sont déterministes par session ou par clé de cache de prompt : une conversation en cache ne change donc pas de branche. L’enregistrement crée une version brouillon immuable. Le déploiement copie cette version dans le Gateway et vide les caches de politique de ses clés ; les versions antérieures restent disponibles pour un retour en arrière. Les recommandations sur l’état de santé des fournisseurs apparaissent sous Insights. Depuis un script, utilisez l’API /v1/routing/dynamic-routes avec une clé de gestion. Les métadonnées personnalisées se placent dans le corps de la requête sur les endpoints texte compatibles OpenAI :

Garder une conversation chez un seul fournisseur

Le routage tenant compte du cache est activé par défaut pour la génération de texte. Une requête qui envoie prompt_cache_key ou session_id, ou qui active la mise en cache avec cache_control (au premier niveau, dans provider_options.anthropic, ou sous forme de marque cache_control ou prompt_cache_breakpoint sur un bloc de message ou un outil), est épinglée au fournisseur et à la route qui ont servi sa première requête réussie. Les autres requêtes sont épinglées pendant 15 minutes dès qu’un fournisseur signale une lecture ou une écriture de cache pour le même contexte d’ouverture, si l’entrée en cache de ce fournisseur coûte moins cher que son entrée standard. Désactivez-le pour une requête avec provider.cache_aware_routing: false, ou conservez l’affinité de cache en ignorant la session avec routing.session_affinity: false :
Affinité de fournisseur liste les indications que Phaseo envoie à chaque fournisseur.

Expliquer une décision de routage

Ouvrez Tableau de bord -> Paramètres -> Utilisation -> Journaux des requêtes, sélectionnez une requête, puis développez Observabilité du routage sous Réponses des fournisseurs. Vous y voyez :
  • chaque fournisseur classé avec son score final, et ceux qui ont été sélectionnés et essayés
  • les fournisseurs exclus avant le classement, avec la raison
  • les fournisseurs rétrogradés en raison de leur état de déploiement ou de routage
  • les entrées, pondérations, contributions et multiplicateurs de chaque score
Les facteurs de score modifient le score ; le contexte enregistré explique la décision sans nécessairement l’influencer. Les traces ne contiennent que des nombres et des statuts, jamais de prompts ni de sorties. Les requêtes effectuées avant l’activation de l’observabilité du routage peuvent afficher une trace partielle ou aucune trace.

Ce qui compte contre la disponibilité d’un fournisseur

Les restrictions géographiques et les limites de débit sont suivies séparément, car elles ne signifient pas que le fournisseur est en panne. En production, journalisez les identifiants de requête, les codes de statut et les identifiants de modèle afin de pouvoir rapprocher les échecs de ces traces.

Modèles retirés

Un modèle retiré continue de fonctionner tant qu’un fournisseur le sert encore. Ensuite, les requêtes échouent avec 410 model_retired, sauf si l’espace de travail les envoie vers un remplaçant grâce au routage des modèles retirés. Votre propre liste models est toujours essayée en premier. Consultez Obsolescence et retrait des modèles.

Points à considérer pour BYOK

Avec , Phaseo route et journalise la requête, tandis que votre fournisseur facture l’utilisation du modèle. Limitez chaque clé aux modèles et aux clés API qui en ont besoin. Pour empêcher une requête BYOK en échec d’être relancée avec des crédits Phaseo, désactivez le repli dans Tableau de bord -> Paramètres -> BYOK, ou définissez byok_fallback_enabled sur PATCH /v1/settings avec une clé de gestion. Ajoutez des clés au même endroit, ou avec POST /v1/byok et une clé de gestion.
Dernière modification le 7 novembre 2026