429 et 5xx avec un backoff exponentiel.
Choisir comment les fournisseurs sont classés
Définissez la valeur par défaut de l’espace de travail dans Tableau de bord -> Paramètres -> Routage, avec
phaseo settings update --routing-mode <mode>, ou avec routing_mode sur PATCH /v1/settings. Pour une seule requête, envoyez provider.sort ou routing.mode, ou ajoutez un suffixe à l’identifiant du modèle :
Un suffixe remplace
routing.mode, provider.sort, ainsi que les modes du préréglage et de l’espace de travail. Les listes d’autorisation, les régions, les garde-fous et les plafonds de prix s’appliquent toujours.
La page des paramètres de routage propose aussi des interrupteurs pour les canaux bêta et alpha : les fournisseurs en préversion ne reçoivent du trafic que si vous les activez.
Comment le mode balanced classe les fournisseurs
Pour les requêtes texte (Chat Completions, Responses et Messages),balanced estime le coût par réponse réussie de chaque fournisseur :
- Tokens : ce que coûte une requête typique pour ce modèle chez le fournisseur, d’après les tailles de prompt et de sortie mesurées pour le modèle et le taux de succès du cache mesuré chez le fournisseur.
- Attente : le délai avant le premier token et avant la réponse complète, converti en dollars au prix typique par seconde du modèle.
- Échecs : le total divisé par le taux de réussite récent du fournisseur, plus une pénalité pour les erreurs du fournisseur et une plus faible pour les limites de débit.
Modèles de repli au niveau de la requête
Listez les modèles de repli dansmodels. Phaseo essaie d’abord model, puis chaque entrée dans l’ordre :
429, 500, 502, 503 ou 504. Un 429 dû à un budget Phaseo ou au quota d’un modèle gratuit fait aussi passer au suivant, car un autre modèle peut tenir dans la limite restante. C’est aussi le cas d’un modèle qu’aucun fournisseur ne sert plus, par exemple un modèle retiré.
Ce qui ne le fait pas. Les erreurs client telles que 400, 401, 402, 403, 404, 408, 413 et 422 sont renvoyées immédiatement. De même pour les échecs survenant avant l’exécution du premier modèle, comme l’authentification ou les limites de débit de la clé API.
Règles de la liste :
modelest obligatoire ; envoyermodelsseul renvoie400.modelsaccepte de 1 à 25 entrées. Les doublons et les copies demodelsont ignorés.- Les entrées peuvent être des identifiants de modèle, des identifiants qualifiés par fournisseur ou des préréglages tels que
@support. - Chaque tentative est validée comme une requête à part entière (endpoint, paramètres, modèles de l’espace de travail, garde-fous, préréglages, tarification, BYOK). Un modèle de repli qui ne peut pas servir la requête est ignoré et journalisé ; il ne remplace jamais l’erreur que vous auriez reçue sinon. Une tentative identique à une tentative déjà effectuée est aussi ignorée.
model de la réponse nomme le modèle qui a répondu, et sa trace de routage liste l’identifiant de la requête principale, l’ordre de repli et chaque tentative antérieure.
Streaming, vidéo et musique. Un stream ne se replie qu’avant son premier octet ; ensuite, les erreurs arrivent dans le stream. La vidéo et la musique ne se replient que pendant la soumission de la tâche.
Avec les autres contrôles de routage. Les solutions de repli d’une route dynamique associée ont priorité sur models, et un modèle fixe choisi par la route s’applique toujours à chaque tentative. Un préréglage applique ses propres contraintes à chaque tentative où il est utilisé. phaseo/auto gère ses propres solutions de repli et ne peut pas être combiné avec models.
Les endpoints multipart acceptent des champs
models répétés, des champs models[] ou une chaîne de tableau JSON unique. Consultez aussi Limites de débit et Erreurs.
Épingler un seul fournisseur
Placez le fournisseur devant l’identifiant du modèle pour utiliser exactement ce fournisseur :baseten:google/gemma-4-26b-a4b:free. Identifiants de modèle qualifiés par fournisseur détaille la syntaxe complète et les erreurs.
Limiter les fournisseurs utilisés
Associer des règles de routage à des clés API
Une route dynamique est un flux de règles associé à une ou plusieurs clés API d’inférence. Elle peut :- créer des branches selon les champs du corps de la requête, les en-têtes, les
metadatapersonnalisées, l’endpoint, le modèle ou l’identifiant de session - répartir le trafic par pourcentage pour les tests A/B et les déploiements progressifs
- plafonner les requêtes ou le coût quotidien, hebdomadaire ou mensuel par clé
- changer de modèle, de mode de routage, de préférence de fournisseur et de modèles de repli (jusqu’à huit)
- activer l’affinité de fournisseur tenant compte du cache et de la session
/v1/routing/dynamic-routes avec une clé de gestion.
Les métadonnées personnalisées se placent dans le corps de la requête sur les endpoints texte compatibles OpenAI :
Garder une conversation chez un seul fournisseur
Le routage tenant compte du cache est activé par défaut pour la génération de texte. Une requête qui envoieprompt_cache_key ou session_id, ou qui active la mise en cache avec cache_control (au premier niveau, dans provider_options.anthropic, ou sous forme de marque cache_control ou prompt_cache_breakpoint sur un bloc de message ou un outil), est épinglée au fournisseur et à la route qui ont servi sa première requête réussie. Les autres requêtes sont épinglées pendant 15 minutes dès qu’un fournisseur signale une lecture ou une écriture de cache pour le même contexte d’ouverture, si l’entrée en cache de ce fournisseur coûte moins cher que son entrée standard.
Désactivez-le pour une requête avec
provider.cache_aware_routing: false, ou conservez l’affinité de cache en ignorant la session avec routing.session_affinity: false :
Expliquer une décision de routage
Ouvrez Tableau de bord -> Paramètres -> Utilisation -> Journaux des requêtes, sélectionnez une requête, puis développez Observabilité du routage sous Réponses des fournisseurs. Vous y voyez :- chaque fournisseur classé avec son score final, et ceux qui ont été sélectionnés et essayés
- les fournisseurs exclus avant le classement, avec la raison
- les fournisseurs rétrogradés en raison de leur état de déploiement ou de routage
- les entrées, pondérations, contributions et multiplicateurs de chaque score
Ce qui compte contre la disponibilité d’un fournisseur
Les restrictions géographiques et les limites de débit sont suivies séparément, car elles ne signifient pas que le fournisseur est en panne. En production, journalisez les identifiants de requête, les codes de statut et les identifiants de modèle afin de pouvoir rapprocher les échecs de ces traces.
Modèles retirés
Un modèle retiré continue de fonctionner tant qu’un fournisseur le sert encore. Ensuite, les requêtes échouent avec410 model_retired, sauf si l’espace de travail les envoie vers un remplaçant grâce au routage des modèles retirés. Votre propre liste models est toujours essayée en premier. Consultez Obsolescence et retrait des modèles.
Points à considérer pour BYOK
Avec , Phaseo route et journalise la requête, tandis que votre fournisseur facture l’utilisation du modèle.
Limitez chaque clé aux modèles et aux clés API qui en ont besoin. Pour empêcher une requête BYOK en échec d’être relancée avec des crédits Phaseo, désactivez le repli dans Tableau de bord -> Paramètres -> BYOK, ou définissez
byok_fallback_enabled sur PATCH /v1/settings avec une clé de gestion. Ajoutez des clés au même endroit, ou avec POST /v1/byok et une clé de gestion.