Router entre les fournisseurs
Classez, limitez ou épinglez des fournisseurs, et listez des modèles de repli pour les cas d’échec.
La plupart des modèles sont servis par plusieurs fournisseurs. Pour chaque requête, Phaseo garde les fournisseurs autorisés par vos règles, les classe et appelle le meilleur. Si ce fournisseur échoue, il essaie le suivant. Le classement par défaut, balanced, pondère le coût par réponse réussie.
Ajustez ce comportement avec l’objet provider (routing est accepté comme alias) :
{
"model": "openai/gpt-5.6-luna",
"input": "Summarize this changelog.",
"provider": {
"order": ["openai", "azure"],
"sort": "latency",
"require_zero_data_retention": true
}
}
orderdéfinit un ordre de préférence ;onlyetignoreautorisent ou bloquent des fournisseurs.sortclasse parprice,latencyouthroughput. Les suffixes de modèle:cheap,:fastet:nitrofont la même chose et l’emportent sursort.max_pricefixe des plafonds de prix ;required_execution_region,required_data_regionetrequire_zero_data_retentionlimitent où et comment les données sont traitées.
Pour épingler un seul fournisseur sans repli vers d’autres fournisseurs, placez-le devant l’ID de modèle : baseten:thinking-machines/inkling-small. Pour un routage régional de toute la requête, envoyez plutôt les requêtes de texte à eu.api.phaseo.app ou us.api.phaseo.app.
Pour basculer vers d’autres modèles, listez-les dans models. Phaseo essaie d’abord model, puis chaque entrée dans l’ordre, mais seulement si le modèle précédent se termine par 429, 500, 502, 503 ou 504. Les erreurs comme 400, 401 ou 402 sont renvoyées immédiatement. Chaque tentative est facturée comme une requête distincte, et le champ model de la réponse nomme le modèle qui a répondu. Un flux ne bascule qu’avant son premier octet.
Vérifiez votre compréhension
Vous envoyez "model": "openai/gpt-6-astra" avec "models": ["anthropic/claude-sonnet-5.5"]. Le premier modèle renvoie 400 validation_error. Que se passe-t-il ?
Mettez-le en pratique
Votre équipe juridique exige que les prompts des clients n’aillent qu’à des fournisseurs qui respectent le ZDR (Zero Data Retention), et que l’application ne touche jamais un fournisseur en particulier. Vous ne voulez pas épingler un seul fournisseur. Qu’envoyez-vous ?
Afficher la réponseMasquer la réponse
Gardez l’ID de modèle simple pour que Phaseo puisse toujours basculer d’un fournisseur à l’autre, et ajoutez "provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] }. Épingler avec provider:model désactiverait le repli entre fournisseurs, ce que vous ne voulez pas.
À retenir
provider pour classer et limiter les fournisseurs, un préfixe provider: pour en épingler un, et models pour basculer vers d’autres modèles en cas d’erreur relançable.Liens utiles
Dernière vérification le 17 novembre 2026