Leçon 1 sur 2 · 10 minutes

Router entre les fournisseurs

Classez, limitez ou épinglez des fournisseurs, et listez des modèles de repli pour les cas d’échec.

La plupart des modèles sont servis par plusieurs fournisseurs. Pour chaque requête, Phaseo garde les fournisseurs autorisés par vos règles, les classe et appelle le meilleur. Si ce fournisseur échoue, il essaie le suivant. Le classement par défaut, balanced, pondère le coût par réponse réussie.

Ajustez ce comportement avec l’objet provider (routing est accepté comme alias) :

{
  "model": "openai/gpt-5.6-luna",
  "input": "Summarize this changelog.",
  "provider": {
    "order": ["openai", "azure"],
    "sort": "latency",
    "require_zero_data_retention": true
  }
}
  • order définit un ordre de préférence ; only et ignore autorisent ou bloquent des fournisseurs.
  • sort classe par price, latency ou throughput. Les suffixes de modèle :cheap, :fast et :nitro font la même chose et l’emportent sur sort.
  • max_price fixe des plafonds de prix ; required_execution_region, required_data_region et require_zero_data_retention limitent où et comment les données sont traitées.

Pour épingler un seul fournisseur sans repli vers d’autres fournisseurs, placez-le devant l’ID de modèle : baseten:thinking-machines/inkling-small. Pour un routage régional de toute la requête, envoyez plutôt les requêtes de texte à eu.api.phaseo.app ou us.api.phaseo.app.

Pour basculer vers d’autres modèles, listez-les dans models. Phaseo essaie d’abord model, puis chaque entrée dans l’ordre, mais seulement si le modèle précédent se termine par 429, 500, 502, 503 ou 504. Les erreurs comme 400, 401 ou 402 sont renvoyées immédiatement. Chaque tentative est facturée comme une requête distincte, et le champ model de la réponse nomme le modèle qui a répondu. Un flux ne bascule qu’avant son premier octet.

Vérifiez votre compréhension

Vous envoyez "model": "openai/gpt-6-astra" avec "models": ["anthropic/claude-sonnet-5.5"]. Le premier modèle renvoie 400 validation_error. Que se passe-t-il ?

Mettez-le en pratique

Votre équipe juridique exige que les prompts des clients n’aillent qu’à des fournisseurs qui respectent le ZDR (Zero Data Retention), et que l’application ne touche jamais un fournisseur en particulier. Vous ne voulez pas épingler un seul fournisseur. Qu’envoyez-vous ?

Afficher la réponse

Gardez l’ID de modèle simple pour que Phaseo puisse toujours basculer d’un fournisseur à l’autre, et ajoutez "provider": { "require_zero_data_retention": true, "ignore": ["<provider-id>"] }. Épingler avec provider:model désactiverait le repli entre fournisseurs, ce que vous ne voulez pas.

À retenir

Utilisez provider pour classer et limiter les fournisseurs, un préfixe provider: pour en épingler un, et models pour basculer vers d’autres modèles en cas d’erreur relançable.

Liens utiles

La progression est enregistrée dans ce navigateur.

Dernière vérification le 17 novembre 2026