"model": "@release-summary" et leur entrée, et vous pouvez déployer un changement de règle un appelant à la fois.
La forme de requête est prête pour la production. Préréglages explique comment les réglages d’un préréglage se fusionnent avec la requête ; cette recette porte sur le déploiement.
Faire passer un appelant sur un préréglage
1
Créer le préréglage
Dans Paramètres → Préréglages, créez
release-summary avec un prompt système, les modèles approuvés, les préférences de fournisseur et des paramètres par défaut comme temperature. Ou avec une clé de gestion :2
L’appeler par son nom
Envoyez le préréglage comme Dans la réponse,
model. Il n’existe pas de champ preset séparé.model est le modèle qui a répondu, et meta.routing.selected_provider le fournisseur.3
Vérifier ce que le préréglage a appliqué
Ouvrez la requête dans Paramètres → Utilisation → Journaux. Vous y voyez les valeurs par défaut du préréglage qui ont été appliquées. Un modèle hors des modèles autorisés du préréglage échoue avec
validation_error (mot-clé preset_model_not_allowed) au lieu d’être rerouté.Expliquer une décision de routage
Quand une requête n’a pas été routée comme prévu, dépliez Observabilité du routage sur la requête dans Paramètres → Utilisation → Journaux. Cette section répond à trois questions :
Expliquer une décision de routage décrit chaque champ.
Déployer un changement de règle
- Publiez le changement comme nouvelle version du préréglage, ou créez un nouveau slug pour une règle très différente.
- Faites passer un appelant à faible risque dessus, par exemple en le faisant pointer vers
@release-summary@v4ou vers un libellécanary. - Comparez le détail de ses requêtes et ses tendances d’utilisation avec celles des autres appelants.
- Faites passer les autres appelants une fois que le routage correspond à vos attentes. Pour revenir en arrière, faites pointer le libellé vers la version précédente.