Objectif
- Uniformiser les valeurs par défaut des prompts et paramètres.
- Limiter les fournisseurs autorisés lors d’un déploiement ou pour respecter une exigence de conformité.
- Conserver suffisamment de contexte pour expliquer le choix de routage d’une requête.
1. Créer le préréglage
Dans Tableau de bord -> Paramètres -> Préréglages, créez un préréglage avec :- un nom et un slug explicites
- un prompt système
- les modèles approuvés
- les préférences de fournisseur
- des valeurs de paramètre par défaut, comme
temperature
2. Garder un corps de requête réduit
Le principal avantage des préréglages est que l’appelant n’a plus à répéter les mêmes valeurs par défaut de routage et de prompts dans chaque requête.3. Comprendre les changements apportés par le préréglage
Le préréglage est appliqué avant le routage des fournisseurs :- les paramètres manquants de la requête sont complétés à partir du préréglage
- le prompt du préréglage est ajouté au début de la couche système
- les préférences de fournisseur réduisent la liste des fournisseurs disponibles avant leur classement
- les restrictions de modèle sont vérifiées en amont au lieu de modifier silencieusement le routage
4. Déboguer le résultat du routage
Si une requête n’est pas routée comme prévu, ouvrez-la dans Gateway -> Utilisation et examinez :- les fournisseurs pris en compte
- les candidats classés
- les facteurs de routage associés à chaque candidat
- les blocages liés aux règles de l’espace de travail ou aux garde-fous
- pourquoi un fournisseur a été ignoré
- pourquoi une requête a été bloquée
- pourquoi une option moins coûteuse ou moins latente est arrivée en tête
5. Modèle opérationnel
Suivez ce modèle de déploiement lorsque vous modifiez le comportement du routage :- Créez un nouveau slug de préréglage pour la nouvelle règle.
- Faites passer un appel à faible risque au nouveau préréglage.
- Examinez les détails des requêtes et les tendances d’activité.
- Élargissez le déploiement uniquement lorsque les résultats de routage sont conformes aux attentes.