Passer au contenu principal
Placez les appels au Gateway derrière un seul service de votre backend, gardez les clés hors des clients et des journaux, ne réessayez que ce qui peut l’être sans risque, et surveillez la latence, le coût et les erreurs par modèle. Chaque section ci-dessous renvoie à la page qui donne les détails.

Structurer l’intégration

  • Regroupez les appels au Gateway dans un seul service ou client SDK, pour qu’un changement de modèle ou de fournisseur reste localisé. Voir Intégrer le Gateway.
  • Diffusez les réponses en streaming vers les interfaces de chat, pour que les utilisateurs voient les tokens au fur et à mesure. Voir Streaming.
  • Mettez en file d’attente le travail non urgent, comme les générations en arrière-plan et les évaluations, pour lisser les pics de trafic. L’API Batch exécute les gros travaux de façon asynchrone.

Garder les clés secrètes

  • Stockez les clés API dans un gestionnaire de secrets (AWS Secrets Manager, Doppler, 1Password) plutôt que dans des fichiers .env en production.
  • Appelez le Gateway depuis votre backend et authentifiez vos propres applications clientes auprès de celui-ci, pour que les clients ne détiennent jamais de clé Gateway.
  • Ne journalisez que le préfixe d’une clé, comme phaseo_v1_sk_<kid>, jamais le secret.
Voir Authentification.

Réessayer sans risque

  • Réessayez les réponses 429 et 5xx avec un backoff exponentiel et une variation aléatoire (jitter).
  • Attendez la durée de Retry-After avant de réessayer une requête limitée en débit.
  • Vérifiez dans les journaux de requêtes quel fournisseur a servi chaque requête, pour remarquer quand le trafic bascule vers un autre fournisseur.
Voir Erreurs et débogage et Limites de débit.

Surveiller les bons signaux

Voir Journaux de requêtes et observabilité. Documentez vos modèles de prompt, vos paramètres et le traitement des sorties là où votre équipe peut les relire ; les préréglages regroupent les prompts et valeurs par défaut partagés en un seul endroit.
Dernière modification le 5 novembre 2026