Structurer l’intégration
- Regroupez les appels au Gateway dans un seul service ou client SDK, pour qu’un changement de modèle ou de fournisseur reste localisé. Voir Intégrer le Gateway.
- Diffusez les réponses en streaming vers les interfaces de chat, pour que les utilisateurs voient les tokens au fur et à mesure. Voir Streaming.
- Mettez en file d’attente le travail non urgent, comme les générations en arrière-plan et les évaluations, pour lisser les pics de trafic. L’API Batch exécute les gros travaux de façon asynchrone.
Garder les clés secrètes
- Stockez les clés API dans un gestionnaire de secrets (AWS Secrets Manager, Doppler, 1Password) plutôt que dans des fichiers
.enven production. - Appelez le Gateway depuis votre backend et authentifiez vos propres applications clientes auprès de celui-ci, pour que les clients ne détiennent jamais de clé Gateway.
- Ne journalisez que le préfixe d’une clé, comme
phaseo_v1_sk_<kid>, jamais le secret.
Réessayer sans risque
- Réessayez les réponses
429et5xxavec un backoff exponentiel et une variation aléatoire (jitter). - Attendez la durée de
Retry-Afteravant de réessayer une requête limitée en débit. - Vérifiez dans les journaux de requêtes quel fournisseur a servi chaque requête, pour remarquer quand le trafic bascule vers un autre fournisseur.
Surveiller les bons signaux
Voir Journaux de requêtes et observabilité. Documentez vos modèles de prompt, vos paramètres et le traitement des sorties là où votre équipe peut les relire ; les préréglages regroupent les prompts et valeurs par défaut partagés en un seul endroit.