Passer au contenu principal
Donnez à chaque type de requête une taille d’entrée cible et une limite de sortie, puis comparez-les à l’utilisation réelle. Chaque token envoyé ou reçu ajoute de la latence et du coût, et une limite de sortie trop basse tronque les réponses.

Ce qui compte dans une requête

Quand le raisonnement épuise la limite de sortie

Un modèle de raisonnement peut consommer toute la limite de sortie avant de produire une réponse. La réponse reste en HTTP 200 et contient le raisonnement produit, sans réponse inventée : Un arrêt normal reste stop (Chat Completions) ou completed (Responses). Augmentez la limite de sortie ou réduisez l’effort de raisonnement si ces cas se produisent souvent.

Définir un budget par route

  1. Fixez une taille d’entrée maximale pour chaque type de requête, comme une réponse de recherche ou un brouillon long. Ne copiez pas la même limite sur tous les endpoints.
  2. Laissez assez de place en sortie pour la réponse la plus longue que ce type de requête doit produire.
  3. Réduisez ou résumez les contextes volumineux avant de les envoyer, en commençant par les passages les moins susceptibles de compter.
  4. Vérifiez si les sorties sont tronquées, par exemple avec finish_reason: "length" ou un JSON partiel, et relancez avec plus de place le cas échéant.
  5. Suivez dans le temps le nombre de tokens indiqué dans le champ usage de chaque réponse, et ajustez les limites à mesure que vos prompts évoluent.
Pour comprendre l’interaction entre limites de sortie et échantillonnage, consultez Paramètres d’inférence.
Dernière modification le 5 novembre 2026