Ce qui compte dans une requête
Quand le raisonnement épuise la limite de sortie
Un modèle de raisonnement peut consommer toute la limite de sortie avant de produire une réponse. La réponse reste en HTTP200 et contient le raisonnement produit, sans réponse inventée :
Un arrêt normal reste
stop (Chat Completions) ou completed (Responses). Augmentez la limite de sortie ou réduisez l’effort de raisonnement si ces cas se produisent souvent.
Définir un budget par route
- Fixez une taille d’entrée maximale pour chaque type de requête, comme une réponse de recherche ou un brouillon long. Ne copiez pas la même limite sur tous les endpoints.
- Laissez assez de place en sortie pour la réponse la plus longue que ce type de requête doit produire.
- Réduisez ou résumez les contextes volumineux avant de les envoyer, en commençant par les passages les moins susceptibles de compter.
- Vérifiez si les sorties sont tronquées, par exemple avec
finish_reason: "length"ou un JSON partiel, et relancez avec plus de place le cas échéant. - Suivez dans le temps le nombre de tokens indiqué dans le champ
usagede chaque réponse, et ajustez les limites à mesure que vos prompts évoluent.