Qué cuenta en una solicitud
Cuando el razonamiento agota el límite de salida
Un modelo de razonamiento puede gastar todo el límite de salida antes de producir una respuesta. La respuesta sigue siendo HTTP200 y contiene el razonamiento producido, sin una respuesta inventada:
Una parada normal sigue siendo
stop (Chat Completions) o completed (Responses). Si ves estos casos a menudo, aumenta el límite de salida o reduce el esfuerzo de razonamiento.
Define un presupuesto por ruta
- Define un tamaño máximo de entrada para cada tipo de solicitud, como una respuesta de búsqueda o un borrador largo. No copies el mismo límite en todos los endpoints.
- Deja espacio de salida para la respuesta más larga que deba producir ese tipo de solicitud.
- Recorta o resume el contexto grande antes de enviarlo, empezando por los fragmentos que menos probablemente importen.
- Comprueba si las salidas están truncadas, por ejemplo con
finish_reason: "length"o JSON incompleto, y vuelve a intentarlo con más espacio cuando ocurra. - Sigue los recuentos de tokens del campo
usagede cada respuesta a lo largo del tiempo y ajusta los límites a medida que cambien tus prompts.