Saltar al contenido principal
Asigna a cada tipo de solicitud un objetivo de entrada y un límite de salida, y después compara el uso real con ellos. Cada token que envías o recibes añade latencia y coste, y un límite de salida demasiado bajo corta las respuestas.

Qué cuenta en una solicitud

Cuando el razonamiento agota el límite de salida

Un modelo de razonamiento puede gastar todo el límite de salida antes de producir una respuesta. La respuesta sigue siendo HTTP 200 y contiene el razonamiento producido, sin una respuesta inventada: Una parada normal sigue siendo stop (Chat Completions) o completed (Responses). Si ves estos casos a menudo, aumenta el límite de salida o reduce el esfuerzo de razonamiento.

Define un presupuesto por ruta

  1. Define un tamaño máximo de entrada para cada tipo de solicitud, como una respuesta de búsqueda o un borrador largo. No copies el mismo límite en todos los endpoints.
  2. Deja espacio de salida para la respuesta más larga que deba producir ese tipo de solicitud.
  3. Recorta o resume el contexto grande antes de enviarlo, empezando por los fragmentos que menos probablemente importen.
  4. Comprueba si las salidas están truncadas, por ejemplo con finish_reason: "length" o JSON incompleto, y vuelve a intentarlo con más espacio cuando ocurra.
  5. Sigue los recuentos de tokens del campo usage de cada respuesta a lo largo del tiempo y ajusta los límites a medida que cambien tus prompts.
Para ver cómo interactúan los límites de salida y el muestreo, consulta Parámetros de inferencia.
Última modificación el 5 de noviembre de 2026