Pular para o conteúdo principal
Defina para cada tipo de solicitação uma meta de entrada e um limite de saída e, depois, compare o uso real com eles. Cada token enviado ou recebido aumenta a latência e o custo, e um limite de saída pequeno demais corta as respostas.

O que conta em uma solicitação

Quando o raciocínio esgota o limite de saída

Um modelo de raciocínio pode gastar todo o limite de saída antes de produzir uma resposta. A resposta continua sendo HTTP 200 e contém o raciocínio produzido, sem nenhuma resposta inventada: Uma parada normal continua sendo stop (Chat Completions) ou completed (Responses). Aumente o limite de saída ou reduza o esforço de raciocínio se você vir isso com frequência.

Defina um orçamento por rota

  1. Defina um tamanho máximo de entrada para cada tipo de solicitação, como uma resposta de busca ou um rascunho longo. Não copie um mesmo limite para todos os endpoints.
  2. Deixe espaço de saída para a resposta mais longa que esse tipo de solicitação deve produzir.
  3. Corte ou resuma o contexto grande antes de enviá-lo, começando pelos trechos com menor probabilidade de importar.
  4. Verifique se as saídas foram truncadas, como finish_reason: "length" ou JSON parcial, e tente novamente com mais espaço quando isso acontecer.
  5. Acompanhe ao longo do tempo as contagens de tokens no usage de cada resposta e ajuste os limites conforme os seus prompts mudam.
Para entender como os limites de saída e a amostragem interagem, consulte Parâmetros de inferência.
Última modificação em 5 de novembro de 2026