Tokens e contexto
Os modelos leem e escrevem tokens, e cada token que você envia ou recebe aumenta o tempo e o custo.
Os modelos não leem palavras como você. Eles dividem o texto em tokens: pedaços curtos de palavras, palavras curtas inteiras, espaços e pontuação. Uma palavra longa pode virar vários tokens. Tudo é contado em tokens, dos limites do que um modelo consegue ler até o preço que você paga.
A janela de contexto é quanto um modelo consegue ler de uma vez. Ela inclui tudo o que há em uma solicitação: suas instruções, a conversa até ali, documentos ou resultados de busca, definições de ferramentas e a resposta que o modelo escreve. Cada rota de provedor tem o próprio tamanho do contexto, mostrado na página do modelo.
Os tokens de entrada e de saída são contados separadamente:
| Tipo | O que inclui |
|---|---|
| Entrada | Instruções, suas mensagens, documentos, definições de ferramentas |
| Saída | A resposta, mais o raciocínio de um modelo de raciocínio |
A saída normalmente custa mais por token do que a entrada, porque o modelo precisa escrever cada token de saída um de cada vez. No Phaseo, os preços de texto aparecem em USD por 1 milhão de tokens, com preços separados para entrada e saída. O campo usage de cada resposta informa quantos tokens ela usou.
Os limites de saída encerram respostas antes da hora. Você pode limitar a saída com max_tokens (Chat Completions e Messages) ou max_output_tokens (Responses). Isso reduz o custo e o tempo de espera. Mas, se o limite for pequeno demais, a resposta é cortada e termina com finish_reason: "length". Isso não é uma falha do modelo: aumente o limite ou diminua o esforço de raciocínio.
O cache de prompts deixa a entrada repetida mais barata. Se o início do seu prompt continua igual entre solicitações, como instruções longas ou um documento de referência, o provedor pode lê-lo do cache. Esses tokens são cobrados pela tarifa menor de leitura de cache, e o primeiro token chega mais cedo. A maioria dos provedores guarda em cache os inícios repetidos por conta própria; o Claude só guarda em cache o que você marca com cache_control.
Confira o que você aprendeu
Uma resposta para no meio de uma frase, e finish_reason é "length". O que aconteceu?
Aplique
O seu bot de suporte envia o mesmo documento de política de 20 páginas no início de cada solicitação, seguido da pergunta do cliente. A maior parte da sua conta é de tokens de entrada. O que você pode fazer?
Mostrar a respostaOcultar a resposta
Mantenha a política no início do prompt, sem alterações, para que o provedor possa guardá-la em cache. A entrada repetida passa a ser cobrada pela tarifa de leitura de cache, e as respostas começam mais cedo. No Claude, marque o fim da política com cache_control. Você também pode reduzir o documento às partes que importam.
Resumo
Links relacionados
Verificado em 17 de novembro de 2026