Lição 2 de 3 · 7 minutos

Tokens e contexto

Os modelos leem e escrevem tokens, e cada token que você envia ou recebe aumenta o tempo e o custo.

Os modelos não leem palavras como você. Eles dividem o texto em tokens: pedaços curtos de palavras, palavras curtas inteiras, espaços e pontuação. Uma palavra longa pode virar vários tokens. Tudo é contado em tokens, dos limites do que um modelo consegue ler até o preço que você paga.

A janela de contexto é quanto um modelo consegue ler de uma vez. Ela inclui tudo o que há em uma solicitação: suas instruções, a conversa até ali, documentos ou resultados de busca, definições de ferramentas e a resposta que o modelo escreve. Cada rota de provedor tem o próprio tamanho do contexto, mostrado na página do modelo.

Os tokens de entrada e de saída são contados separadamente:

TipoO que inclui
EntradaInstruções, suas mensagens, documentos, definições de ferramentas
SaídaA resposta, mais o raciocínio de um modelo de raciocínio

A saída normalmente custa mais por token do que a entrada, porque o modelo precisa escrever cada token de saída um de cada vez. No Phaseo, os preços de texto aparecem em USD por 1 milhão de tokens, com preços separados para entrada e saída. O campo usage de cada resposta informa quantos tokens ela usou.

Os limites de saída encerram respostas antes da hora. Você pode limitar a saída com max_tokens (Chat Completions e Messages) ou max_output_tokens (Responses). Isso reduz o custo e o tempo de espera. Mas, se o limite for pequeno demais, a resposta é cortada e termina com finish_reason: "length". Isso não é uma falha do modelo: aumente o limite ou diminua o esforço de raciocínio.

O cache de prompts deixa a entrada repetida mais barata. Se o início do seu prompt continua igual entre solicitações, como instruções longas ou um documento de referência, o provedor pode lê-lo do cache. Esses tokens são cobrados pela tarifa menor de leitura de cache, e o primeiro token chega mais cedo. A maioria dos provedores guarda em cache os inícios repetidos por conta própria; o Claude só guarda em cache o que você marca com cache_control.

Confira o que você aprendeu

Uma resposta para no meio de uma frase, e finish_reason é "length". O que aconteceu?

Aplique

O seu bot de suporte envia o mesmo documento de política de 20 páginas no início de cada solicitação, seguido da pergunta do cliente. A maior parte da sua conta é de tokens de entrada. O que você pode fazer?

Mostrar a resposta

Mantenha a política no início do prompt, sem alterações, para que o provedor possa guardá-la em cache. A entrada repetida passa a ser cobrada pela tarifa de leitura de cache, e as respostas começam mais cedo. No Claude, marque o fim da política com cache_control. Você também pode reduzir o documento às partes que importam.

Resumo

Tudo é contado em tokens: entrada e saída têm preços separados por milhão, os limites de saída podem cortar respostas, e o cache deixa a entrada repetida mais barata.

Links relacionados

O progresso fica salvo neste navegador.

Verificado em 17 de novembro de 2026