Tokens — A Unidade Funcional da IA

Nos capítulos anteriores, você conheceu a IA Generativa e compreendeu como os LLMs aprendem padrões a partir de texto. Agora chegamos ao fundamento técnico que sustenta tudo: os tokens.

LLMs não processam linguagem da forma como humanos fazem — palavra por palavra, com contexto semântico imediato. Eles trabalham com tokens: unidades discretas e codificadas que funcionam como a língua nativa do modelo. Um token pode representar uma palavra inteira, uma sílaba, um prefixo ou até um caractere isolado.

Compreender tokens não é um detalhe técnico secundário. Tokens determinam quanto você paga por cada interação, quanto o modelo consegue "lembrar" de uma conversa, com que eficiência diferentes idiomas são processados, e como otimizar seus prompts para resultados melhores com menos custo.

Um token é a menor unidade semântica que um LLM processa. Se os átomos são os blocos fundamentais da matéria, tokens são os blocos fundamentais da linguagem para uma IA.

A Analogia do Quebra-Cabeça

Imagine que você vai montar um quebra-cabeça de uma paisagem. Você não olha para a imagem inteira de uma vez — você a analisa peça por peça, identificando cores, bordas e encaixes. Um LLM faz o mesmo com texto: desmonta cada frase em tokens, processa cada um individualmente e então reconstrói o significado a partir das relações entre eles.

A diferença crucial: o tamanho de cada "peça" varia. Palavras comuns em inglês (the, and, is) costumam ser um único token. Palavras raras ou compostas, como esofagogastroduodenoscopia, podem ser divididas em 10 ou mais tokens.

Exemplos de Tokenização por Domínio

Texto	Idioma	Tokens estimados
"A esofagogastroduodenoscopia é fundamental no diagnóstico"	PT-BR	~13 tokens
"O demandante requereu indenização por danos morais"	PT-BR	~10 tokens
"Aumente suas vendas em 300% com nossa plataforma de IA"	PT-BR	~15 tokens
function tokenize(text) { return text.split(/\s+/); }	Código JS	~20 tokens

Código-fonte consome mais tokens que linguagem natural — cada símbolo especial (chaves, parênteses, ponto-e-vírgula) tende a ser tokenizado separadamente.

Como Funciona a Tokenização?

Dois algoritmos dominam o campo. O Byte Pair Encoding (BPE) (Sennrich et al., 2016) identifica os pares de caracteres mais frequentes em um corpus de treinamento e os substitui iterativamente por um único símbolo, construindo um vocabulário otimizado para o idioma dos dados. É o algoritmo base utilizado em modelos da família GPT.

O SentencePiece (Kudo & Richardson, 2018) opera diretamente sobre bytes brutos, sem pressupostos linguísticos prévios — o que o torna mais agnóstico em relação ao idioma. Modelos como Gemini utilizam variações desta abordagem.

Um ponto frequentemente ignorado: cada modelo possui seu próprio tokenizador e vocabulário. O mesmo texto pode gerar 12 tokens no GPT-5.2 e 9 tokens no Claude Opus 4.6. Comparar custos entre modelos sem considerar essa diferença leva a estimativas incorretas.

Para Saber Mais: O tokenizador do GPT é chamado de tiktoken e é open-source — você pode instalá-lo via pip install tiktoken e explorar como qualquer texto é segmentado. Para Claude, a Anthropic disponibiliza um endpoint de contagem de tokens via API. A ideia central do BPE — comprimir pares de símbolos frequentes — é a mesma que algoritmos de compressão de dados como ZIP usam há décadas.

Razão 1: Custo — Cada Token Tem Preço

Toda API de LLM cobra com base em tokens processados, divididos em tokens de entrada (seu prompt, documentos, histórico) e tokens de saída (a resposta gerada). Tokens de saída costumam custar de 3 a 5 vezes mais — pois gerar texto exige mais processamento do que lê-lo.

Modelo	Entrada (1M tokens)	Saída (1M tokens)
GPT-5.2	$3,00	$15,00
Claude Opus 4.6	$15,00	$75,00
Gemini 3 Pro	$1,25	$5,00

Preços aproximados de mercado (2026). Consulte a documentação oficial de cada provedor para valores atualizados.

Exemplo jurídico: Uma consultoria que processa 50 contratos por semana — cerca de 5 milhões de tokens no total — gastaria aproximadamente $60 com GPT-5.2 versus $1.200 com Claude Opus 4.6. A diferença não é trivial para o orçamento de operações.

Exemplo de marketing: Uma equipe que dispara 500 prompts por dia para geração de copy publicitário. Reduzir cada prompt de 100 para 80 tokens elimina 10% dos custos — sem perda de qualidade, apenas com prompts mais objetivos.

Razão 2: Janela de Contexto — A Memória de Trabalho do Modelo

A janela de contexto define quantos tokens o modelo consegue processar simultaneamente em uma única interação. Ela engloba: seu prompt, todos os documentos enviados, o histórico da conversa e a resposta que está sendo gerada.

Modelo	Contexto Padrão	Contexto Expandido
GPT-5.2	400k tokens (~600 páginas)	—
Claude Opus 4.6	200k tokens (~300 páginas)	1M tokens (~1.500 pág)
Gemini 3 Pro	1M tokens (~1.500 páginas)	2M tokens (enterprise)

Analogia médica: Pense na janela de contexto como a memória de trabalho de um médico durante uma consulta. Ele consegue manter em mente com clareza as queixas do paciente atual, seus últimos exames e a hipótese diagnóstica. Se a consulta se estender demais sem anotações, os detalhes iniciais começam a se perder. O LLM faz exatamente o mesmo.

Razão 3: Eficiência entre Idiomas

Tokenizadores treinados predominantemente em inglês constroem vocabulários mais eficientes para esse idioma. O resultado prático: textos em português tendem a consumir mais tokens para expressar o mesmo conteúdo.

Frase	Tokens estimados
PT: "A implementação de políticas de sustentabilidade corporativa"	~9 tokens
EN: "The implementation of corporate sustainability policies"	~6 tokens

A diferença média é de 20-35% mais tokens em português em comparação ao inglês equivalente. Modelos modernos, porém, respondem com excelente qualidade em português — a diferença de eficiência raramente justifica mudar de idioma no seu fluxo de trabalho.

Na Prática — Exercício de calibração de custos: Acesse o OpenAI Tokenizer (platform.openai.com/tokenizer) — é gratuito e não requer login. Cole um prompt que você usa com frequência, note a contagem, reescreva removendo saudações e repetições desnecessárias, e compare. Na maioria dos casos, é possível reduzir 20-40% sem perda de qualidade.

Você não precisa estimar tokens de cabeça — existem ferramentas dedicadas para isso.

OpenAI Tokenizer (platform.openai.com/tokenizer): Interface visual gratuita que mostra como qualquer texto é segmentado pelo tokenizador GPT. Cada token recebe uma cor diferente, tornando visível exatamente onde as divisões ocorrem. Ideal para entender por que certas palavras consomem mais tokens do que parecem.

Anthropic Console (console.anthropic.com): Ao usar a API do Claude, é possível consultar a contagem exata de tokens via endpoint dedicado — útil para automações que precisam controlar custos com precisão.

Tiktoken (Python): A biblioteca open-source da OpenAI permite integrar contagem de tokens diretamente em pipelines de código. Com poucas linhas, você pode auditar automaticamente o tamanho de prompts antes de enviá-los à API.

Na Prática — Comparação entre idiomas: Acesse o OpenAI Tokenizer. Cole: "Tratamento da hipertensão arterial sistêmica" (PT-BR). Anote os tokens (estimativa: ~9). Cole: "Treatment of systemic arterial hypertension" (EN). Anote os tokens (estimativa: ~6). Calcule a diferença percentual: ~33% mais eficiente em inglês. Conclusão: para uso cotidiano, escreva em português — sua precisão no idioma nativo supera o ganho marginal de eficiência.

A janela de contexto é a memória de trabalho do LLM — ela inclui tudo que o modelo processa simultaneamente: o prompt inicial, documentos carregados, histórico da conversa e a resposta em construção. Quando a conversa excede o limite, os tokens mais antigos são descartados sem aviso.

Esse comportamento cria um problema prático em conversas longas ou análises de documentos extensos: o modelo pode "esquecer" instruções iniciais, perder o fio de argumentações anteriores ou repetir análises já feitas.

Estratégias práticas de gestão:

• Escolha o modelo certo para o tamanho da tarefa: Para analisar um prontuário de 20 páginas, Claude 200k ou GPT-5.2 400k bastam. Para processar um processo judicial completo de 500 páginas, Gemini 3 Pro com contexto expandido é mais adequado.
• Resuma periodicamente: Em conversas longas, peça ao modelo que sintetize os pontos principais a cada 5-10 interações antes de continuar.
• Quebre tarefas complexas: Em vez de enviar 30 documentos de uma vez, processe em lotes e consolide os resultados.

Para Saber Mais: A gestão da janela de contexto é tão importante que dedicamos um capítulo inteiro ao tema. No Capítulo 6: Janela de Contexto, exploraremos técnicas avançadas como context compression, retrieval-augmented generation (RAG) e gerenciamento de memória em agentes autônomos.

Entender tokens ajuda a compreender por que os LLMs são tão caros para operar — e por que modelos mais poderosos custam mais.

LLMs processam tokens em paralelo, não sequencialmente. Quando você envia um prompt de 500 tokens, o modelo não lê palavra por palavra como um humano — ele processa todos os tokens simultaneamente, calculando as relações entre cada par de tokens (os chamados attention scores). Esse cálculo cresce quadraticamente: dobrar o número de tokens quadruplica o processamento necessário (Vaswani et al., 2017).

Para suportar esse volume de operações matemáticas, são necessárias GPUs (unidades de processamento gráfico) de alta performance — tipicamente de fabricantes como NVIDIA. Uma GPU moderna consegue realizar trilhões de operações de ponto flutuante por segundo (TFLOPS), o que viabiliza o processamento de janelas de contexto de milhões de tokens em tempo razoável.

O custo diferencial entre modelos reflete diretamente essa infraestrutura. Claude Opus 4.6, com suas capacidades de raciocínio avançado e janela estendida de 1M tokens, exige significativamente mais recursos computacionais do que modelos menores e mais rápidos como Claude Haiku. Saber isso ajuda a tomar decisões de custo-benefício mais informadas.

Para Saber Mais: Se você tem curiosidade sobre a matemática por trás do processamento paralelo de tokens, o paper "Attention is All You Need" (Vaswani et al., 2017) é a referência fundacional. Ele introduz o mecanismo de self-attention — o coração de todos os Transformers modernos.

Tokens são a moeda da IA Generativa: cada interação tem um custo mensurável, uma capacidade de memória definida e uma eficiência que varia por idioma e tipo de conteúdo. Compreender tokens não é um exercício acadêmico — é uma habilidade prática que impacta diretamente o custo das suas automações, a qualidade das suas análises e a efetividade dos seus prompts.

A regra de ouro é simples: seja conciso, específico e objetivo. Remover saudações, repetições e qualificadores desnecessários de um prompt não apenas economiza tokens — treina um hábito de comunicação mais precisa que beneficia qualquer interação, humana ou artificial.

No próximo capítulo, damos um passo além: exploraremos os Word Embeddings — a forma como o LLM transforma tokens em números e, a partir desses números, "entende" o significado e as relações semânticas entre palavras.

Questão 1 — Múltipla Escolha

Qual das estratégias abaixo NÃO ajuda a reduzir o consumo de tokens em um prompt?

(A) Escrever prompts concisos e objetivos
(B) Evitar repetições e reformulações desnecessárias
(C) Adicionar frases longas "para garantir que o modelo entenda"
(D) Remover saudações e fechamentos formais

Ver Gabarito

(C) — Frases longas e prolixas consomem mais tokens sem adicionar clareza. LLMs modernos compreendem instruções concisas com precisão equivalente ou superior.

Questão 2 — Múltipla Escolha

Por que o termo "Esofagogastroduodenoscopia" consome mais tokens em PT-BR do que "Esophagogastroduodenoscopy" em inglês?

(A) Português possui mais letras no alfabeto
(B) O inglês está mais representado nos dados de treinamento, resultando em vocabulários tokenizadores mais eficientes para esse idioma
(C) A IA não reconhece terminologia médica em português
(D) Cada idioma usa um algoritmo de tokenização completamente diferente

Ver Gabarito

(B) — Tokenizadores treinados com maior volume de dados em inglês constroem vocabulários com tokens maiores, enquanto palavras raras em outros idiomas tendem a ser fragmentadas em subunidades menores.

Questão 3 — Verdadeiro ou Falso

1. Tokens de saída são sempre mais baratos que tokens de entrada. FALSO — Tokens de saída custam de 3 a 5 vezes mais, pois gerar texto é computacionalmente mais intensivo.
2. Português funciona mal em LLMs modernos devido à tokenização menos eficiente. FALSO — A qualidade das respostas em português é excelente; a diferença de eficiência (~20-35%) é marginal para uso prático.
3. Cada modelo possui seu próprio tokenizador, e o mesmo texto pode gerar contagens de tokens diferentes entre modelos. VERDADEIRO — GPT usa tiktoken/BPE, Gemini usa SentencePiece; vocabulários distintos geram segmentações distintas.

Questão 4 — Análise de Custo

Compare o custo de processar 50 contratos jurídicos — estimativa de 100k tokens de entrada e 20k tokens de saída — usando GPT-5.2 versus Claude Opus 4.6. Além do custo, que outros fatores devem ser considerados?

Ver Resposta Modelo

GPT-5.2: $0,30 (entrada) + $0,30 (saída) = ~$0,60
Claude Opus 4.6: $1,50 (entrada) + $1,50 (saída) = ~$3,00
Diferença de 5x no custo. Fatores adicionais: qualidade da análise jurídica, tamanho da janela de contexto, latência e conformidade com políticas de privacidade.

Questão 5 — Aplicação Prática

Acesse o OpenAI Tokenizer e compare:

• Texto A: "Tratamento da hipertensão arterial sistêmica" (PT-BR)
• Texto B: "Treatment of systemic arterial hypertension" (EN)

Quantos tokens cada texto gera? O resultado justifica mudar para inglês em uso cotidiano?

Ver Resposta Modelo

PT ≈ 9 tokens; EN ≈ 6 tokens. Diferença de ~33%. Para uso cotidiano de baixo volume, a economia é desprezível. Para automações em escala (>1M tokens/dia), a análise custo-benefício deve considerar também a precisão obtida ao escrever no idioma nativo.

1. Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL 2016. arxiv.org/abs/1508.07909
2. Kudo, T., & Richardson, J. (2018). SentencePiece: A simple and language independent subword tokenizer. EMNLP 2018. arxiv.org/abs/1808.06226
3. Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Attention is All You Need. NeurIPS. arxiv.org/abs/1706.03762
4. OpenAI (2024–2026). Tokenization Documentation & tiktoken. platform.openai.com/docs/guides/tokens
5. Anthropic (2025–2026). Claude Tokenization & API Pricing Documentation. docs.anthropic.com/claude/docs/tokens
6. Google DeepMind (2025–2026). Gemini 3 Pro Technical Specifications & Pricing. cloud.google.com/vertex-ai/docs/generative-ai/pricing