Capítulo 6
Janela de Contexto — Gerenciando a Memória dos LLMs
Gancho de Abertura
Imagine que você está em uma sala de reunião com toda a diretoria da empresa. Seu colega começa a apresentar um projeto complexo — dados financeiros, prazos, nomes de fornecedores, metas trimestrais. Na primeira hora, você acompanha tudo perfeitamente. Na segunda hora, começa a perder detalhes. Na terceira, já não lembra exatamente o que foi dito no início.
Isso acontece porque sua memória de trabalho tem um limite biológico. A psicologia cognitiva estima que humanos conseguem manter entre 4 e 7 itens simultâneos na memória de trabalho (Cowan, 2001).
Os Large Language Models enfrentam exatamente o mesmo tipo de desafio. Mas com uma diferença fundamental: o limite deles é exato, previsível e matemático. Esse limite tem nome: context window — a janela de contexto.
1. O Que É a Janela de Contexto
1.1 Definição Técnica
A janela de contexto (ou context window) é o número máximo de tokens que um LLM consegue processar simultaneamente em uma única interação. Cada conversa opera dentro desse limite fixo (Anthropic, 2026).
Se os tokens são tijolos de LEGO, a janela de contexto é a mesa de trabalho onde você monta sua construção. Não importa quantos tijolos você tenha — só cabem na mesa um número limitado de peças.
1.2 O Que Entra na Janela
A janela de contexto acomoda tudo:
- O system prompt (instruções iniciais do modelo)
- Todas as suas mensagens anteriores na conversa
- Todas as respostas da IA anteriores
- Documentos, imagens ou arquivos que você anexou
- O espaço reservado para a próxima resposta
1.3 A Analogia do Quadro Branco
Pense em um quadro branco em uma sala de aula. O professor tem um quadro de tamanho fixo. Quando fica cheio, precisa apagar algo antigo para escrever algo novo. Com os LLMs funciona de forma análoga — os tokens mais antigos são descartados.
Ponto-chave: A janela de contexto é por conversa, não é compartilhada entre chats. Cada nova conversa começa com o quadro branco completamente limpo.
2. A Evolução das Janelas de Contexto
2.1 Uma Corrida Exponencial
As maiores janelas de contexto cresceram a aproximadamente 30x por ano desde 2023 (Epoch AI, 2025):
- GPT-2 (2019): 1.024 tokens (~1,5 página)
- GPT-3 (2020): 4.096 tokens (~6 páginas)
- Claude 2 (2023): 100k tokens (~75 páginas)
- Gemini 1.5 Pro (2024): 1M–2M tokens (~1.500 páginas)
- Claude Sonnet 4.6 (2026): 1M tokens (~750 páginas)
- Llama 4 (2025): 10M tokens (~7.500 páginas)
Em menos de 7 anos, a janela cresceu de 1.024 para 10 milhões de tokens — uma expansão de quase 10.000 vezes.
2.2 Modelos Principais em 2026
| Modelo | Janela de Contexto | Equivalente | Destaque |
|---|---|---|---|
| Claude Opus 4.6 | 200k / 1M (GA) | ~750 páginas | Output máximo: 128k tokens |
| Claude Sonnet 4.6 | 1M tokens (GA) | ~750 páginas | Melhor custo-benefício |
| GPT-4.1 | 1M tokens | ~750 páginas | Maior contexto da família OpenAI |
| Gemini 3 Pro | 1M tokens | ~750 páginas | 2M em configuração enterprise |
| Llama 4 Maverick | 10M tokens | ~7.500 páginas | Open-source; MoE |
2.3 Contexto Anunciado vs. Contexto Efetivo
O benchmark RULER da NVIDIA demonstrou que o contexto efetivo dos modelos atuais é de apenas 50 a 65% do que é anunciado (Hsieh et al., 2024). Um modelo com janela de 1M tokens pode, na prática, usar de forma confiável entre 500k e 650k tokens.
Na Prática: Ao planejar sua estratégia de uso, considere que o contexto efetivo é ~60% do anunciado. Se precisa analisar 300k tokens, escolha um modelo com pelo menos 500k de janela.
4. Context Rot: Quando a Memória Começa a Falhar
4.1 O Que É Context Rot
Context Rot é o fenômeno de degradação progressiva da qualidade das respostas à medida que uma conversa se aproxima do limite da janela de contexto.
4.2 Por Que Acontece
Na arquitetura Transformer, cada token novo precisa calcular sua relevância em relação a todos os tokens anteriores — o mecanismo de self-attention. O artigo de Liu et al. (2023), "Lost in the Middle", demonstrou três padrões:
- Modelos prestam mais atenção no início e no final
- Informações no meio são frequentemente ignoradas
- A curva de atenção forma um padrão em "U"
4.3 Sintomas do Context Rot
- Esquecimento de instruções iniciais
- Contradições — afirma o oposto do que disse antes
- Perda de tom e personalidade
- Repetição — repete informações como se fossem novas
- Degradação do raciocínio — respostas menos sofisticadas
Na Prática: Se o modelo começa a "esquecer" suas instruções, provavelmente é context rot. A solução é iniciar uma nova conversa.
5. Context Rot em Múltiplos Domínios
Educação e Estudos
Após processar 30 artigos, o modelo começa a misturar autores e conclusões.
Lição: Trabalhe em blocos temáticos (10 artigos por chat) e consolide em uma conversa final.
Advocacia e Documentos
Após 200 páginas e 100+ perguntas, o modelo cita jurisprudência incorreta.
Lição: Divida a análise por peças processuais e cruze as conclusões.
Medicina e Saúde
Após 150 turnos, o modelo "esquece" que o paciente é alérgico a sulfa e sugere antibiótico contraindicado.
Lição: Informações críticas de segurança devem ser reinjetadas no início de cada nova conversa.
6. Estratégias Práticas de Gerenciamento
6.1 Escolha o Modelo Certo para a Tarefa
| Tipo de Tarefa | Tokens Estimados | Modelo Recomendado |
|---|---|---|
| Perguntas curtas, brainstorming | <10k | Qualquer modelo |
| Análise de documento médio | 10k–100k | GPT-4o (128k), Claude Sonnet |
| Análise de documento longo | 100k–500k | GPT-5.2 (400k), Claude Opus |
| Análise de corpus extenso | 500k–1M | Claude Sonnet 1M, Gemini 3 Pro |
| Projetos ultra-longos | >1M | Llama 4 (10M) ou RAG |
6.2 Resuma Periodicamente
A cada 20-30 turnos, peça ao modelo: "Resuma os pontos principais que discutimos até agora." Copie o resumo para um documento externo.
6.3 Use Prompt Chaining
Divida projetos complexos em conversas separadas:
- Chat 1 — Briefing: Defina escopo, constraints, objetivos
- Chat 2 — Execução: Produza o trabalho principal
- Chat 3 — Refinamento: Revise e ajuste
6.4 Externalize Informações com RAG
RAG (Retrieval-Augmented Generation) recupera apenas os trechos relevantes no momento em que precisa, em vez de carregar todos os documentos na janela (Lewis et al., 2020).
6.5 Organize Chats por Tema
Adote o padrão tema-por-chat. Evite mega-chats sobrecarregados.
8. Conceitos Avançados: KV Cache, Lost in the Middle e Context Engineering
8.1 KV Cache
Cada token processado gera dois vetores: uma Key e um Value. O KV Cache cresce linearmente com o contexto. Técnicas como GQA reduzem o cache em até 8x, enquanto MLA alcança redução de até 93%.
8.2 Lost in the Middle
A posição da informação afeta drasticamente se o modelo vai utilizá-la:
- Início: System prompt, constraints, documentos importantes
- Final: Pergunta atual, instrução, informações urgentes
- Meio: Evitar colocar informações críticas aqui
8.3 Context Engineering
Em 2025, a Anthropic definiu context engineering como "o conjunto de estratégias para curar e manter o conjunto ótimo de tokens durante a inferência do LLM". O insight: em sistemas de alto desempenho, apenas ~20% dos tokens são o prompt estático, enquanto ~80% é contexto dinâmico.
Para Saber Mais: Se Prompt Engineering é aprender a fazer a pergunta certa, Context Engineering é aprender a preparar o cenário inteiro antes de fazer a pergunta.
Síntese do Capítulo
- A janela de contexto é a "mesa de trabalho" onde toda a conversa acontece.
- As janelas cresceram ~10.000x em 6 anos (1.024 → 10M tokens).
- O contexto efetivo é apenas 50-65% do anunciado (RULER, NVIDIA).
- Context Rot é a degradação natural causada pelo efeito Lost in the Middle.
- 6 estratégias práticas: modelo certo, resumos periódicos, prompt chaining, RAG, chats por tema, token counters.
- Context Engineering é a evolução do Prompt Engineering — foca no design completo da informação.
Exercícios de Fixação
Questão 1
Você é advogado e precisa analisar 200 páginas de um processo jurídico. Considerando que o contexto efetivo é ~60% do anunciado, qual modelo oferece a melhor margem de segurança?
(A) GPT-4o (128k) (B) Claude Sonnet 4.6 (1M) (C) GPT-5.2 (400k) (D) Dividir em 10 chats menores
Ver Gabarito
(B) — 200 páginas ≈ 150-200k tokens. Com contexto efetivo de ~60%, o Claude Sonnet oferece ~600k tokens úteis, ou seja, 3-4x de margem.
Questão 2
Você está no turno 140 de uma conversa com Claude Opus (200k tokens) discutindo um caso clínico. Precisa mudar para planejamento de escala hospitalar. O que fazer?
(A) Continuar na mesma conversa (B) Iniciar novo chat (C) Compactar com resumo (D) Trocar para Gemini
Ver Gabarito
(B) — Mudança de assunto + proximidade do limite = novo chat. Conversa limpa evita context rot.
Referências
- Ainslie, J. et al. (2023). "GQA: Training Generalized Multi-Query Transformer Models." arXiv: 2305.13245.
- Anthropic. (2025). "Effective Context Engineering for AI Agents."
- Anthropic. (2026). Claude Platform Documentation.
- Cowan, N. (2001). "The magical number 4 in short-term memory." Behavioral and Brain Sciences, 24(1).
- Epoch AI. (2025). "LLM Context Windows: Trends and Analysis."
- Hsieh, C.-Y. et al. (2024). "RULER: What's the Real Context Size?" arXiv: 2404.06654.
- LangChain. (2025). State of Agent Engineering Report.
- Lewis, P. et al. (2020). "Retrieval-Augmented Generation." arXiv: 2005.11401.
- Liu, N. F. et al. (2023). "Lost in the Middle." arXiv: 2307.03172.
- Vaswani, A. et al. (2017). "Attention Is All You Need." NeurIPS. arXiv: 1706.03762.