MedTechCommunity

Capítulo 6

Janela de Contexto — Gerenciando a Memória dos LLMs

Gancho de Abertura

Imagine que você está em uma sala de reunião com toda a diretoria da empresa. Seu colega começa a apresentar um projeto complexo — dados financeiros, prazos, nomes de fornecedores, metas trimestrais. Na primeira hora, você acompanha tudo perfeitamente. Na segunda hora, começa a perder detalhes. Na terceira, já não lembra exatamente o que foi dito no início.

Isso acontece porque sua memória de trabalho tem um limite biológico. A psicologia cognitiva estima que humanos conseguem manter entre 4 e 7 itens simultâneos na memória de trabalho (Cowan, 2001).

Os Large Language Models enfrentam exatamente o mesmo tipo de desafio. Mas com uma diferença fundamental: o limite deles é exato, previsível e matemático. Esse limite tem nome: context window — a janela de contexto.

1. O Que É a Janela de Contexto

1.1 Definição Técnica

A janela de contexto (ou context window) é o número máximo de tokens que um LLM consegue processar simultaneamente em uma única interação. Cada conversa opera dentro desse limite fixo (Anthropic, 2026).

Se os tokens são tijolos de LEGO, a janela de contexto é a mesa de trabalho onde você monta sua construção. Não importa quantos tijolos você tenha — só cabem na mesa um número limitado de peças.

1.2 O Que Entra na Janela

A janela de contexto acomoda tudo:

  • O system prompt (instruções iniciais do modelo)
  • Todas as suas mensagens anteriores na conversa
  • Todas as respostas da IA anteriores
  • Documentos, imagens ou arquivos que você anexou
  • O espaço reservado para a próxima resposta

1.3 A Analogia do Quadro Branco

Pense em um quadro branco em uma sala de aula. O professor tem um quadro de tamanho fixo. Quando fica cheio, precisa apagar algo antigo para escrever algo novo. Com os LLMs funciona de forma análoga — os tokens mais antigos são descartados.

Ponto-chave: A janela de contexto é por conversa, não é compartilhada entre chats. Cada nova conversa começa com o quadro branco completamente limpo.

2. A Evolução das Janelas de Contexto

2.1 Uma Corrida Exponencial

As maiores janelas de contexto cresceram a aproximadamente 30x por ano desde 2023 (Epoch AI, 2025):

  • GPT-2 (2019): 1.024 tokens (~1,5 página)
  • GPT-3 (2020): 4.096 tokens (~6 páginas)
  • Claude 2 (2023): 100k tokens (~75 páginas)
  • Gemini 1.5 Pro (2024): 1M–2M tokens (~1.500 páginas)
  • Claude Sonnet 4.6 (2026): 1M tokens (~750 páginas)
  • Llama 4 (2025): 10M tokens (~7.500 páginas)

Em menos de 7 anos, a janela cresceu de 1.024 para 10 milhões de tokens — uma expansão de quase 10.000 vezes.

2.2 Modelos Principais em 2026

ModeloJanela de ContextoEquivalenteDestaque
Claude Opus 4.6200k / 1M (GA)~750 páginasOutput máximo: 128k tokens
Claude Sonnet 4.61M tokens (GA)~750 páginasMelhor custo-benefício
GPT-4.11M tokens~750 páginasMaior contexto da família OpenAI
Gemini 3 Pro1M tokens~750 páginas2M em configuração enterprise
Llama 4 Maverick10M tokens~7.500 páginasOpen-source; MoE

2.3 Contexto Anunciado vs. Contexto Efetivo

O benchmark RULER da NVIDIA demonstrou que o contexto efetivo dos modelos atuais é de apenas 50 a 65% do que é anunciado (Hsieh et al., 2024). Um modelo com janela de 1M tokens pode, na prática, usar de forma confiável entre 500k e 650k tokens.

Na Prática: Ao planejar sua estratégia de uso, considere que o contexto efetivo é ~60% do anunciado. Se precisa analisar 300k tokens, escolha um modelo com pelo menos 500k de janela.

4. Context Rot: Quando a Memória Começa a Falhar

4.1 O Que É Context Rot

Context Rot é o fenômeno de degradação progressiva da qualidade das respostas à medida que uma conversa se aproxima do limite da janela de contexto.

4.2 Por Que Acontece

Na arquitetura Transformer, cada token novo precisa calcular sua relevância em relação a todos os tokens anteriores — o mecanismo de self-attention. O artigo de Liu et al. (2023), "Lost in the Middle", demonstrou três padrões:

  1. Modelos prestam mais atenção no início e no final
  2. Informações no meio são frequentemente ignoradas
  3. A curva de atenção forma um padrão em "U"

4.3 Sintomas do Context Rot

  1. Esquecimento de instruções iniciais
  2. Contradições — afirma o oposto do que disse antes
  3. Perda de tom e personalidade
  4. Repetição — repete informações como se fossem novas
  5. Degradação do raciocínio — respostas menos sofisticadas

Na Prática: Se o modelo começa a "esquecer" suas instruções, provavelmente é context rot. A solução é iniciar uma nova conversa.

5. Context Rot em Múltiplos Domínios

Educação e Estudos

Após processar 30 artigos, o modelo começa a misturar autores e conclusões.

Lição: Trabalhe em blocos temáticos (10 artigos por chat) e consolide em uma conversa final.

Advocacia e Documentos

Após 200 páginas e 100+ perguntas, o modelo cita jurisprudência incorreta.

Lição: Divida a análise por peças processuais e cruze as conclusões.

Medicina e Saúde

Após 150 turnos, o modelo "esquece" que o paciente é alérgico a sulfa e sugere antibiótico contraindicado.

Lição: Informações críticas de segurança devem ser reinjetadas no início de cada nova conversa.

6. Estratégias Práticas de Gerenciamento

6.1 Escolha o Modelo Certo para a Tarefa

Tipo de TarefaTokens EstimadosModelo Recomendado
Perguntas curtas, brainstorming<10kQualquer modelo
Análise de documento médio10k–100kGPT-4o (128k), Claude Sonnet
Análise de documento longo100k–500kGPT-5.2 (400k), Claude Opus
Análise de corpus extenso500k–1MClaude Sonnet 1M, Gemini 3 Pro
Projetos ultra-longos>1MLlama 4 (10M) ou RAG

6.2 Resuma Periodicamente

A cada 20-30 turnos, peça ao modelo: "Resuma os pontos principais que discutimos até agora." Copie o resumo para um documento externo.

6.3 Use Prompt Chaining

Divida projetos complexos em conversas separadas:

  • Chat 1 — Briefing: Defina escopo, constraints, objetivos
  • Chat 2 — Execução: Produza o trabalho principal
  • Chat 3 — Refinamento: Revise e ajuste

6.4 Externalize Informações com RAG

RAG (Retrieval-Augmented Generation) recupera apenas os trechos relevantes no momento em que precisa, em vez de carregar todos os documentos na janela (Lewis et al., 2020).

6.5 Organize Chats por Tema

Adote o padrão tema-por-chat. Evite mega-chats sobrecarregados.

8. Conceitos Avançados: KV Cache, Lost in the Middle e Context Engineering

8.1 KV Cache

Cada token processado gera dois vetores: uma Key e um Value. O KV Cache cresce linearmente com o contexto. Técnicas como GQA reduzem o cache em até 8x, enquanto MLA alcança redução de até 93%.

8.2 Lost in the Middle

A posição da informação afeta drasticamente se o modelo vai utilizá-la:

  • Início: System prompt, constraints, documentos importantes
  • Final: Pergunta atual, instrução, informações urgentes
  • Meio: Evitar colocar informações críticas aqui

8.3 Context Engineering

Em 2025, a Anthropic definiu context engineering como "o conjunto de estratégias para curar e manter o conjunto ótimo de tokens durante a inferência do LLM". O insight: em sistemas de alto desempenho, apenas ~20% dos tokens são o prompt estático, enquanto ~80% é contexto dinâmico.

Para Saber Mais: Se Prompt Engineering é aprender a fazer a pergunta certa, Context Engineering é aprender a preparar o cenário inteiro antes de fazer a pergunta.

Síntese do Capítulo

  • A janela de contexto é a "mesa de trabalho" onde toda a conversa acontece.
  • As janelas cresceram ~10.000x em 6 anos (1.024 → 10M tokens).
  • O contexto efetivo é apenas 50-65% do anunciado (RULER, NVIDIA).
  • Context Rot é a degradação natural causada pelo efeito Lost in the Middle.
  • 6 estratégias práticas: modelo certo, resumos periódicos, prompt chaining, RAG, chats por tema, token counters.
  • Context Engineering é a evolução do Prompt Engineering — foca no design completo da informação.

Exercícios de Fixação

Questão 1

Você é advogado e precisa analisar 200 páginas de um processo jurídico. Considerando que o contexto efetivo é ~60% do anunciado, qual modelo oferece a melhor margem de segurança?

(A) GPT-4o (128k)   (B) Claude Sonnet 4.6 (1M)   (C) GPT-5.2 (400k)   (D) Dividir em 10 chats menores

Ver Gabarito

(B) — 200 páginas ≈ 150-200k tokens. Com contexto efetivo de ~60%, o Claude Sonnet oferece ~600k tokens úteis, ou seja, 3-4x de margem.

Questão 2

Você está no turno 140 de uma conversa com Claude Opus (200k tokens) discutindo um caso clínico. Precisa mudar para planejamento de escala hospitalar. O que fazer?

(A) Continuar na mesma conversa   (B) Iniciar novo chat   (C) Compactar com resumo   (D) Trocar para Gemini

Ver Gabarito

(B) — Mudança de assunto + proximidade do limite = novo chat. Conversa limpa evita context rot.

Referências

  1. Ainslie, J. et al. (2023). "GQA: Training Generalized Multi-Query Transformer Models." arXiv: 2305.13245.
  2. Anthropic. (2025). "Effective Context Engineering for AI Agents."
  3. Anthropic. (2026). Claude Platform Documentation.
  4. Cowan, N. (2001). "The magical number 4 in short-term memory." Behavioral and Brain Sciences, 24(1).
  5. Epoch AI. (2025). "LLM Context Windows: Trends and Analysis."
  6. Hsieh, C.-Y. et al. (2024). "RULER: What's the Real Context Size?" arXiv: 2404.06654.
  7. LangChain. (2025). State of Agent Engineering Report.
  8. Lewis, P. et al. (2020). "Retrieval-Augmented Generation." arXiv: 2005.11401.
  9. Liu, N. F. et al. (2023). "Lost in the Middle." arXiv: 2307.03172.
  10. Vaswani, A. et al. (2017). "Attention Is All You Need." NeurIPS. arXiv: 1706.03762.