Como a IA Gera Respostas — Do Prompt ao Output

Imagine que você entra em um restaurante sofisticado e faz seu pedido. Minutos depois, o prato chega — perfeitamente montado, com sabores equilibrados, como se o chef tivesse lido seus pensamentos. Mas entre o pedido e o prato, há uma cozinha inteira funcionando: ingredientes sendo selecionados, técnicas sendo aplicadas, temperos sendo dosados com precisão.

Com a IA generativa, acontece algo parecido. Você digita um prompt — "Resuma este contrato em 3 pontos-chave" — e, segundos depois, recebe uma resposta articulada. Parece mágica. Mas entre o seu prompt e o output existe um processo sofisticado e matemático que determina cada palavra da resposta.

Nos capítulos anteriores, você aprendeu o que são tokens (Cap 3) — as peças que o modelo manipula — e embeddings (Cap 4) — como o modelo entende o significado dessas peças. Agora, vamos descobrir como o modelo usa esse entendimento para gerar texto, token por token, até construir uma resposta completa.

1.1 A Linha de Montagem da IA

Para entender como a IA gera respostas, pense em uma linha de montagem com quatro estações bem definidas (Vaswani et al., 2017):

Estação 1 — Tokenização. Seu prompt em linguagem natural é dividido em tokens. "Qual é a dose recomendada de amoxicilina?" vira algo como [Qual] [é] [a] [dose] [recomend] [ada] [de] [amox] [icil] [ina] [?].

Estação 2 — Embeddings e contexto. Cada token é convertido em um vetor numérico (embedding). Esses vetores passam pelas camadas do Transformer, onde o mecanismo de atenção permite que cada token "converse" com todos os outros, capturando relações de contexto.

Estação 3 — Cálculo de probabilidades. Após processar todo o contexto, o modelo produz uma lista de pontuações chamadas logits — uma pontuação para cada token do vocabulário (50.000 a 150.000 tokens). Essas pontuações são convertidas em probabilidades pela função softmax.

Estação 4 — Seleção e repetição. Um token é selecionado com base nessas probabilidades. Esse token é adicionado ao contexto, e o processo inteiro se repete para gerar o próximo token. Isso continua até o modelo produzir um token de parada ou atingir o limite máximo de tokens.

Analogia do dia a dia: Pense em um GPS. Você digita o destino (prompt). O GPS converte o endereço em coordenadas (tokenização + embeddings). Calcula a melhor rota (processamento das camadas). E então vai dando instruções curva a curva (token por token) — cada instrução depende de onde você está agora.

1.2 Geração Autoregressive: Uma Palavra de Cada Vez

O nome técnico desse processo é geração autoregressive — "auto" (pela própria saída) + "regressive" (previsão). A cada passo, o modelo usa tudo o que já gerou para prever o próximo token (Radford et al., 2019).

Veja um exemplo concreto. Um advogado pede: "Redija uma cláusula de confidencialidade para um contrato de prestação de serviços".

• Passo 1: O modelo processa o prompt. "As" recebe 22%, "A" 18%, "Esta" 12%... Seleciona "As".
• Passo 2: Contexto: "As". Calcula: "partes" → 35%, "informações" → 15%... Seleciona "partes".
• Passo 3: "As partes" → "se" (28%), "comprometem" (19%)... Seleciona "se".
• E assim por diante, até formar: "As partes se comprometem a manter em sigilo todas as informações confidenciais..."

Cada token influencia o próximo. É por isso que respostas de IA fluem como linguagem natural — porque é predição sequencial da linguagem humana.

1.3 Logits e Softmax: A Matemática (Sem Medo)

Antes de selecionar um token, o modelo produz logits — pontuações brutas para cada token do vocabulário. A função softmax transforma essas notas em probabilidades que somam 100%.

Na Prática: Você não precisa calcular logits manualmente. Mas entender que eles existem ajuda a compreender por que os parâmetros de temperatura, top-k e top-p funcionam — todos eles manipulam essa etapa do processo.

1.4 Quando o Modelo Para: Stop Sequences

Como o modelo sabe que deve parar de gerar? Dois mecanismos:

1. Token de fim de sequência (EOS): Todo modelo tem um token especial que significa "acabei".
2. Limite máximo de tokens: Quando atinge o limite, a geração é interrompida — mesmo no meio de uma frase.

Isso explica por que, às vezes, respostas de IA terminam abruptamente: o limite de tokens foi atingido antes do modelo completar o raciocínio.

2.1 O Termostato da IA

Imagine o ar-condicionado da sua casa. Se você colocar no mínimo (18°C), o resultado é previsível e constante. Se colocar no máximo (30°C), a coisa esquenta e fica imprevisível. A temperatura na IA funciona exatamente assim.

• Temperatura = 0: O modelo sempre escolhe o token com maior probabilidade. A resposta é determinística — mesma pergunta, mesma resposta, sempre.
• Temperatura ~ 0.3–0.7: Distribuição moderada. Equilíbrio entre precisão e naturalidade.
• Temperatura ≥ 1.0: Distribuição achatada. Respostas criativas, mas com risco de incoerência.

Matematicamente: a temperatura divide os logits antes do softmax. Probabilidades = softmax(logits / temperatura). Temperatura baixa amplifica diferenças (concentra). Temperatura alta reduz diferenças (achata).

2.2 Na Prática: Qual Temperatura Usar?

Medicina — Precisão acima de tudo (T = 0.0–0.2): "Liste as contraindicações da dipirona." → Criatividade é risco.

Direito — Formalidade com variação (T = 0.3–0.5): "Redija uma cláusula de rescisão contratual." → Linguagem formal com variação natural.

Gestão — Síntese equilibrada (T = 0.5–0.7): "Resuma as decisões da reunião em 5 pontos." → Síntese clara e bem escrita.

Marketing — Criatividade controlada (T = 0.8–1.0): "Crie 5 títulos para uma campanha de lançamento." → Variação e surpresa.

Engenharia — Exatidão matemática (T = 0.0): "Calcule a carga máxima suportada por uma viga IPE 300." → Uma resposta objetiva.

Ponto-chave: Na dúvida, comece com temperatura entre 0.5 e 0.7. É o "modo conforto" — equilibrado para a maioria das tarefas. Ajuste para baixo quando precisar de precisão, para cima quando precisar de criatividade.

3.1 Greedy Decoding: O Caminho Mais Óbvio

A estratégia mais simples: a cada passo, escolha sempre o token com maior probabilidade. É rápido e previsível, mas pode ser repetitivo e monótono.

3.2 Beam Search: Explorando Múltiplos Caminhos

O beam search é mais sofisticado: em vez de seguir um único caminho, o modelo explora vários caminhos simultaneamente e escolhe o que produz a melhor sequência global. É mais custoso, mas produz textos mais coerentes em tarefas como tradução e sumarização.

3.3 Top-K: Limite Fixo de Candidatos

O top-k define: "Considere apenas os K tokens mais prováveis. Ignore o resto." Valores típicos: top-k entre 40 e 100. O problema? O top-k é fixo — se em um contexto há 3 tokens excelentes e em outro há 200 razoáveis, ele corta no mesmo número K.

3.4 Top-P (Nucleus Sampling): Limite Dinâmico

O top-p, também chamado nucleus sampling (Holtzman et al., 2019), é mais inteligente: seleciona tokens até que a probabilidade cumulativa atinja um limiar P. Essa adaptação dinâmica é a grande vantagem: automaticamente inclui mais opções quando o modelo está incerto e menos quando está confiante. Valores típicos: top-p entre 0.9 e 0.95.

3.5 Min-P: A Nova Geração de Amostragem

O min-p (Nguyen et al., 2025) escala o limiar de corte com base na confiança do modelo. Encontra a probabilidade do token mais provável, multiplica por um fator (ex: 0.1) e descarta todo token abaixo desse limiar. Mantém qualidade consistente mesmo com temperaturas altas. Reconhecido com apresentação oral no ICLR 2025.

3.6 Combinando Estratégias

Tipo de Tarefa	Temperatura	Top-P	Top-K	Exemplo
Tradução, Extração	0.1–0.3	0.9	50	Traduzir contrato, extrair dados
Síntese, Resumo	0.3–0.5	0.9	50	Resumir reunião, sintetizar laudo
Respostas gerais	0.5–0.7	0.95	40	Chatbot, assistente
Chat natural	0.7–0.9	0.95	40	Conversação, tutoria
Criação, Brainstorm	0.9–1.2	0.95	20	Títulos, ideias, roteiros

4.1 A Natureza Probabilística

Se você fizer a mesma pergunta duas vezes com temperatura > 0, as respostas provavelmente serão diferentes. Isso não é um defeito — é uma consequência direta do processo de amostragem. A cada passo, o modelo sorteia um token com base em probabilidades. Sorteios diferentes, resultados diferentes.

Exemplo (Educação):

Prompt: "Sugira uma atividade para ensinar frações no 5º ano."

• Geração 1: "Use pizzas de brinquedo divididas em fatias iguais..."
• Geração 2: "Distribua barras de chocolate para os alunos dividirem..."
• Geração 3: "Desenhe retângulos no quadro e peça que os alunos pintem frações..."

Todas são respostas válidas e úteis. A variabilidade é um recurso, não um bug.

4.2 Quando Você Quer (e Quando Não Quer) Variação

Variação é desejável quando você está fazendo brainstorming, pedindo ideias de conteúdo, ou explorando diferentes abordagens para um problema.

Variação é indesejável quando você precisa de um cálculo correto, um diagnóstico médico preciso, uma cláusula contratual padronizada, ou código que funcione de forma previsível.

A regra prática: quanto maior o custo do erro, menor deve ser a temperatura.

5.1 A Irreversibilidade do Token

Uma verdade importante: não é possível "desfazer" um token depois de gerado. O processo é unidirecional — para frente, sempre. Se o modelo escolheu um token inadequado no passo 50, esse token já faz parte do contexto e influencia os passos 51, 52, 53... até o final.

Na Prática: Se uma resposta começa mal, pedir ao modelo que "corrija" muitas vezes funciona melhor do que esperar que ele se corrija sozinho durante a geração. Um novo prompt é um novo começo.

5.2 Respostas Longas vs. Curtas: O Efeito Acumulativo

Quanto mais longa a resposta, maior a probabilidade de erros ou incoerências (Holtzman et al., 2019). Se cada passo tem uma pequena chance de "erro", em 100 passos essa chance se acumula. Em 1.000 passos, mais ainda.

Dica prática para qualquer profissional:

• Evite: "Escreva um relatório completo de 20 páginas sobre a estratégia de marketing para 2025."
• Prefira: "Escreva um resumo executivo de 1 página. Na próxima mensagem, expandiremos cada seção."

Dividir tarefas longas em etapas menores produz resultados significativamente melhores.

5.3 Speculative Decoding: O Futuro da Velocidade

Uma técnica emergente chamada speculative decoding promete acelerar a geração sem perder qualidade. A ideia: usar um modelo menor e rápido para "rascunhar" vários tokens de uma vez, e depois o modelo principal valida essa sequência em um único passo. É como ter um assistente que prepara um rascunho para o chefe revisar.

Este capítulo é o coração mecânico do ebook. Vejamos como ele se encaixa:

• Cap 3 (Tokens) → As peças que o modelo manipula. Sem tokenização, não há geração.
• Cap 4 (Embeddings) → O significado numérico de cada token. Sem embeddings, o modelo não "entende" o que processa.
• Cap 5 (Este capítulo — Geração) → O processo que transforma compreensão em texto, token por token.
• Cap 6 (Janela de Contexto) → Quantos tokens o modelo consegue "lembrar" durante a geração.
• Cap 7 (Limitações e Alucinações) → Por que, mesmo com um processo de geração perfeito, o modelo às vezes falha.

Se sua resposta de IA não está saindo como esperado, faça este diagnóstico:

1. Resposta imprecisa ou inventada? → Problema de treinamento ou alucinação (Cap 7)
2. Resposta repetitiva ou monótona? → Temperatura muito baixa — aumente
3. Resposta criativa demais ou sem sentido? → Temperatura muito alta — diminua
4. Resposta muda a cada tentativa? → Normal com temperatura > 0. Se quer consistência, use temperatura = 0
5. Resposta longa e confusa? → Peça respostas mais curtas e divida em etapas

No próximo capítulo, vamos explorar a janela de contexto — o "espaço de memória" que determina quanto o modelo consegue considerar de uma só vez.

• A geração de texto por LLMs é um processo autoregressive: o modelo prevê um token por vez, usando tudo o que já gerou como contexto
• O pipeline completo: prompt → tokenização → embeddings → camadas Transformer → logits → softmax → amostragem → token → repetição
• Temperatura controla a "criatividade" da resposta: baixa (precisa), alta (criativa)
• Top-k limita a seleção a um número fixo de tokens candidatos
• Top-p (nucleus sampling) é mais dinâmico: ajusta o número de candidatos com base na confiança do modelo
• Min-p é uma evolução recente que mantém qualidade mesmo com temperaturas altas
• Respostas mais longas acumulam mais chances de erro — divida tarefas complexas em etapas
• A geração é irreversível: tokens gerados não podem ser "desfeitos"
• A variabilidade entre respostas é uma característica, não um defeito

Questão 1: Distribuição de Probabilidade

Em um modelo com a seguinte distribuição — Token A: 70%, Token B: 20%, Token C: 10% — qual seria o efeito de aumentar a temperatura de 0.5 para 2.0?

(a) Token A seria escolhido 100% das vezes
(b) A distribuição se achataria; Token C teria chance significativamente maior
(c) Token B seria excluído completamente
(d) A ordem de probabilidade se inverteria (C > B > A)

Ver Gabarito

(B) — Temperatura > 1.0 achata a distribuição. Com temperatura = 2.0, Token A pode cair para ~35%, Token B para ~32%, Token C para ~33%. A ordem se mantém (A > B > C), apenas as diferenças diminuem.

Questão 2: Nucleus Sampling

Qual é a vantagem principal do top-p (nucleus sampling) em relação ao top-k?

(a) Top-p é mais rápido computacionalmente
(b) Top-p é fixo e previsível
(c) Top-p adapta-se dinamicamente à forma da distribuição, enquanto top-k usa limite fixo
(d) Top-p permite temperaturas negativas

Ver Gabarito

(C) — Top-k seleciona sempre os mesmos K tokens. Top-p é dinâmico: inclui tokens até atingir uma probabilidade cumulativa. Se o modelo está confiante, pode incluir apenas 3 tokens. Se está incerto, pode incluir 200.

Questão 3: Verdadeiro ou Falso

1. "Com temperatura = 0, a resposta será sempre idêntica para um mesmo prompt." → Verdadeiro.
2. "O beam search é sempre melhor que o greedy decoding." → Falso. Beam search é mais lento e consome mais memória.
3. "Top-p = 0.95 significa que o modelo sempre considera exatamente 95 tokens." → Falso. O número de tokens varia conforme a distribuição.
4. "Respostas mais longas têm maior probabilidade de conter erros." → Verdadeiro.
5. "Min-p é superior ao top-p em todas as situações." → Falso. Min-p tem vantagens em cenários com temperatura alta, mas top-p continua eficaz para a maioria dos usos.

Questão 4: Dissertativa

Explique como a geração autoregressive funciona e por que a qualidade tende a degradar em respostas muito longas.

Ver Resposta Modelo

A geração autoregressive é um processo iterativo em que o modelo prevê a probabilidade de cada token possível, dado todo o contexto anterior. A qualidade degrada em respostas longas por duas razões: (1) a cada passo existe uma probabilidade de erro que cria um efeito cascata; (2) a geração é irreversível — o modelo não pode corrigir tokens ruins.

Questão 5: Aplicação Prática

Cenário: Você é consultor de IA para um escritório de advocacia. Os advogados reclamam de cláusulas "criativas demais" e a equipe de marketing reclama de posts "robóticos". Como resolver ambos os problemas?

Ver Resposta Modelo

A solução é usar configurações diferentes: para contratos, temperatura 0.1–0.3, top-p 0.9 → prioriza precisão e formalidade. Para marketing, temperatura 0.9–1.1, top-p 0.95 → permite variação criativa. Criar dois "perfis" no sistema para que cada equipe obtém o comportamento adequado.

1. Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Attention Is All You Need. NeurIPS.
2. Radford, A., Wu, J., Child, R., et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
3. Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
4. Brown, T., Mann, B., Ryder, N., et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
5. Nguyen, M., Baker, A., Kirsch, A., & Gal, Y. (2025). Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs. ICLR 2025 (Oral).
6. Anthropic. (2025). Models Overview — Claude Documentation. docs.anthropic.com