Limitações, Alucinações e Grounding

Em junho de 2023, um advogado nova-iorquino foi publicamente censurado pela corte. Seu crime? Citar jurisprudência que não existia em uma petição. Não foi negligência — foi confiança em uma IA. O juiz não perdoou. Semanas depois, uma médica prescreveu uma dosagem que parecia razoável — a IA gerou, ela não conferiu, o paciente quase foi prejudicado. Meses depois, uma empresa investiu em estratégia de marketing baseada em "dados de mercado" que a IA havia inventado com precisão de duas casas decimais.

Todos esses casos têm algo em comum: a IA não "errou" acidentalmente. Ela gerou informação falsa com a confiança de quem sabe tudo.

Bem-vindo ao problema mais crítico da inteligência artificial moderna — e à atitude que vai te proteger contra ele.

Nos capítulos anteriores, você dominou os mecanismos fundamentais dos LLMs: tokens (Cap 3), embeddings que capturam significado (Cap 4), como a IA gera respostas palavra por palavra (Cap 5), e janela de contexto que define a memória de trabalho do modelo (Cap 6).

Mas existe um aspecto crítico que não pode ser ignorado: LLMs têm limitações estruturais e podem gerar informações incorretas com uma confiança que é absolutamente indistinguível de verdade.

Este não é um detalhe técnico menor. É uma característica fundamental que define como você — não importa sua profissão — deve usar IA em contextos reais. Quando essa característica é ignorada, as consequências podem ser graves: médicos tratando pacientes com dosagens fictícias, advogados construindo casos sobre jurisprudência que nunca existiu, engenheiros projetando sistemas com especificações alucinadas, pesquisadores citando papers que não existem.

Neste capítulo, vamos explorar honestamente por que os LLMs alucinam, entender as diferentes formas que essas alucinações podem tomar, e mais importante: aprender um framework completo de grounding — técnicas científicas para reduzir alucinações e aumentar a confiabilidade das respostas.

Uma alucinação não é um "erro de digitação" ou uma imprecisão menor. Uma alucinação é a geração completa de informações que não existem, apresentadas de forma tão plausível, tão específica, e com tanta confiança que enganam até especialistas na primeira leitura.

Exemplo Clássico

Você pergunta: "Cite 3 artigos sobre o uso de IA em anestesiologia publicados em 2024 no JAMA."

A IA responde com 3 artigos — autores, volumes, páginas específicas. Nenhum desses artigos existe. Os autores? Provavelmente não existem. Os volumes? Inventados. As páginas? Fabricadas. Mas — e aqui está o ponto crucial — são específicos, plausíveis e confiantes.

Definição Formal

Segundo documentação técnica (Anthropic, 2025): "Alucinações ocorrem quando o modelo gera conteúdo que é factualmente incorreto, não fundamentado em seus dados de treinamento, ou inconsistente com informações fornecidas no contexto."

Tipo 1: Alucinações Factuais

O modelo inventa fatos objetivamente falsos: doses incorretas de medicamentos, complexidade errada de algoritmos, estatísticas fabricadas.

Tipo 2: Alucinações de Citação

O modelo inventa fontes, autores, artigos ou números de referência que não existem. Particularmente perigoso porque parece que a IA está sendo precisa.

Tipo 3: Alucinações Contextuais

O modelo mistura informações de diferentes contextos, criando associações incorretas: combinar propriedades de drogas diferentes, misturar precedentes jurídicos de casos distintos.

Tipo 4: Confabulação (Preenchimento de Lacunas)

Quando o modelo não sabe, ele preenche as lacunas com informações plausíveis mas inventadas: protocolos específicos de hospital, números de página para documentos consultados, estatísticas que "parecem corretas".

Factuality (Factualidade): A informação é objetivamente verdadeira ou falsa no mundo real.

• "Paris é a capital da França" = Factual
• "Paris é a capital da Itália" = Não-factual

Faithfulness (Fidelidade): A resposta é consistente e fiel a um documento ou contexto que foi fornecido.

• Documento: "A empresa cresceu 30% no Q1"
• Resposta fiel: "A empresa cresceu 30% no primeiro trimestre"
• Resposta infiel: "A empresa cresceu 45% no primeiro trimestre"

A distinção importa enormemente: faithfulness não garante factuality. Um documento que você fornece pode conter informação falsa. Pesquisa de Maynez et al. (2020) mostrou que modelos podem ser 80% fiéis a um documento mas conter erros factuais porque o documento original era impreciso.

Razão 1: LLMs São Modelos Probabilísticos, Não Bancos de Dados

Um banco de dados é como uma biblioteca com índices: você procura uma informação, o sistema retorna correspondência exata ou diz "não encontrado". Um LLM é como um escritor que leu bilhões de textos — ele gera a resposta baseado em padrões aprendidos. Quando padrões são raros ou incertos, o modelo gera o que parece plausível.

Razão 2: Geração Token-por-Token Sem "Marcha-Atrás"

Uma vez que um token é gerado, ele se torna contexto para os próximos. Não existe "voltar atrás". Se o modelo gera um nome de revista que não existe, os tokens subsequentes amplificam o erro — criando uma "cascata de alucinação".

Razão 3: Treinamento em Dados da Internet (Que Contém Muitos Erros)

A internet contém fóruns com conselhos médicos errados, blogs com métricas fabricadas, artigos mal pesquisados. Lin et al. (2021) com TruthfulQA mostrou que modelos alcançam apenas 58% de acurácia em perguntas onde a resposta intuitiva é falsa.

Razão 4: Treinamento via RLHF Cria Pressão para "Sempre Ter Resposta"

Modelos são otimizados via RLHF para serem úteis, completos e satisfatórios. "Não sei" é menos recompensado que uma resposta estruturada. O resultado? Pressão inerente para sempre ter uma resposta.

Limitação 1: Conhecimento Desatualizado (Knowledge Cutoff)

Knowledge Cutoffs Atuais: Claude (Maio 2025), GPT-5.2 (Agosto 2025), Gemini 3 (Janeiro 2026). Eventos posteriores a essas datas levam à confabulação.

Limitação 2: Sem Acesso a Informações Proprietárias ou Internas

Protocolos específicos de hospital, documentos internos da empresa, dados de pacientes, contratos, bases proprietárias — o modelo simplesmente não tem acesso a essas informações.

Limitação 3: Matemática Complexa e Cálculos

LLMs simulam cálculos baseados em padrões, não fazem computação nativa. Problemas simples funcionam; complexos, o modelo confabula o resultado.

Limitação 4: Não Entendem "Verdade" — Apenas Padrões

LLMs capturam correlações estatísticas em textos. Se texto diz "A causa B", o modelo aprende a associação — mas não por quê. Causalidade é invisível para o modelo.

Sinal 1: Confiança Excessiva + Vaguidade

"Estudos mostram que..." sem especificar quais. Confiança + vaguidade = combinação perigosa.

Sinal 2: Citações Muito Específicas Mas Não Verificáveis

Autores, volumes, páginas que parecem reais mas que você não pode verificar instantaneamente.

Sinal 3: Inconsistências Entre Turnos

Informações contraditórias na mesma conversa, ambas com confiança.

Sinal 4: Detalhes Suspeitamente Perfeitos

Informação tão específica e formatada que parece fabricada. Informação real é frequentemente desordenada.

Sinal 5: A IA "Sempre Tem Uma Resposta"

Se faz 10 perguntas de dificuldade variada e a IA tem resposta confiante para todas, desconfie.

Técnica 1: Fornecer Documentos de Referência (In-Context Grounding)

Cole o documento relevante no prompt e instrua: "Responda baseado NESTE documento. Se a informação não estiver no documento, diga 'não está no documento'." Extremamente eficaz para documentos que você já tem.

Técnica 2: RAG — Retrieval-Augmented Generation

Framework científico (Lewis et al., 2020): Retriever busca documentos relevantes por similaridade → Generator (IA) gera resposta fundamentada nesses documentos. Escalável para grandes bases de conhecimento.

Técnica 3: Citações Obrigatórias (Citation Anchoring)

Instrua o modelo para sempre citar fonte [1], [2], [3] para afirmações factuais. Força explicitação — se a IA cita algo que não existe, fica óbvio ao verificar.

Técnica 4: Web Search Integrada (Real-Time Grounding)

Modelos modernos buscam na web em tempo real. Resolve problema de knowledge cutoff. Google Gemini API (2025) suporta grounding com Google Search. Claude e ChatGPT Plus também.

Técnica 5: Tool Use e Code Execution (Grounding Computacional)

Para matemática e cálculos — use ferramentas computacionais reais, não simulação. Claude e Gemini têm code execution nativo; ChatGPT tem Code Interpreter.

Técnica 6: Validação Cruzada (Cross-Checking Entre Modelos)

Faça a mesma pergunta em 2-3 modelos diferentes. Concordância aumenta confiança; divergência sinaliza possíveis alucinações. HaluEval (Li et al., 2023) mostrou que modelos detectam melhor alucinações com múltiplas perspectivas.

Um validador é um profissional que usa IA como ferramenta, mas mantém autoridade crítica sobre informações produzidas.

O que um Validador Faz — 5 Passos Práticos

Passo 1: Identificar Criticidade — Vida? Conformidade? Decisão financeira? Se sim → ir para Passo 2.

Passo 2: Questionar a Resposta — A IA citou fonte? Admitiu incerteza? Contradiz algo que sei?

Passo 3: Verificar Independentemente — Documentos primários, especialistas humanos, bases de dados confiáveis, múltiplos modelos.

Passo 4: Documentar o Processo — Qual pergunta, qual resposta, como validou, conclusão.

Passo 5: Decidir com Autoridade — Você — não a IA — toma a decisão final.

Aplicabilidade Multidisciplinar

• Medicina: Validar em BNF, comparar com protocolo hospitalar, consultar farmacologista.
• Advocacia: Sempre consultar base de jurisprudência (STF, STJ) antes de citar.
• Engenharia: Executar cálculos com software validado (ANSYS, SAP), testar código antes de implementar.
• Pesquisa: Verificar citações em PubMed ou Google Scholar. Nunca citar "dados gerados por IA".
• Gestão/Finanças: Cruzar com fontes oficiais (Banco Central, IBGE, bases financeiras).
• Marketing: Validar claims contra relatórios de agências (Gartner, IDC) e dados públicos.

Cenário	Funciona?	Melhor Técnica	Confiança
Citar artigo que você forneceu	Sim	Documento de Referência	Muito alta
Calcular juros compostos	Sim	Code Execution	Muito alta
Responder sobre lei de 2023	Sim	RAG + base jurídica	Alta
Verificar regulação atual	Sim	Web Search	Alta
Inventar dose de medicamento novo	Não	Nenhum	Baixa
Evento de 2026	Parcial	Web Search	Depende da fonte

Princípio-chave: Grounding reduz alucinações, mas não as elimina completamente.

Princípio 1: Sempre Validar Informações Críticas

Princípio 2: Use IA como Assistente, Não como Autoridade

Princípio 3: Documente Sempre — Qual IA, qual pergunta, como validou

Princípio 4: Nunca Use IA Sozinho para Decisões Críticas

Princípio 5: Eduque Sua Equipe

Casos Reais

Caso 1 — Mata v. Avianca (2023): Advogado citou jurisprudência fictícia gerada por ChatGPT. Publicamente censurado e multado.

Caso 2 — HaluEval Study (2024): 300 casos clínicos fictícios testados em 6 LLMs. Modelos elaboravam sobre erros, criando diagnósticos coerentes baseados em premissa falsa.

Caso 3 — Amazon Science (2024): Developers usando ChatGPT para código — modelo inventava APIs e bibliotecas fictícias.

Caso 4 — Confabulação de Métricas: CFO baseou decisão em "65.3% crescimento" gerado por IA. Crescimento real foi 12%.

Caso 5 — Paper Fictício: Estudante citou "Smith et al. (2023), Nature Neuroscience, Vol 44..." — paper não existe. Trabalho rejeitado.

Limitações da IA não invalidam a ferramenta. Ao contrário — elas tornam o profissional que as entende mais poderoso. Você não é vítima das limitações da IA. Você é arquiteto das guardrails que as contornam.

Você agora domina as fundações de LLMs — desde como funcionam até suas limitações críticas. No Ebook 2, vamos explorar Prompt Engineering — a arte e ciência de comunicar exatamente o que você quer da IA, de forma que as técnicas de grounding que aprendeu aqui funcionem ainda melhor.

Questão 1 (Múltipla Escolha)

Um advogado usa ChatGPT para pesquisar jurisprudência sobre direito de propriedade intelectual. A IA retorna 5 sentenças do STF com números de processo, datas e citações muito específicas. O advogado inclui na petição sem verificar. O que aconteceu?

(A) O advogado fez uso correto de IA como ferramenta de pesquisa
(B) O advogado provavelmente incluiu alucinações de citação — risco de sanção judicial
(C) A IA tem acesso à base de jurisprudência, então as citações são confiáveis
(D) Citações específicas são indicador de confiabilidade

Ver Gabarito

(B) — Este é o caso real de Mata v. Avianca (2023). Citações específicas são na verdade sinal de alerta clássico de alucinação.

Questão 2 (Múltipla Escolha)

Qual é a diferença entre "Factuality" e "Faithfulness"?

(A) São sinônimos
(B) Factuality = verdade no mundo real; Faithfulness = consistência com documento fornecido
(C) Factuality = citação completa; Faithfulness = resumo curto
(D) Faithfulness aplica-se só a medicina

Ver Gabarito

(B) — RAG garante faithfulness mas não factuality. Se o documento tem erro, RAG propagará o erro.

Questão 3 (Verdadeiro ou Falso)

1. Alucinações são "erros ocasionais" — se a IA responde com confiança, é 90% provável que esteja certa. Falso — Alucinações são sistemáticas e confiança é inversamente correlacionada com acurácia em tópicos raros.
2. Code execution elimina completamente a possibilidade de alucinação. Falso — Reduz alucinações em cálculos, mas a IA pode alucinar qual código escrever.
3. Se a IA cita fonte [1], [2], [3], é sinal de que as fontes existem. Falso — Citações obrigatórias forçam explicitação, não garantem veracidade.
4. Um médico que valida em BNF antes de prescrever demonstra "postura de validador". Verdadeiro.
5. Alucinações são problema exclusivo de medicina. Falso — Acontecem em todas as áreas.

Questão 4 (Dissertativa)

Uma pesquisadora usa IA para gerar um capítulo de revisão de literatura com 20 citações. Como demonstrar "postura de validador"?

Ver Resposta Modelo

(1) Identificar criticidade (publicação, reputação em risco). (2) Questionar (IA citou fonte? Admitiu incerteza?). (3) Verificar cada paper em Google Scholar — criar tabela "Citação | Achado | Status". (4) Documentar processo. (5) Remover citações não-verificáveis, substituir por papers acessados. Resultado: pesquisa publicável e defensável.

Questão 5 (Aplicação Prática)

Você é gestor em consultoria. Analista junior gera relatório com "Mercado deve crescer 38.7% ano-a-ano" e "Empresas de IA representarão 23.4% do total". Números muito específicos. Como proceder?

Ver Resposta Modelo

(1) Validar em Gartner, IDC, Forrester, McKinsey. (2) Técnica ideal: RAG + Web Search + Citações Obrigatórias. (3) Comunicar ao cliente com intervalos de confiança e fontes verificadas. Resultado: relatório credível e defensável.

1. Anthropic (2025). Reduce Hallucinations. Platform Documentation.
2. Google AI (2025). Grounding with Google Search. Gemini API Documentation.
3. Ji, Z. et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys.
4. Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS.
5. Maynez, J. et al. (2020). On Faithfulness and Factuality in Abstractive Summarization. ACL 2020.
6. Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. NeurIPS.
7. Li, C. et al. (2023). HaluEval: A Large-Scale Hallucination Evaluation Benchmark. EMNLP 2023.
8. Anthropic (2025). Safety and Alignment Documentation.
9. OpenAI (2024). Prompt Engineering Guide. Developers documentation.
10. Amazon Science (2024). On Mitigating Code LLM Hallucinations with API Documentation.
11. Stanford HAI (2024). Hallucinating Law: Legal Mistakes with Large Language Models Are Pervasive.
12. Nature Communications Medicine (2025). Clinical Vignette Study: Hallucinations in LLMs with Fabricated Medical Data.