Alucinação
Alucinação de IA é o fenômeno onde um modelo de linguagem gera informações aparentemente confiantes, mas que são factualmente incorretas, inventadas ou sem sentido, e que não estão fundamentadas nos dados de entrada ou de treinamento.
Entendendo Alucinação
Alucinação é um dos desafios mais significativos no uso de grandes modelos de linguagem. LLMs não recuperam fatos de um banco de dados; eles prevêem o próximo token com base em padrões estatísticos aprendidos durante o treinamento. Quando questionados sobre algo fora de seus dados de treinamento ou em áreas de menor conhecimento, os modelos podem gerar informações plausíveis, mas falsas, com aparente confiança. As alucinações podem ir de pequenos erros factuais (datas erradas, estatísticas incorretas) até invenções completas (citações criadas, pessoas inexistentes, recursos de produtos inventados). O perigo é que o tom confiante não indica que a informação está incorreta. Vários fatores aumentam o risco de alucinação: pedir fatos muito específicos sobre os quais o modelo não foi treinado, solicitar informações sobre entidades reais porém obscuras, fazer perguntas tendenciosas que sugerem premissas falsas e dar contexto insuficiente ao modelo. Ajustar a temperatura da amostragem reduz, mas não elimina as alucinações. As principais estratégias de mitigação são grounding e RAG. Grounding significa fornecer documentos de referência e instruir o modelo a se basear apenas nesse conteúdo. RAG busca documentos relevantes antes da geração, dando ao modelo informações precisas para consultar. Essas técnicas são particularmente eficazes para consultas factuais.
Como GAIA usa Alucinação
O GAIA minimiza alucinações ao fundamentar suas respostas em dados recuperados. Ao responder perguntas sobre seus e-mails, tarefas ou projetos, o GAIA primeiro busca conteúdos relevantes no ChromaDB e os insere no prompt como contexto. O LLM é instruído a basear suas respostas nesses dados recuperados, e não apenas em conhecimento geral, reduzindo drasticamente o risco de informações inventadas em contextos críticos de produtividade.
Conceitos relacionados
Geração Aumentada por Recuperação (RAG)
Geração Aumentada por Recuperação (RAG) é uma técnica que aprimora as respostas de LLMs ao primeiro recuperar documentos ou dados relevantes de uma base de conhecimento externa e injetar esse contexto no prompt do modelo.
Engenharia de Prompt
Engenharia de prompt é a prática de projetar e refinar entradas para modelos de linguagem de IA, a fim de obter respostas desejadas de forma consistente, moldando o comportamento do modelo sem modificar seus pesos.
Modelo de Linguagem de Grande Porte (LLM)
Um Modelo de Linguagem de Grande Porte (LLM) é um modelo de inteligência artificial treinado em enormes quantidades de dados textuais, capaz de compreender, gerar e raciocinar sobre a linguagem humana com grande fluência.
Janela de Contexto
A janela de contexto é o número máximo de tokens que um modelo de linguagem pode processar em uma única chamada de inferência, incluindo o prompt do sistema, histórico da conversa, documentos recuperados e saída gerada.
Large Language Model (LLM)
Um Modelo de Linguagem de Grande Porte (LLM) é um modelo de deep learning treinado com enormes conjuntos de textos capaz de compreender, gerar e raciocinar sobre linguagem humana em uma ampla variedade de tarefas.
