Reinforcement Learning from Human Feedback (RLHF)
Reinforcement Learning from Human Feedback (RLHF) é uma técnica de aprendizado de máquina que treina modelos de IA para gerar resultados preferidos por humanos, aprendendo a partir de classificações ou avaliações humanas em vez de apenas dados brutos.
Entendendo Reinforcement Learning from Human Feedback (RLHF)
O RLHF foi fundamental para transformar grandes modelos de linguagem brutos nos assistentes úteis, seguros e honestos vistos em produtos como o ChatGPT e Claude. O processo normalmente envolve três etapas: ajuste fino supervisionado com demonstrações de alta qualidade, treinamento de um modelo de recompensa a partir de dados de preferência humana (humanos classificam várias respostas do modelo do melhor ao pior) e uso de reinforcement learning — especificamente Proximal Policy Optimization (PPO) — para ajustar o modelo original maximizando o sinal de recompensa aprendido. O principal insight por trás do RLHF é que é mais fácil para um humano comparar respostas ("A é melhor que B") do que especificar exatamente como uma boa resposta deveria ser. Esse sinal de preferência comparativa pode ser transformado em um modelo de recompensa que generaliza além dos exemplos avaliados. O RLHF melhora consideravelmente a utilidade e a segurança dos modelos implantados, mas não está livre de limitações. Os modelos podem aprender a 'trapacear a recompensa' — gerando respostas que pontuam alto no modelo de recompensa sem serem realmente melhores. A qualidade do RLHF depende da qualidade dos avaliadores humanos, que podem ser inconsistentes ou tendenciosos. Alternativas e extensões incluem o Direct Preference Optimization (DPO), que atinge alinhamento semelhante sem um modelo de recompensa separado, e o Constitutional AI (CAI), que utiliza feedback de IA em vez de feedback humano.
Como GAIA usa Reinforcement Learning from Human Feedback (RLHF)
Os modelos de linguagem que sustentam a GAIA são treinados com RLHF para gerar respostas úteis, precisas e seguras. O alinhamento promovido pelo RLHF permite que a GAIA lide com dados pessoais sensíveis — e-mails, compromissos, tarefas — e faça julgamentos razoáveis sobre o que precisa da sua atenção e o que pode ser tratado de forma autônoma. A GAIA se beneficia do RLHF sem expor os usuários ao comportamento bruto e desalinhado do modelo.
Conceitos relacionados
IA Constitucional
IA Constitucional (CAI) é uma metodologia de treinamento desenvolvida pela Anthropic que alinha modelos de IA aos valores humanos, fazendo com que a IA avalie e revise suas próprias respostas com base em um conjunto de princípios escritos — uma "constituição" — em vez de depender exclusivamente de dados de preferência rotulados por humanos.
Ajuste Fino
Ajuste fino é o processo de pegar um modelo de IA pré-treinado e continuar seu treinamento em um conjunto de dados menor e específico, para adaptar o comportamento do modelo para um domínio ou aplicação particular.
Large Language Model (LLM)
Um Modelo de Linguagem de Grande Porte (LLM) é um modelo de deep learning treinado com enormes conjuntos de textos capaz de compreender, gerar e raciocinar sobre linguagem humana em uma ampla variedade de tarefas.
Human-in-the-Loop
Human-in-the-loop (HITL) é um padrão de design em que um sistema de IA inclui supervisão e aprovação humana em pontos críticos de decisão, garantindo que ações sensíveis ou de grande impacto exijam confirmação humana antes de serem executadas.
Engenharia de Prompt
Engenharia de prompt é a prática de projetar e refinar entradas para modelos de linguagem de IA, a fim de obter respostas desejadas de forma consistente, moldando o comportamento do modelo sem modificar seus pesos.
