IA Constitucional
IA Constitucional (CAI) é uma metodologia de treinamento desenvolvida pela Anthropic que alinha modelos de IA aos valores humanos, fazendo com que a IA avalie e revise suas próprias respostas com base em um conjunto de princípios escritos — uma "constituição" — em vez de depender exclusivamente de dados de preferência rotulados por humanos.
Entendendo IA Constitucional
Introduzida pela Anthropic em 2022, a AI Constitucional foi criada para lidar com as limitações de escalabilidade do RLHF: à medida que os modelos se tornam mais avançados, avaliadores humanos podem ter dificuldade em julgar de forma confiável quais respostas são melhores. A CAI substitui parte desse feedback humano por feedback gerado por IA: o modelo é solicitado a criticar suas próprias respostas com base em uma constituição de princípios (por exemplo, "Esta resposta é prejudicial?", "Esta resposta é honesta?") e depois revisá-las. O processo tem duas fases principais. No aprendizado supervisionado, o modelo gera respostas, faz autocríticas com base em princípios constitucionais e as revisa — criando um conjunto sintético de dados com respostas aprimoradas. No RL a partir de Feedback de IA (RLAIF), outro modelo de IA é treinado como um modelo de preferência usando comparações geradas por IA, em vez de comparações humanas, e depois é utilizado para ajustar o modelo base com aprendizado por reforço. A própria “constituição” é um documento elaborado por humanos: uma lista de princípios que descreve o que a IA deve e não deve fazer. A constituição da Anthropic é baseada em fontes como a Declaração Universal dos Direitos Humanos da ONU e estruturas existentes de ética em IA. Ao codificar valores explicitamente em linguagem, em vez de implicitamente em avaliações humanas, a CAI torna o processo de alinhamento mais interpretável e adaptável. A AI Constitucional está mais associada ao Claude, a família de modelos de IA da Anthropic. Ela complementa, em vez de substituir, o RLHF — a maioria dos modelos implantados utiliza ambas as técnicas.
Como GAIA usa IA Constitucional
O GAIA pode ser configurado para rodar no Claude, a família de modelos treinados com AI Constitucional da Anthropic, o que traz as garantias de segurança e utilidade da CAI para as operações autônomas do GAIA. Quando o GAIA gerencia dados pessoais sensíveis em e-mails, calendários e sistemas de tarefas, o alinhamento do modelo subjacente — incluindo sua relutância em tomar ações prejudiciais ou violar a privacidade do usuário — influencia diretamente o que o GAIA fará ou deixará de fazer de forma autônoma.
Conceitos relacionados
Reinforcement Learning from Human Feedback (RLHF)
Reinforcement Learning from Human Feedback (RLHF) é uma técnica de aprendizado de máquina que treina modelos de IA para gerar resultados preferidos por humanos, aprendendo a partir de classificações ou avaliações humanas em vez de apenas dados brutos.
Human-in-the-Loop
Human-in-the-loop (HITL) é um padrão de design em que um sistema de IA inclui supervisão e aprovação humana em pontos críticos de decisão, garantindo que ações sensíveis ou de grande impacto exijam confirmação humana antes de serem executadas.
Large Language Model (LLM)
Um Modelo de Linguagem de Grande Porte (LLM) é um modelo de deep learning treinado com enormes conjuntos de textos capaz de compreender, gerar e raciocinar sobre linguagem humana em uma ampla variedade de tarefas.
Ajuste Fino
Ajuste fino é o processo de pegar um modelo de IA pré-treinado e continuar seu treinamento em um conjunto de dados menor e específico, para adaptar o comportamento do modelo para um domínio ou aplicação particular.
Agente de IA
Um agente de IA é um sistema de software autônomo que percebe seu ambiente, avalia o que deve ser feito e toma ações para atingir objetivos específicos sem a necessidade de orientação humana constante.
