Temperatura (IA)
Temperatura é um parâmetro na inferência de modelos de linguagem que controla a aleatoriedade na escolha de tokens — temperaturas mais altas produzem saídas mais variadas e criativas, enquanto temperaturas mais baixas geram respostas mais consistentes e determinísticas.
Entendendo Temperatura (IA)
Quando um LLM gera texto, ele calcula uma distribuição de probabilidade sobre os próximos possíveis tokens. A temperatura ajusta essa distribuição antes da amostragem. Com temperatura 0, o modelo sempre escolhe o token de maior probabilidade (decodificação gananciosa), produzindo uma saída determinística. Em temperaturas mais altas (0,7-1,0), o modelo amostra de uma distribuição mais ampla, trazendo variedade e, por vezes, resultados surpreendentes, ou incorretos.
Temperatura é um controle entre criatividade e consistência. Para tarefas que exigem precisão, como resumir um e-mail ou extrair tarefas de uma reunião, recomenda-se baixa temperatura (0,0-0,3). Para tarefas criativas, como brainstorming, redação variada ou geração de nomes, temperaturas mais altas (0,7-1,0) produzem resultados mais interessantes.
Parâmetros relacionados incluem top-p (amostragem por núcleo), que limita a amostragem à maior massa de probabilidade, e top-k, que limita aos k tokens mais prováveis. Juntos, esses parâmetros oferecem aos desenvolvedores um controle refinado sobre as características da saída.
A maioria das APIs de assistentes de IA expõe a temperatura como um parâmetro configurável. A GAIA mantém uma temperatura padrão baixa, de 0,1, para quase tudo, para que triagem, extração e chamadas de ferramentas sejam consistentes.
Como GAIA usa Temperatura (IA)
A GAIA executa quase todas as tarefas com uma temperatura padrão baixa, de 0,1. Ler sua caixa de entrada, extrair itens de ação, relatar sua agenda e chamar ferramentas exigem que a mesma entrada gere o mesmo resultado. Só algumas tarefas que se beneficiam de variedade usam um valor mais alto.
Conceitos relacionados
Modelo de Linguagem de Grande Porte (LLM)
Um Modelo de Linguagem de Grande Porte (LLM) é um modelo de inteligência artificial treinado em enormes quantidades de dados textuais, capaz de compreender, gerar e raciocinar sobre a linguagem humana com grande fluência.
Engenharia de Prompt
Engenharia de prompt é a prática de projetar e refinar entradas para modelos de linguagem de IA, a fim de obter respostas desejadas de forma consistente, moldando o comportamento do modelo sem modificar seus pesos.
Inferência
Inferência é o processo de executar um modelo de IA treinado em novos dados de entrada para gerar previsões, respostas ou decisões, em oposição ao treinamento, que é o processo de construir o modelo a partir dos dados.
Alucinação
Alucinação de IA é o fenômeno onde um modelo de linguagem gera informações aparentemente confiantes, mas que são factualmente incorretas, inventadas ou sem sentido, e que não estão fundamentadas nos dados de entrada ou de treinamento.
Saída Estruturada
Saída estruturada é uma técnica que limita um LLM a responder em um formato predefinido — normalmente JSON ou XML — permitindo a análise programática confiável das respostas do modelo, em vez de texto livre.
