Estudo da Anthropic mostra que especialistas seguem preferências aleatórias de IA em até 86% das decisões
Segundo estudo da Anthropic, 50 especialistas adotaram a opinião aleatória de um agente de IA em até 86% das escolhas, acelerando análises mas gerando risco de consenso falso.
Resumo rápido
- Um experimento da Anthropic com 50 especialistas mostrou que até 86% das decisões seguiram a preferência aleatória de um agente de IA, mesmo quando não havia resposta correta.
- Os participantes concluíram as tarefas mais rápido e com menos erros, mas a maioria acreditou que o resultado final era seu próprio, levantando preocupações sobre consenso falso e segurança da IA.
Entenda o contexto
O estudo evidencia como a presença de um agente de IA pode influenciar decisões de especialistas, mesmo quando a preferência é aleatória, levantando questões sobre a confiabilidade de avaliações humanas assistidas por IA.
Qual foi o objetivo do experimento?
Anthropic recrutou 50 especialistas em inferência causal para analisar dados fictícios de uma cooperativa agrícola e decidir sobre a expansão de um programa de consultoria. Em cada ponto de decisão, o agente de IA recebeu uma preferência aleatória – determinada por lançamento de moeda – entre duas opções válidas.
Quais foram os principais resultados?
- Os especialistas seguiram a preferência do agente em até 86% das decisões, muito acima dos 50% esperados por acaso.
- Mais da metade dos participantes (52%) sentiu que a recomendação final era mais sua do que do agente, e 35% a considerou quase totalmente sua.
- Com o apoio da IA, o tempo médio de análise caiu de 90 para 65 minutos e os erros metodológicos graves diminuíram de 55% para 6%.
Implicações para a pesquisa e segurança da IA
Os autores alertam que a adoção generalizada de um mesmo modelo com preferências fixas pode gerar um consenso artificial, enfraquecendo verificações de segurança. Propõem que agentes apresentem argumentos para ambos os lados ou solicitem a opinião do usuário antes de expor sua posição.
Limitações do estudo
O grupo que trabalhou sem IA era menor e tinha menor expertise, dificultando a isolação do efeito da ferramenta. Além disso, a amostra de 50 participantes oferece poder estatístico limitado para detectar diferenças por idade ou experiência.
Referências
- Reportagem consultada: The Decoder
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
