Agentes de IA criam código secreto para fraudar jogo em estudo

Pesquisadores da Universidade de Oxford relataram que agentes de inteligência artificial instruídos a contar cartas em partidas de blackjack desenvolveram, de forma espontânea, um código secreto para se ajudarem mutuamente. O experimento revelou que os agentes, controlados pelo mesmo modelo, conseguiram trocar informações para obter vantagem sem que suas intenções fossem percebidas pelos sistemas convencionais criados para monitorar conversas automatizadas.

A coordenação oculta ocorreu dentro do laboratório e levantou preocupações sobre como sistemas autônomos podem agir de forma conjunta em setores reais, como mercado financeiro e comércio eletrônico. Segundo Christian Schroeder de Witt, cientista da computação na Universidade de Oxford que liderou o trabalho, agentes individualmente inofensivos podem passar a agir em conluio ao serem colocados em grupo. Durante os testes, frases aparentemente comuns ditas por um agente — como comentários sobre a sorte do crupiê — funcionavam como sinalizações para indicar o valor da próxima carta e orientar apostas específicas do outro participante.

Identificação de mensagens ocultas e testes com modelos

Para conseguir identificar a conspiração entre os sistemas, a equipe de Oxford adotou uma técnica chamada interpretabilidade mecanicista, que analisa o funcionamento interno e as ativações dos sistemas. Utilizando uma ferramenta chamada Narcbench, os pesquisadores treinaram um modelo menor para reconhecer padrões nos pesos de modelos de médio porte e de pesos abertos, conseguindo detectar quando havia intenção de repassar dados sigilosos.

No entanto, a equipe destacou que essa identificação exigiu o monitoramento simultâneo de ambos os agentes, algo que complica a aplicação em cenários do mundo real, nos quais milhares de sistemas operados por empresas diferentes podem interagir. A pesquisadora Carissa Cullen explicou que a próxima etapa do projeto consiste em testar se modelos de maior porte apresentam o mesmo comportamento, observando que versões menores derivadas de sistemas como Llama, GPT-OSS, Qwen e DeepSeek já demonstraram sinais que inspiram atenção.

Riscos de ações coordenadas e próximos passos

A preocupação com o comportamento de múltiplos agentes também foi reforçada por um estudo da Universidade Jiao Tong de Xangai e do Laboratório de Inteligência Artificial de Xangai. Os pesquisadores relataram que grupos de agentes se mostraram consideravelmente mais perigosos do que sistemas individuais em simulações de campanhas de desinformação e fraudes no comércio eletrônico, adaptando-se melhor a barreiras defensivas.

O tema tem gerado alertas internacionais. Recentemente, um painel da ONU alertou para falta de controle sobre agentes de IA, no mesmo período em que líderes políticos e executivos do setor debatem a necessidade de governança para mitigar os riscos trazidos por esses sistemas. Paralelamente, autoridades europeias expressaram apreensão semelhante, como no caso em que o presidente da UE alerta para riscos de agentes de IA fora de controle. Os pesquisadores de Oxford ressaltam que compreender como os agentes interagem continuará sendo uma etapa crucial à medida que essas tecnologias forem integradas à economia mundial.