Google desenvolve método para evitar que agentes de IA decorem testes

Pesquisadores da Google Cloud AI Research, em parceria com universidades, apresentaram uma nova técnica projetada para conter a tendência de agentes de inteligência artificial de memorizar testes ao tentar otimizar seu próprio desempenho. Chamada de RRSI (sigla em inglês para Autoaperfeiçoamento Recursivo Regularizado de Estruturas de Agentes), a solução atua sobre o arcabouço que controla as ações do modelo e também busca reduzir gastos com processamento computacional.

O problema da memorização em estruturas de agentes

Os agentes modernos de IA combinam um modelo de linguagem fixo a uma estrutura externa de controle, conhecida como harness. Esse componente envolve prompts, fluxos de trabalho, ferramentas, memória e lógica, determinando o que o modelo visualiza e executa a cada etapa. De acordo com o estudo divulgado pelos pesquisadores, boa parte dos avanços recentes em sistemas autônomos decorre de melhorias nessa estrutura, e não da criação de novos modelos.

A automação desse processo ocorre quando um modelo de linguagem reescreve a própria estrutura repetidamente com base no retorno das tarefas de avaliação. No entanto, os autores do artigo apontam que essa auto-otimização contínua faz com que o agente decore o conjunto limitado de testes. Como resultado, as pontuações sobem nas tarefas de treino, mas os ganhos caem ou somem em avaliações totalmente novas.

Como funciona o método RRSI

O RRSI atua na regulação desse ciclo mantendo a estrutura totalmente editável, mas aplicando restrições em dois momentos: na proposta de alterações e na aprovação final. Quando novas modificações são sugeridas, o sistema estabelece um limite para o número de edições independentes agrupadas. Esse limite reduz progressivamente ao longo do tempo, permitindo mudanças maiores no início e exigindo alterações menores e rastreáveis nas etapas posteriores.

Na fase de seleção, um componente avaliador analisa cada proposta e descarta alterações que incluam nomes de tarefas, respostas fixas ou truques específicos de um único benchmark. Além disso, o aumento no custo de computação só é aceito se vier acompanhado de um ganho mensurável de desempenho, removendo itens que deixaram de ser úteis.

Resultados e transferência entre modelos

Nos experimentos realizados em oito benchmarks de programação, rotinas de escritório e engenharia, os pesquisadores utilizaram o modelo Claude Opus 4.8 congelado. O RRSI alcançou um ganho de até 14,1 pontos nas tarefas usadas no treinamento e de até 4,7 pontos em cinco benchmarks inéditos — com o maior avanço verificado no JobBench. A técnica também utilizou cerca de 30% menos tokens na execução em relação à versão sem regularização.

O estudo também indicou que as melhorias encontradas na estrutura podem beneficiar modelos menos capazes. Uma estrutura de programação otimizada com o Gemini 3.5 Flash aumentou a precisão do Gemini 3.1 Flash Lite de 11,2 para 14,6 pontos sem necessidade de ajustes adicionais. O código do projeto foi disponibilizado no GitHub. A pesquisa cobriu apenas estruturas construídas ao redor de modelos congelados, sem abordar cenários em que os pesos do próprio modelo são alterados.