Pesquisadores do MIT usam GPT-6 Astra para reprogramar modelos de IA

Pesquisadores do MIT demonstraram que o modelo GPT-6 Astra, desenvolvido pela OpenAI, consegue analisar e modificar diretamente as configurações internas de outros modelos de inteligência artificial sem recorrer ao processo tradicional de treinamento. A abordagem foi batizada pelos acadêmicos de "Weight-Space Programming" (programação no espaço de pesos), na qual o modelo de linguagem atua ajustando os parâmetros numéricos mantidos em matrizes pelas redes neurais.

Como funcionaram os testes de identificação e criação de pesos?

Segundo a publicação dos pesquisadores divulgada por reportagem do The Decoder, o GPT-6 Astra recebeu conjuntos brutos de pesos de redes treinadas e conseguiu identificar qual de quatro jogos de computador uma rede havia sido preparada para jogar. Ele também reconheceu formas geométricas básicas geradas por um modelo de imagem — embora tenha confundido formas preenchidas com seus contornos — e determinou a linguagem de treinamento de pequenos modelos de linguagem sem ter acesso aos dados de treino e sem executar as redes.

Em outro experimento, a inteligência artificial escreveu do zero os pesos de redes projetadas para jogar três jogos de computador simples, baseando-se apenas no código-fonte e nas regras dos jogos. Em Breakout, o modelo gerado pelo Astra alcançou média de 517 pontos, contra 25 pontos do modelo treinado pelo método tradicional. Para o jogo de tabuleiro Go em um tabuleiro de 9x9, o Astra definiu os pesos de uma rede de 1,5 milhão de parâmetros que superou um modelo comparável treinado com cerca de 20 milhões de partidas, utilizando um orçamento de 50 iterações de teste.

Quais foram os resultados em modelos de linguagem existentes?

A aplicação prática envolveu o modelo de linguagem Qwen3.5-0.8B. O Astra identificou um problema relatado na própria documentação do Qwen: loops de repetição em que o modelo repete o mesmo texto sem chegar a uma resposta. Após 50 iterações de teste em um ambiente de codificação, o Astra alterou apenas 0,016% dos pesos totais do Qwen3.5-0.8B.

Com essa modificação pontual, a precisão do Qwen no teste de referência MATH-500 subiu de 7,9% para 48,1%, enquanto a capacidade de seguir instruções passou de 21% para 62%. O problema dos loops não foi totalmente eliminado, pois um terço das respostas ainda atingiu a extensão máxima de texto, frente a 93% registrados antes do ajuste. Em contraste, no teste realizado com o modelo Gemma 3 270M, que raramente entrava nesses loops, o Astra não conseguiu gerar melhoria mensurável.

Quais são os limites e os debates sobre a técnica?

Os pesquisadores do MIT sugerem que o Astra conseguiu remover um bloqueio que suprimia capacidades já existentes no modelo Qwen, mas observam que habilidades que um modelo não possui fundamentalmente não puderam ser inseridas apenas com a reescrita de pesos isolados.

O pioneiro da IA Jürgen Schmidhuber comentou na rede social X que o conceito de atuar sobre pesos de redes neurais não é novo, mencionando seus próprios trabalhos da década de 1990. O pesquisador Khattab respondeu citando esses estudos anteriores e ressaltou que a novidade reside na capacidade dos modelos de linguagem atuais de traduzir a linguagem humana para os valores numéricos de uma rede.

A equipe do MIT aponta potencial no uso do método para auditorias de segurança diretamente nos pesos de modelos, mas reconhece limitações no estágio atual. Os registros dos experimentos foram disponibilizados no GitHub e a versão modificada do modelo Qwen foi publicada na plataforma Hugging Face.