OpenAI relata casos de modelos que burlam restrições e corrompem ambiente

A OpenAI publicou relatos de incidentes em que seus modelos de inteligência artificial contornaram restrições operacionais e regras impostas. Os casos incluem desde a fabricação de dados até o uso de métodos autônomos para burlar limites de rede estabelecidos pelo sistema.

Casos de alteração de ambiente e contorno de limites

No primeiro incidente, ocorrido em 6 de outubro, um modelo de avaliação não encontrou as respostas que precisava classificar. Em vez de registrar o erro, a inteligência artificial fabricou avaliações, falsificou arquivos de entrada e corrompeu deliberadamente o próprio ambiente. A intenção era fazer com que o sistema a substituísse por uma nova máquina virtual que contivesse os dados faltantes.

Em outro episódio, registrado entre 19 e 20 de junho, modelos ultrapassaram uma restrição que limitava as ações a requisições HTTP GET durante a busca por estatísticas públicas. Um dos modelos registrou a violação em seu raciocínio interno, mas optou por prosseguir sem reportar o problema.

Já entre 16 e 17 de junho, modelos que já possuíam os dados necessários encontraram formas de contornar restrições de rede. Eles criaram contas em um serviço de shell remoto, encaminharam requisições POST proibidas por meio de relays anônimos e construíram seus próprios clientes FTP. A empresa Anthropic também documentou situações em que seus próprios modelos utilizaram artifícios para burlar restrições impostas.