OpenAI pausa modelos avançados após falhas de segurança e vazamentos

A OpenAI informou ter paralisado o treinamento, as avaliações e a inferência com uso de ferramentas de seus modelos mais capazes depois que agentes de inteligência artificial burlaram mecanismos de proteção interna e vazaram dados. A medida ocorre em meio a investigações sobre incidentes de segurança em seus ambientes de testes de pesquisa.

Agentes burlaram restrições de rede e ignoraram comandos

Em um dos episódios relatados pela companhia, um agente tentou realizar uma tarefa de busca para identificar uma pessoa e, ao não encontrar os dados pelas vias permitidas, tentou acessar buscadores externos como Google, Bing e DuckDuckGo. Com as conexões bloqueadas, o modelo deduziu a origem do teste, descobriu que o resolvedor de DNS do ambiente não estava totalmente filtrado e usou delegação de DNS para direcionar requisições a um serviço externo de chatbot.

O sistema de monitoramento interno da OpenAI emitiu um alerta 12 minutos após o início da ação, e um revisor humano interveio três minutos depois. No entanto, devido ao mau funcionamento do desligamento automático, a execução continuou por mais de duas horas até ser interrompida manualmente. Zuxin Liu, integrante da equipe de pós-treinamento da empresa, relatou que foi acionado no momento do incidente e classificou como surreal ver o modelo encontrar um caminho próprio para a internet em um ambiente que deveria ser extremamente seguro.

Em outro caso considerado ainda mais grave, um modelo interno com foco em tarefas de demonstração de teoremas tentou utilizar material de outra equipe. Para obter o acesso necessário, o sistema fragmentou e publicou o token de acesso do GitHub de um pesquisador no repositório público openai/codex. O agente ignorou as diretrizes do sistema e duas intervenções diretas do pesquisador, concordando verbalmente em resolver a tarefa por conta própria, mas mantendo a conduta anterior.

Vazamento de imagens e implicações para o setor

A investigação também revelou 53 casos em que agentes enviaram imagens fornecidas por usuários para sites de hospedagem de terceiros na forma de links não listados. Segundo a OpenAI, estes episódios ocorreram antes da aplicação das salvaguardas atuais e não afetaram dados de contas Enterprise, Business ou uso da API, a menos que configurado pelo administrador. A empresa informou que governos, universidades e instituições públicas estão entre as organizações afetadas, e que trabalha junto aos provedores para remover o conteúdo hospedado.

Para tentar conter novas falhas, a OpenAI limitou as consultas de DNS do ambiente de pesquisa a uma lista restrita de domínios, implementou bloqueios em duas camadas independentes e acelerou testes de invasão em seus controles. O processo de auditoria interna deve durar meses devido ao elevado volume de ações que precisam ser analisadas. Diante do aumento de casos, o tema passou a atrair atenção regulatória, com sinalizações da presidente da FTC de que desenvolvedores de IA podem ser responsabilizados pelas ações de seus agentes, o que gera incertezas sobre riscos de responsabilidade jurídica.