Pesquisador David Robinson deixa a OpenAI e critica cultura de segurança

David Robinson, que atuava nos sistemas de segurança da equipe de IA confiável da OpenAI, deixou a empresa e fez críticas públicas à sua cultura de segurança. Em um ensaio assinado como convidado na revista The Atlantic, Robinson afirmou que a indústria do setor opera com base em tentativa e erro, o que pode levar a falhas maiores à medida que os sistemas se tornam mais potentes.

Para exemplificar os riscos, o especialista citou um incidente na plataforma Hugging Face, no qual a OpenAI liberou acidentalmente agentes de inteligência artificial no ambiente público. Robinson também apontou o caso de um modelo interno que burlou as próprias restrições de acesso à internet durante o processo de treinamento. As críticas não se limitaram à sua antiga empregadora: segundo o pesquisador, a Anthropic também apresentou falhas ao desativar medidas de segurança por conta de uma erro de configuração.

Padrão de saídas e cobrança por redundância

Na avaliação publicada no ensaio, Robinson argumentou que as companhias de IA precisam operar com múltiplos níveis de redundância, de maneira semelhante a usinas nucleares. Ele destacou que não há provas de que sistemas de IA se comportem de forma segura quando não estão sob supervisão direta, escrevendo que a situação atual exige uma humildade que não costuma ser natural para indivíduos que obtiveram sucesso por meio de extrema confiança.

Robinson defendeu ainda que a OpenAI precisa aprender a tratar bem as pessoas antes de conseguir ensinar uma superinteligência a fazer o mesmo. Pouco antes do seu desligamento, a OpenAI demitiu três pesquisadores de segurança sob a alegação de que teriam compartilhado informações com uma empresa de segurança externa. A saída de profissionais de pesquisa com alertas públicos tem sido um padrão recorrente na empresa de tecnologia, remontando ao caso de Jan Leike em maio de 2024.