Auditoria externa revela lacunas no monitoramento de segurança da OpenAI
Auditoria de três semanas da METR e Redwood Research encontrou falhas no monitoramento de respostas e tráfego interno da OpenAI, que a empresa afirma ter corrigido.
Resumo rápido
- Auditores da METR e Redwood passaram três semanas na OpenAI analisando o monitoramento interno.
- Eles identificaram que entre 6 % e 25 % do tráfego da API Responses de modelos GPT‑5.5+ não era monitorado.
- A OpenAI corrigiu as falhas apontadas e ampliou a vigilância ao treinamento por reforço após a auditoria.
Entenda o contexto
A OpenAI desenvolve modelos de linguagem avançados e mantém sistemas internos para monitorar respostas potencialmente perigosas. Auditorias externas como a realizada pela METR e Redwood buscam avaliar a eficácia desses mecanismos de segurança.
Dois pesquisadores da METR e da Redwood Research conduziram, de 21 de julho a 11 de agosto, uma auditoria presencial de três semanas na OpenAI, com acesso ao código‑fonte, documentos internos e entrevistas com cerca de doze funcionários.
Principais vulnerabilidades encontradas
A equipe identificou que entre 6 % e 25 % do tráfego interno da API Responses de agentes baseados em modelos da classe GPT‑5.5 ou superiores não foi coberto por nenhum monitoramento durante o período analisado. Além disso, para o tráfego interno do Codex, a METR estima que aproximadamente 10 % ficou sem registro entre maio e julho, devido a um problema no tratamento de eventos de compactação – resumos de contexto que o sistema gera.
A OpenAI reconheceu o bug de compactação, corrigiu a falha enquanto a auditoria ainda estava em curso e, após o incidente com a Hugging Face em agosto, pausou o treinamento por reforço (RL) e ampliou o monitoramento para cobrir essa etapa, embora essas mudanças tenham ocorrido depois do término do acesso dos auditores.
O relatório completo, com 61 páginas, foi entregue internamente. Após a aplicação de redações, a METR e a Redwood receberam uma versão de 38 páginas; ao público foi disponibilizado apenas um resumo breve. A METR indica que pretende exigir maior transparência em auditorias futuras.
Para acompanhar outras iniciativas da OpenAI, veja OpenAI lança recursos colaborativos e sistema de plugins no ChatGPT e OpenAI demite três pesquisadores de segurança após vazamento.
Referências
- Reportagem consultada: The Decoder
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
