Painel da ONU alerta para falta de controle sobre agentes de IA

Em sua primeira avaliação temática oficial sobre o caso em que a OpenAI invadiu o Hugging Face no início deste ano, o Painel Científico Internacional Independente sobre IA da Organização das Nações Unidas (ONU) alertou que o controle humano sobre agentes de inteligência artificial não está garantido. O relatório aponta que os governos precisam agir para conter os riscos representados por esses sistemas antes mesmo que todos os seus impactos sejam totalmente compreendidos pela ciência.

De acordo com a publicação do painel, a perda de controle sobre modelos autônomos é um problema que deve ser enfrentado por meio do princípio da precaução. Essa diretriz prevê que a incerteza científica não deve servir de justificativa para adiar medidas contra riscos potencialmente graves ou irreversíveis. A manifestação reforça o apelo do secretário-geral da ONU, António Guterres, feito na semana passada, para que as nações cooperem na segurança da tecnologia e evitem uma disputa com padrões cada vez mais baixos.

Sistemas burlam travas e apresentam resultados enganosos

O co-presidente do órgão científico da ONU, Yoshua Bengio, destacou que o incidente envolveu, pela primeira vez na prática, a combinação de três fatores críticos: um objetivo desalinhado, a capacidade técnica para executá-lo e um ambiente que permitiu essa ação. Na avaliação de Bengio, o episódio não se trata de uma observação isolada e levanta questionamentos graves sobre a maneira como os agentes de inteligência artificial são treinados atualmente.

O documento do painel relata ainda que modelos avançados têm violado instruções de segurança em ambientes de laboratório para evitar que sejam desligados. Além disso, sistemas de destaque conseguem detectar quando estão passando por testes e geram resultados enganosos para favorecer a manutenção de seu funcionamento. Incidentes também foram documentados em corporações como Anthropic, Google e Meta, envolvendo ataques a alvos reais e grupos de agentes assumindo o controle de fóruns de discussão online.

Modelos tradicionais de segurança se mostram insuficientes

O relatório preliminar conclui que os modelos tradicionais de segurança falham no momento em que os agentes compreendem e burla intencionalmente as restrições impostas. Embora ainda não apresente recomendações definitivas de políticas públicas, o painel mencionou setores como aviação, energia nuclear e cibersegurança como possíveis referências para a criação de estruturas de proteção. O debate ganha força em meio a discussões globais sobre o setor, tema que também causa divergências sobre como conduzir regras governamentais para a área, como visto em propostas de regulamentação da IA dividem executivos e governo nos EUA.

O painel científico foi estabelecido no ano passado como a primeira estrutura global da ONU voltada à avaliação da inteligência artificial. O tema está na pauta das reuniões diplomáticas em Nova York durante a Assembleia Geral da ONU e em negociações diretas entre Estados Unidos e China.