UK AISI e EvalEval publicam dados para padronizar avaliações de IA
Parceria entre o UK AISI e a EvalEval divulga dados estruturados de testes de modelos como GPT-5 e Claude Opus para aumentar a reprodutibilidade em IA.
Resumo rápido
- UK AISI e EvalEval lançam infraestrutura aberta para tornar testes de modelos de inteligência artificial reproduzíveis.
- A iniciativa libera dados detalhados e configurações de avaliação para modelos como GPT-5.4 e Claude Opus 4.6.
- Os relatórios usam o esquema Every Eval Ever e o formato Evaluation Cards para padronizar a comparação de resultados.
Entenda o contexto
O UK AI Security Institute (UK AISI) é uma organização de pesquisa vinculada ao Ministério da Ciência, Inovação e Tecnologia do Reino Unido. Avaliações e benchmarks são testes padronizados usados para medir as capacidades e falhas de modelos de linguagem, mas suas métricas variam muito conforme a configuração dos testes e o poder computacional empregado.
O Instituto de Segurança de Inteligência Artificial do Reino Unido (UK AISI) e a coalizão EvalEval anunciaram uma nova fase de colaboração para tornar os resultados de testes de benchmark de modelos de inteligência artificial reproduzíveis e padronizados. A iniciativa disponibiliza publicamente metodologias, contextos e configurações de testes por meio da plataforma Evaluation Cards e do repositório Every Eval Ever.
A falta de informações detalhadas sobre a execução de avaliações tem dificultado a verificação independente de desempenhos relatados pela indústria. Além do alto custo para reexecutar esses testes, variações no formato dos relatórios tornam desafiadora a comparação entre diferentes estudos. A proposta conjunta visa fechar essas lacunas publicando dados detalhados em uma estrutura comum.
Transparência e modelos avaliados
Nesta etapa, o UK AISI liberou os dados de configuração e os resultados verificados de cinco testes de referência utilizados em seu estudo científico sobre como o processamento computacional na inferência impacta a avaliação de modelos avançados. As informações divulgadas cobrem seis modelos de fronteira: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 e GPT-5.4.
O conjunto de dados abertos inclui também resultados de duas avaliações focadas em segurança cibernética — chamadas Cyber CTFs e The Last Ones —, que empregam um grupo de modelos parcialmente sobreposto. No teste denominado Humanity's Last Exam, os pesquisadores observaram que o desempenho das redes varia conforme o protocolo de avaliação e a capacidade computacional utilizada durante a inferência. Quando os sistemas receberam confirmações de correção após cada tentativa, conseguiram resolver tarefas adicionais à medida que o consumo de tokens aumentava.
Infraestrutura e padronização do ecossistema
A EvalEval Coalition é uma comunidade de pesquisa dedicada ao desenvolvimento de infraestrutura de avaliação, sendo responsável pelo esquema padronizado Every Eval Ever e pelas Evaluation Cards, que agrupam metadados dos benchmarks, das execuções de testes e dos próprios modelos. O projeto se integra às ferramentas já criadas pelo UK AISI, como o OptStop, para eficiência nos testes, e o HiBayES, voltado à análise estatística bayesiana hierárquica.
Com o lançamento dos dados públicos no formato padronizado, os órgãos parceiros encorajam desenvolvedores de modelos e pesquisadores de políticas de IA a utilizarem a estrutura para relatar seus resultados de forma comparável e verificar como as escolhas de configuração influenciam as métricas de desempenho obtidas em cada estudo.
Referências
- Fonte consultada: Hugging Face — Blog
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
