Artificial Analysis altera Intelligence Index e afeta modelos
Artificial Analysis revisou seu Intelligence Index, adotando testes privados e alterando a pontuação e posições de modelos de inteligência artificial.
Resumo rápido
- Artificial Analysis reformulou seu Intelligence Index e passou a usar 60% de conjuntos de teste privados.
- A mudança alterou as posições e pontuações de modelos como Kimi K3.1 Pro e Grok 4.7.
Entenda o contexto
A Artificial Analysis avalia e compara modelos de inteligência artificial por meio de benchmarks e índices de desempenho.
A Artificial Analysis reformulou o seu Intelligence Index, alterando posições e pontuações de modelos de inteligência artificial. Com a nova versão, 60% do índice passou a se basear em conjuntos de teste privados para evitar a prática de "benchmaxxing", que consiste no treinamento de modelos especificamente com perguntas conhecidas de testes.
Impacto nos modelos
Entre as mudanças registradas no The Decoder, o modelo Kimi K3.1 Pro caiu cinco posições, passando do quarto lugar para o nono, ficando atrás de oito modelos fechados na versão 5 do índice. O modelo Grok 4.7 também perdeu 12 pontos.
Metodologia e infraestrutura
O pesquisador de inteligência artificial Nathan Lambert avaliou que o "benchmaxxing" é apenas parte do cenário, apontando que ganhos de treinamento atuais ocorrem em ambientes de aprendizado por reforço com tarefas semelhantes às dos benchmarks. Segundo ele, manter desempenho em múltiplos domínios exige infraestrutura sofisticada, recurso que nem todo laboratório possui.
Limitações dos testes privados
A adoção de conjuntos de teste privados apresenta desvantagens, pois impede que observadores externos identifiquem erros nos prompts. A Artificial Analysis precisou revisar questões ambíguas e falhas no benchmark AA-Omniscience.
Referências
- Reportagem consultada: The Decoder
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
