Benchmark testa estabilidade de LLMs na avaliação de novidade científica
Estudo divulgado no blog da Hugging Face avalia a confiabilidade de grandes modelos de linguagem como juízes da novidade em pesquisas científicas.
Resumo rápido
- Um novo estudo avalia a confiabilidade de grandes modelos de linguagem na função de juízes de novidade de pesquisas científicas.
- Resultados apontam que pequenas alterações em prompts provocam variações drásticas na acurácia dos modelos avaliados.
Entenda o contexto
O estudo aborda a confiabilidade de grandes modelos de linguagem na tarefa de julgar se ideias científicas são originais. A pesquisa destaca que fatores como a formulação de prompts e o tipo de ideia avaliada geram instabilidade nos resultados.
Estudo analisa juízes de novidade baseados em LLMs
Um estudo divulgado no blog da Hugging Face apresenta o benchmark Old Ideas, Novel Problems para examinar a confiabilidade de grandes modelos de linguagem ao avaliarem a novidade de ideias de pesquisa científica. A pesquisa testou seis modelos: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6.
Metodologia de avaliação
O trabalho construiu um conjunto de dados chamado Human-Only, composto por ideias humanas de artigos aceitos e rejeitados no ICLR, além de um conjunto Human+Generated, que combina ideias humanas com propostas geradas por modelos de linguagem simples.
Variações e desempenho
Os testes indicam que alterações simples em prompts alteram a acurácia de identificação de novidade em mais de 50 pontos percentuais em determinados cenários. Além disso, os autores observaram que sistemas de recuperação de literatura e orçamentos adicionais de raciocínio não garantem avaliações consistentes.
Referências
- Fonte consultada: Hugging Face — Blog
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
