Desenvolvimento

Benchmark

Conjunto padronizado de tarefas usado para comparar modelos sob as mesmas condições.

Uma nota só é comparável quando a versão do modelo, o formato do pedido, o número de tentativas e a data da medição são os mesmos. Resultados divulgados por quem desenvolve o modelo são alegações do fornecedor até que avaliações independentes os reproduzam. Há ainda o risco de contaminação, quando as perguntas do teste já apareceram no treinamento.

Também aparece como: benchmarks

Termos próximos

Ver a categoria

← Todos os termos