MMLU
Conjunto de questões de múltipla escolha de dezenas de áreas do conhecimento, usado para medir conhecimento geral de modelos de linguagem.
Do inglês "massive multitask language understanding". Tornou-se referência de comparação, mas mede acerto em múltipla escolha — não raciocínio, não confiabilidade e não utilidade prática. Erros e ambiguidades em parte das questões já foram documentados, e os modelos mais recentes se aproximam do teto da escala, o que reduz o poder de discriminação do teste.
Para se aprofundar
Os links levam ao trabalho original, à especificação oficial ou ao documento normativo. As definições deste glossário são escritas pela redação.