Destilação
Técnica em que um modelo menor é treinado para reproduzir o comportamento de um modelo maior.
O modelo pequeno ("aluno") aprende a partir das saídas do modelo grande ("professor"), e não apenas dos dados originais. Serve para reduzir custo e latência mantendo parte da qualidade. O resultado depende do professor e da tarefa: não equivale ao modelo original, e os termos de uso de alguns serviços proíbem usar suas saídas para treinar modelos concorrentes.
Também aparece como: distillation, destilado, destilados
Para se aprofundar
Os links levam ao trabalho original, à especificação oficial ou ao documento normativo. As definições deste glossário são escritas pela redação.