MoE
Mistura de especialistas: arquitetura que seleciona partes da rede para processar cada token.
Um roteador escolhe especialistas para cada entrada. O total de parâmetros pode ser muito maior que a quantidade ativada por token; memória e comunicação ainda importam.
Também aparece como: MoE, mistura de especialistas, mixture of experts