Transformer
Arquitetura de rede neural baseada em mecanismos de atenção, usada na maioria dos modelos de linguagem e multimodais atuais.
Apresentada em 2017 no artigo "Attention Is All You Need", substituiu a recorrência por camadas de atenção, que comparam cada elemento da sequência com os demais. Como o processamento de uma sequência pode ser paralelizado, a arquitetura se mostrou adequada ao treinamento em grande escala. É a base de famílias de modelos de texto, imagem, áudio e vídeo.
Também aparece como: Transformers
Para se aprofundar
Os links levam ao trabalho original, à especificação oficial ou ao documento normativo. As definições deste glossário são escritas pela redação.