Atenção
Mecanismo que faz o modelo ponderar quais partes da entrada são mais relevantes para produzir cada parte da saída.
Para cada posição da sequência o modelo calcula pesos que indicam o quanto as outras posições devem influenciar o resultado. Esses pesos são aprendidos durante o treinamento. A atenção é o que permite relacionar palavras distantes entre si, mas o custo de computação cresce rapidamente com o tamanho da sequência — daí as muitas variantes que buscam reduzi-lo.
Também aparece como: self-attention, autoatenção, mecanismo de atenção
Para se aprofundar
Os links levam ao trabalho original, à especificação oficial ou ao documento normativo. As definições deste glossário são escritas pela redação.