Token

Unidade de texto ou de outra modalidade processada por um modelo.

Um token pode representar parte de uma palavra, pontuação ou um elemento de outra modalidade. A contagem varia conforme o tokenizador e o idioma.

Também aparece como: tokens