Tokenizador
Componente que divide o texto nas unidades (tokens) que o modelo processa, e faz o caminho de volta na saída.
A divisão costuma usar subpalavras: expressões comuns viram um token único e palavras raras são quebradas em pedaços. Por isso a contagem de tokens de um mesmo texto varia entre modelos e entre idiomas — textos em português geralmente consomem mais tokens que o equivalente em inglês. Limites de contexto, preços de API e cortes de resposta são contados em tokens, não em palavras.
Também aparece como: tokenização, tokenizer, BPE
Para se aprofundar
Os links levam ao trabalho original, à especificação oficial ou ao documento normativo. As definições deste glossário são escritas pela redação.