Hugging Face apresenta tokenizers v1 com foco em desempenho

A Hugging Face detalhou as novidades técnicas da versão 1 da sua biblioteca de tokenização, focando no aumento de desempenho para evitar gargalos no processamento de dados por processadores gráficos (GPUs). De acordo com a publicação realizada no blog oficial da empresa em 20 de setembro de 2026, o tokenizers v1 traz otimizações que o tornam significativamente mais rápido do que a versão v0.23, sem alterar os resultados de IDs gerados, a API original, os vocabulários ou a ordem de fusão de tokens.

Substituição de expressões regulares e uso de instruções SIMD

Uma das principais reformulações na etapa de pré-tokenização ocorreu na forma como o texto bruto é dividido antes do algoritmo de Byte Pair Encoding (BPE). Como a expressão regular utilizada no BPE é um parâmetro fixo do modelo, a equipe substituiu os motores genéricos de expressão regular por rotinas escritas manualmente. Com a integração da biblioteca bitcannon, o sistema utiliza instruções SIMD (Single Instruction, Multiple Data) para analisar 64 bytes por operação de registrador, acelerando a identificação de limites no texto sem precisar analisar caractere por caractere.

Segundo a Hugging Face, essa otimização funciona em padrões conhecidos de BPE, enquanto modelos que utilizam regras customizadas fora dessa gramática mantêm o fluxo tradicional de expressão regular sem os ganhos de velocidade.

Cache por thread e otimizações no loop de fusão

Para reduzir a carga de processamento do algoritmo BPE, o tokenizers v1 introduziu um cache local por thread. Como textos comuns possuem repetição contínua de termos, o sistema armazena a conversão de cada pré-token em IDs de memória, permitindo saltar as etapas de fusão quando a mesma palavra reaparece. A desenvolvedora ressalta que essa técnica beneficia especialmente entradas de dados extensas com repetição vocabular.

Além disso, o loop de fusão do BPE foi reescrito para eliminar alocações frequentes de memória durante as chamadas. Na nova versão, os símbolos ficam organizados em um vetor contínuo, e cada par candidato é empacotado em um valor de 64 bits contendo a prioridade nos bits mais altos, reduzindo a escolha da melhor fusão a uma comparação direta entre inteiros.

Suporte do ecossistema e testes de benchmark

A publicação destaca a colaboração de projetos do ecossistema de código aberto que serviram de inspiração para os novos conceitos da biblioteca, citando ferramentas como tiktoken, gigatoken, fastokens e ai-tokenizer. O desenvolvimento também recebeu correções de código e suporte para testes em múltiplos hardwares fornecidos pela IBM, NVIDIA e pelo time do ExecuTorch.

A avaliação de desempenho da versão candidate do tokenizers v1 foi feita utilizando o ambiente de testes tokbench, abrangendo medições de threads individuais, uso de memória heap e latência. A Hugging Face disponibilizou comandos no repositório do projeto para que os desenvolvedores possam reproduzir os testes em suas próprias infraestruturas.