Hugging Face lança ferramenta para checar compatibilidade de modelos no AWS Trainium
Hugging Face disponibiliza um Space que indica se modelos Transformers rodam no AWS Trainium, mostrando núcleos usados, tempo e memória.
Resumo rápido
- Hugging Face lançou um Space que mostra se modelos Transformers rodam no AWS Trainium.
- O painel indica núcleos usados, tempo de execução, memória e fornece script de execução.
- Os testes atuais cobrem apenas modelos que cabem em até 4 dispositivos Trainium2.
Entenda o contexto
Hugging Face é uma plataforma de código aberto que hospeda modelos de aprendizado de máquina. AWS Trainium é o chip da Amazon projetado para acelerar cargas de trabalho de IA, e o backend TorchNeuron permite que modelos PyTorch rodem nativamente nele.
Hugging Face publicou, em 22 de outubro de 2026, um Space chamado torch-neuronx model support que permite ao usuário verificar se um modelo do hub roda sem modificações no AWS Trainium.
Como funciona a verificação
O Space apresenta duas visualizações principais – Selected e Trending/Downloads – que listam os modelos mais populares por número de downloads ou por tendência. Cada linha exibe o resultado do teste, a quantidade de núcleos Trainium usados, o tempo total da execução (incluindo compilação) e o pico de memória da instância.
Detalhes dos testes
Os testes são realizados em instâncias Trainium2 (trn2) dentro do AWS Neuron Deep Learning Container. O modelo é carregado com from_pretrained, sharded conforme necessário e executado com torch.compile(backend="neuron"). A avaliação gera 32 tokens; em execuções single‑core, os tokens são comparados a uma execução CPU, enquanto em execuções sharded um modelo juiz verifica a fluência do texto.
Até o momento, apenas modelos de geração de texto e de imagem‑texto‑para‑texto foram testados, limitados a aqueles que cabem em até quatro dispositivos Trainium2 (máximo de 16 núcleos). Modelos que não foram priorizados ou que são incompatíveis recebem uma explicação no Space.
Reproduzindo os resultados
Para cada modelo aprovado, o Space disponibiliza o script run.py usado no teste, a pilha de pacotes Neuron necessária e a versão do compilador neuronx-cc. O usuário pode instalar os pacotes indicados e executar o script em sua própria instância Trainium2. Caso deseje evitar a recompilação, o Space fornece o comando para copiar os gráficos compilados a partir do bucket público de cache NEFF.
Os dados coletados são publicados como o dataset público aws-neuron/torch-neuronx-model-support, organizado em arquivos Parquet por combinação de versões do compilador e das bibliotecas.
Hugging Face indica que pretende ampliar o suporte para outras famílias de modelos, como diffusers e sentence‑transformers, nos próximos lançamentos.
Para saber mais sobre outras iniciativas envolvendo AWS Trainium, veja Startup e AWS anunciam modelo de vídeo IA derivado de neurônios.
Referências
- Fonte consultada: Hugging Face — Blog
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
