NVIDIA lança modelo Nemotron 3.5 Transcribe com pesos abertos
NVIDIA disponibiliza o Nemotron 3.5 Transcribe, modelo de pesos abertos para transcrição multilíngue, diarização e tradução em Hugging Face.
Resumo rápido
- A NVIDIA lançou o modelo de pesos abertos Nemotron 3.5 Transcribe, que realiza transcrição em 40 idiomas, tradução e diarização de falantes.
- O modelo lidera o Hugging Face Open ASR Leaderboard para o inglês entre os modelos de pesos abertos, segundo dados divulgados.
- A nova base Granary v2 e as ferramentas NeMo Speech permitem adaptar o modelo ao vocabulário e sotaques específicos de aplicações.
Entenda o contexto
O Nemotron 3.5 Transcribe é um modelo de pesos abertos da NVIDIA voltado para o processamento de áudio, integrando múltiplas tarefas linguísticas em uma única arquitetura e contando com coleções de dados dedicadas para personalização.
Modelo aberto para transcrição multilíngue
A NVIDIA anunciou o Nemotron 3.5 Transcribe, um modelo de pesos abertos e orientado por prompts que converte áudio gravado em texto. Disponibilizado nas plataformas Hugging Face e ModelScope, o sistema unifica transcrição, atribuição de falantes (diarização), tradução e perguntas e respostas em áudio em um único checkpoint.
De acordo com o material divulgado, o modelo processa gravações de até uma hora, suporta a transcrição de 40 idiomas, traduz 31 deles para ou do inglês e atribui falantes em 13 idiomas, identificando até oito interlocutores. A execução pode ser feita em uma única GPU NVIDIA, desde a linha DGX Spark até sistemas de data-center Blackwell.
Desempenho em benchmarks
Em avaliações públicas, o modelo ocupa a primeira posição entre os modelos de pesos abertos no Hugging Face Open ASR Leaderboard para o inglês, com uma taxa média de erro de palavras de 5,33% sem modelos de API incluídos. Na Artificial Analysis, o sistema empata no primeiro lugar entre os modelos de pesos abertos com 2,8% de AA-WER, operando com cerca de 4 bilhões de parâmetros ativos por token a partir de uma arquitetura híbrida Mamba-Transformer de mistura de especialistas.
Em testes de diarização, o modelo registra a menor taxa de erro no ranking da David AI com 18,26% em 21 idiomas e lidera o benchmark de sessões completas em inglês do VoiceArena.
Granary v2 e adaptação
Junto ao modelo, foi liberada a coleção de dados Granary v2, construída com o NVIDIA NeMo Curator, cujo manifesto público cobre 463.062 horas de áudio em 48 idiomas e 16 corpora de origem. O pipeline reutilizável e as ferramentas de ajuste fino do NeMo Speech permitem alinhar o modelo a vocabulários específicos. Em um estudo de caso médico citado, o ajuste fino reduziu a taxa de erro de palavras em 45,8% em relação ao melhor prompt.
O checkpoint pode ser servido com vLLM ou executado localmente por meio do NeMo-Speech.cpp, sendo direcionado para áudios gravados e não para transmissão ao vivo via streaming.
Referências
- Fonte consultada: Hugging Face — Blog
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
