Nvidia lança modelo Nemotron 3 Diarization com pesos abertos
Nvidia disponibiliza o Nemotron 3 Diarization, modelo de 100 milhões de parâmetros que identifica até oito locutores em áudio ao vivo ou gravado.
Resumo rápido
- Nvidia lança o Nemotron 3 Diarization, modelo de 100 milhões de parâmetros com pesos liberados gratuitamente.
- A tecnologia identifica até oito locutores e detecta falas simultâneas em transmissões ao vivo ou gravações.
- O modelo lidera o benchmark Diarization-Bench da VoiceArena com taxa de erro de 14,72%.
Entenda o contexto
A diarização de áudio é o processo automatizado de identificar quem está falando em cada trecho de uma gravação ou transmissão. Essa tecnologia é empregada para organizar diálogos, estruturar reuniões e gerar transcrições com identificação para cada participante.
A Nvidia disponibilizou o Nemotron 3 Diarization, um modelo de inteligência artificial projetado para identificar qual pessoa está falando a cada momento de uma conversa. O sistema conta com aproximadamente 100 milhões de parâmetros e teve seus pesos liberados de forma gratuita. O anúncio reforça o portfólio de softwares de inteligência artificial da fabricante, que inclui iniciativas como a adoção dos modelos Nemotron em diferentes regiões.
A tecnologia consegue diferenciar até oito locutores e identificar momentos em que mais de uma pessoa fala ao mesmo tempo. O processamento funciona tanto em áudios gravados quanto em transmissões ao vivo. De acordo com os dados divulgados, o desempenho pode ser prejudicado, elevando as taxas de erro, caso haja um número maior de participantes, barulho de fundo intenso ou presença de reverberação.
Integração com transcrição e desempenho em benchmarks
Quando utilizado junto a um sistema de reconhecimento de fala, a exemplo do Parakeet, o Nemotron 3 Diarization permite gerar transcrições contendo rótulos para cada participante. Essas marcações são anônimas, exibidas no formato "speaker_2". O modelo opera com quatro opções de buffer de áudio, variando de 30,4 segundos até 0,32 segundo, sendo que a escolha de intervalos mais curtos costuma reduzir a precisão do sistema.
Em testes do Diarization-Bench, mantido pela VoiceArena, o Nemotron 3 Diarization alcançou a primeira posição com uma taxa de erro de 14,72%, superando o concorrente mais próximo, que registrou 19,3%. A avaliação do teste é rígida, considerando falas sobrepostas e pequenos desalinhamentos na transição entre locutores como falhas. Em comparação com o modelo anterior da empresa, o Streaming Sortformer, a nova versão reduziu a taxa de erro em uma média de 41% em oito cenários de teste ao utilizar o buffer de 1,04 segundo.
Referências
- Reportagem consultada: The Decoder
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
