Hugging Face lança Open TTS Leaderboard para avaliar modelos de voz

A Hugging Face anunciou o lançamento do Open TTS Leaderboard, uma nova plataforma voltada para a avaliação padronizada e escalável de sistemas de conversão de texto em fala (TTS) e clonagem de voz. A iniciativa busca suprir a lentidão dos rankings baseados em votação humana, utilizando métricas objetivas para reduzir o tempo de avaliação de modelos de semanas para poucas horas.

Segundo a publicação da organização, as arenas baseadas na preferência do usuário enfrentam limitações de escala e consistência ao acompanhar o ritmo de lançamentos. Esse fator acaba sub-representando opções de pesos abertos. No ambiente do Open TTS Leaderboard, a inteligibilidade das gerações é medida pela taxa de erro de palavras (WER) e de caracteres (CER) em relação à transcrição do áudio, utilizando o modelo Qwen3 ASR. A similaridade de voz é calculada via comparação de embeddings com a biblioteca WavLM, enquanto a velocidade é aferida em GPUs H200 e processadores centralizados.

Desempenho multilingue e clonagem de voz

Na visualização padrão da tabela, os sistemas são ordenados pela média do WER em recortes do Seed TTS Eval e do CV3 Eval na língua inglesa. Nesse cenário, os modelos hexgrad/Kokoro-82M, Supertone/supertonic-3 e fishaudio/s2-pro lideram os resultados de inteligibilidade em inglês. A plataforma permite alternar entre idiomas e analisar o desempenho em tarefas de clonagem de voz, exibindo dados de preservação da identidade do locutor.

Para suportar avaliações multilingues, a ferramenta inclui métricas em idiomas baseados em caracteres, como chinês, japonês e coreano, por meio da taxa CER. Entre as soluções que se destacam no suporte a múltiplos idiomas estão k2-fsa/OmniVoice, fishaudio/s2-pro e FunAudioLLM/Fun-CosyVoice3-0.5B-2512. A Hugging Face destacou que modelos como bosonai/higgs-tts-3-4b e openbmb/VoxCPM2 apresentam melhora no WER médio quando um áudio de referência é fornecido.

Recursos de escuta e análise de transmissão

Apesar de focar em métricas automatizadas, a plataforma não substitui a avaliação humana. Por isso, a ferramenta conta com a aba "Listen", onde usuários conectados com uma conta da Hugging Face podem ouvir, comparar e votar em saídas de áudio geradas pelos modelos. Há também a aba "Streaming", destinada a aplicações interativas e agentes de voz, que mede o tempo até o primeiro trecho de áudio ser produzido (TTFA). Nesses testes de latência, executados com amostras do CV3-Eval, o modelo kyutai/pocket-tts obteve destaque tanto em GPU H200 quanto em CPU.

A Hugging Face informou que planeja abrir o código dos scripts de avaliação em um repositório no GitHub para receber contribuições da comunidade. Essa abordagem de testes automatizados busca se somar às discussões sobre como estabelecer diretrizes claras na indústria, em um contexto em que diferentes organizações trabalham para padronizar avaliações de IA em múltiplos domínios.