Alibaba e universidades lançam framework SparkDiffusion em código aberto
SparkDiffusion acelera a geração de vídeos dos modelos Wan 2.1 e Wan 2.2 da Alibaba em até 265 vezes em testes com GPUs.
Resumo rápido
- Alibaba e universidades chinesas disponibilizaram o framework SparkDiffusion em código aberto.
- Ferramenta acelerou em até 265 vezes a geração de vídeos no modelo Wan2.1-T2V-14B em testes na RTX 5090.
- O código está sob licença Apache 2.0 no GitHub e checkpoints foram publicados no Hugging Face.
Entenda o contexto
Modelos de geração de vídeo baseados em inteligência artificial exigem alta capacidade de processamento gráfico. Tecnologias de esparsidade de atenção e otimização de execução buscam reduzir o tempo necessário para criar sequências visuais mantendo a qualidade das estruturas geradas.
Pesquisadores da Universidade de Pequim, da Universidade Tsinghua e da Alibaba disponibilizaram em código aberto o SparkDiffusion. O projeto consiste em uma estrutura de aceleração voltada para modelos do tipo diffusion-transformer de geração de vídeo, com foco específico nas arquiteturas Wan 2.1 e Wan 2.2, criadas pela Alibaba.
Em testes conduzidos pela própria equipe, a geração de um vídeo de 81 quadros em resolução 720P (com duração aproximada de cinco segundos) utilizando o modelo Wan2.1-T2V-14B caiu de 4.769 segundos para 18 segundos em uma GPU RTX 5090. Segundo os dados divulgados, isso representa uma aceleração de 265 vezes em relação à linha de base. Em um chip H100, a execução da mesma tarefa passou de 1.757 segundos para 8 segundos, resultando em um ganho de velocidade de 220 vezes.
Superação do limite de esparsidade e distribuição de arquivos
O desenvolvimento da ferramenta começou a partir do diagnóstico do chamado entrave de alta esparsidade. Os pesquisadores relataram que, ao elevar a esparsidade de atenção de 90% para 97%, os vídeos gerados passavam a apresentar estruturas quebradas, fundos instáveis e movimentos desalinhados. Para contornar o problema, a equipe criou um método de três estágios que utiliza o módulo RoLA com ramo de atenção em bloco e ramo linear de baixo posto, a técnica CrossDistill para reduzir passos de amostragem e a quantização de projeções lineares para FP8.
Outros resultados relatados no projeto apontam que o modelo Wan2.1-T2V-1.3B em 480P reduziu seu tempo de processamento de 182 segundos para 1,3 segundo na RTX 5090. Já o Wan2.2-T2V-A14B em 720P teve redução de 4.545 segundos para 25,1 segundos. O código-fonte foi disponibilizado sob licença Apache 2.0 no repositório da AlibabaResearch no GitHub. Os arquivos de checagem para criação de vídeos a partir de texto ou de imagem nas resoluções 480P e 720P foram publicados no Hugging Face em 25 de setembro. A equipe informou que planeja adaptar a técnica para geração onimodal em resoluções mais altas, vídeos autorregressivos e modelos de mundo.
Referências
- Fonte consultada: Pandaily — Tecnologia chinesa
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
