Xiaomi detalha arquitetura HySparse2 para otimizar modelos MiMo-V3
Pesquisadores da Xiaomi detalharam a arquitetura HySparse2 para reduzir FLOPs e uso de memória de cache em tarefas de modelos como o MiMo-V3.
Resumo rápido
- Pesquisadores da Xiaomi apresentaram a arquitetura HySparse2 em um artigo científico divulgado no arXiv.
- Técnica reduz em cerca de 5 vezes os FLOPs de pré-preenchimento com 1 milhão de tokens frente ao Hybrid SWA.
- Trabalho detalha o funcionamento interno para o MiMo-V3 e não é um lançamento de modelo de pesos abertos.
Entenda o contexto
O cache de chaves e valores (KV) armazena informações de contexto em modelos de linguagem para evitar recálculos a cada novo token gerado. FLOPs medem a quantidade de operações de ponto flutuante realizadas pelo sistema durante o processamento.
Pesquisadores da divisão LLM-Core da Xiaomi detalharam a arquitetura HySparse2 em um artigo publicado no repositório arXiv em setembro de 2026. O trabalho descreve uma técnica de atenção esparsa híbrida com compartilhamento de cache de chaves e valores (KV) em dois níveis. O desenvolvimento foi projetado para apoiar cargas de trabalho de agentes de longo contexto na classe de modelos MiMo-V3.
A estrutura do HySparse2 divide o modelo base em um decodificador próprio no estilo YOCO e um decodificador cruzado. No nível externo, a técnica utiliza o mecanismo KV Bridging, que conecta apenas as camadas de atenção total e projeta os caches KV do decodificador cruzado a partir dos estados ocultos do decodificador próprio. Isso permite que a etapa de pré-preenchimento seja encerrada antes de passar pelas camadas do decodificador cruzado ao construir o cache, o que é útil quando as observações de ferramentas representam a maior parte dos tokens em agentes de múltiplas rodadas.
Redução de FLOPs e tamanho de memória
No nível interno, o sistema adota uma seleção esparsa por token e força uma janela local recente entre as escolhas esparsas. Segundo as análises apresentadas no estudo para um contexto de 1 milhão de tokens, a arquitetura alcança uma redução de cerca de 2,92 vezes nos FLOPs de pré-preenchimento em relação ao HySparse e de aproximadamente 5,02 vezes em comparação ao Hybrid SWA. O tamanho do cache KV em precisão FP8 diminui para cerca de 2,69 GB, ante 6,72 GB no HySparse e 12,09 GB no Hybrid SWA.
Em testes com modelos do tipo MoE de 80 bilhões de parâmetros (80B-A3B) treinados com os mesmos dados, a publicação aponta que o HySparse2 elevou as pontuações médias nos benchmarks MRCR-v2 e RULER-v2 em 11,30 e 19,81 pontos percentuais sobre o HySparse. A arquitetura também manteve métricas mais baixas de AgentPPL e LongPPL em janelas de até 256 mil tokens.
O documento publicado pela Xiaomi traz o detalhamento conceitual e os resultados de eficiência que fundamentam a arquitetura do MiMo-V3. A apresentação da pesquisa não constitui uma nova disponibilização de modelo com pesos abertos.
Referências
- Fonte consultada: Pandaily — Tecnologia chinesa
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
