Huawei apresenta Stellar AI Fabric para aliviar gargalo de KV Cache
Huawei detalha, em conferência em Xangai, como sua arquitetura Stellar AI Fabric e o Hyper-Converged Fabric visam reduzir o gargalo de KV Cache em inferência de IA.
Resumo rápido
- Huawei explicou, na ASC de Xangai, como o KV Cache pode atingir petabytes em clusters de IA.
- A camada de rede do Hyper-Converged Fabric aumenta I/O de armazenamento em mais de 30%, segundo a empresa.
- Testes com GLM-5.2 mostraram 7.3× mais TPS e +20% de eficiência com a nova arquitetura.
Entenda o contexto
KV Cache é a memória temporária que guarda resultados de atenção em modelos de linguagem, permitindo que tokens já processados não precisem ser recalculados. Em inferências de longo contexto, esse cache pode crescer muito, exigindo soluções de armazenamento e rede adequadas.
Em palestra na Advanced Storage Conference (ASC) de Xangui, realizada em 22 de outubro de 2026, a Huawei detalhou a arquitetura Stellar AI Fabric e o Hyper-Converged Fabric (HCF) como resposta ao gargalo de KV Cache em inferência de grandes modelos.
O problema do KV Cache
O KV Cache armazena resultados intermediários de atenção, evitando que o modelo recalcule tokens já processados. Em aplicações agentic que exigem contextos muito longos e interações de múltiplas rodadas, o cache cresce rapidamente, levando o volume total de KV Cache de um cluster de inferência à escala de petabytes. Esse tráfego intenso entre nós pressiona as redes de data center.
Soluções em três camadas
A Huawei divide a solução em três frentes. No lado dos aceleradores, pretende que os núcleos emitam I/O de cache diretamente, passando de acesso via CPU ou cores vetoriais para I/O em nível SIMT. No armazenamento, propõe mover operadores para aceleração vetorial próxima ao armazenamento. Na rede, o HCF coordena agendamento de QoS específico para tráfego de KV Cache, o que, segundo a empresa, eleva o desempenho de I/O de armazenamento em mais de 30%.
Em testes de laboratório com o modelo GLM-5.2, o offload direto do KV Cache gerou 7.3 vezes mais transações por segundo (TPS) em comparação com a abordagem convencional baseada em memória. A adição de agendamento coordenado entre armazenamento e rede trouxe ainda um ganho de 20% na eficiência da inferência.
Os números foram divulgados pela própria Huawei; a empresa não disponibilizou a configuração completa dos testes. A arquitetura Stellar AI Fabric e o HCF foram inicialmente apresentadas na HUAWEI CONNECT 2026, e a iniciativa se alinha ao trabalho da Huawei em armazenamento de contexto compartilhado, como o OceanStor M900.
Até o momento, a Huawei não anunciou disponibilidade comercial, preços ou detalhes de implementação da solução.
Para saber mais sobre o armazenamento de cache KV da Huawei, veja Huawei apresenta OceanStor M900 para armazenamento de cache KV em IA.
Referências
- Fonte consultada: Pandaily — Tecnologia chinesa
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
