Armazenamento de cache KV em IA enfrenta falta de padrão em SSDs
Novas soluções para cache KV em inferência enfrentam a falta de padrões de durabilidade para SSDs, segundo fontes da indústria.
Resumo rápido
- Empresas criam sistemas dedicados para mover o cache KV de inferência de IA da memória DRAM para SSDs.
- A falta de uma especificação comum para SSDs e de padrões de durabilidade dificulta a produção em massa.
- Especialistas estimam que o setor levará até dois anos para padronizar e testar esses componentes.
Entenda o contexto
O cache KV guarda dados intermediários gerados durante o processamento de texto ou contexto em modelos de IA, evitando que o sistema recalcule as mesmas informações a cada nova interação. Mover esses dados da memória RAM rápida para SSDs reduz custos de infraestrutura, mas exige componentes capazes de suportar ciclos frequentes de gravação.
A busca por eficiência no processamento de inferência em inteligência artificial motivou a criação de camadas dedicadas de armazenamento para dados temporários. Soluções como o OceanStor M900, apresentado pela Huawei, e o CMX Context Memory Storage, da Nvidia, buscam isolar o chamado cache de chave-valor (KV cache) reutilizável em uma estrutura separada. No entanto, fontes da indústria entrevistadas pelo veículo Leiphone afirmam que os discos de estado sólido (SSDs) voltados para essa função ainda não possuem uma especificação padronizada no mercado.
A lógica de trocar computação por armazenamento
O conceito central dessa arquitetura consiste em usar capacidade de armazenamento para reduzir o uso de processamento. Segundo um pesquisador de armazenamento citado na publicação, aumentar a taxa de acerto do cache KV de 90% para 95% diminui a fatia de dados a ser recalculada de 10% para 5%, reduzindo esse custo computacional pela metade.
Apesar desse benefício, manter taxas elevadas de acerto exige reter volumes significativamente maiores de histórico do cache KV. A vida útil dessas informações varia de forma expressiva dependendo da aplicação: serviços voltados a consumidores podem descartar os dados em minutos ou horas, enquanto cargas de trabalho corporativas dependem do contexto por prazos mais longos.
A ausência de padrões para SSDs
A substituição da memória DRAM por SSDs ocorre devido aos altos custos e à limitação de oferta da DRAM. Um executivo de uma fornecedora de armazenamento afirmou que a troca não é feita em proporções equivalentes, operando em razões de 1:5 até 1:10 em termos de capacidade, com custos por unidade muito inferiores nos SSDs.
A falta de consolidação técnica afeta principalmente a durabilidade exigida para os drives, medida em gravações diárias da capacidade total (DWPD). O executivo relatou ter visto projetos que inicialmente solicitavam cerca de 3 DWPD e, posteriormente, subiram o requisito para 9 DWPD. Como a retenção de dados pode variarde minutos a semanas, os compradores atuais continuam adquirindo SSDs corporativos comuns. Para que fornecedores alcancem escala na produção, será necessária uma definição técnica unificada.
Prazos e limitações da tecnologia
Além das questões de durabilidade, o direcionamento do cache KV para SSDs alivia principalmente a DRAM e impacta a métrica de tempo até o primeiro token (time to first token), mas não elimina outras pressões de memória. O fundador de uma empresa de chips de IA ressaltou que projetos focado em processamento na memória (compute-in-memory) atendem a outros custos ao mover pesos do modelo e dados ativos, não substituindo o armazenamento em massa do cache KV histórico.
A estimativa de fontes do setor é que a indústria levará de 6 a 12 meses para alinhar uma especificação técnica padrão. Após essa etapa, são previstos cerca de 12 meses adicionais para as fases de desenvolvimento, validação e ajuste fino dos componentes.
Referências
- Fonte consultada: Pandaily — Tecnologia chinesa
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
