ByteDance Seed aponta falha de precisão na compressão do KV-cache

Pesquisadores do ByteDance Seed publicaram um estudo relatando uma vulnerabilidade periódica em modelos de linguagem que utilizam a compressão do cache de chaves e valores (KV-cache) em blocos de tamanho fixo. O artigo, publicado no arXiv em 28 de setembro e divulgado pelo veículo IT Home em 9 de outubro de 2026, analisa a técnica empregada pelo modelo DeepSeek-V4 para reduzir o uso de memória e o custo do mecanismo de atenção em contextos longos.

Segundo o estudo intitulado "Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression", a compressão agrupada reúne tokens consecutivos em janelas e reduz esses dados a menos entradas de cache em um passo (stride) determinado. Essa estrutura atribui a cada token uma posição relativa às bordas da janela, chamada de fase pelos autores. Deslocar o texto de entrada por apenas alguns tokens altera quais palavras são comprimidas juntas, sem modificar o conteúdo da mensagem.

Variações de precisão e testes com modelos

Para avaliar esse impacto, a equipe realizou testes de busca em uma tarefa do tipo "agulha no palheiro" com contexto de 128 mil tokens, mantendo o tamanho do comando e a posição absoluta fixos. As medições envolveram versões base e pós-treinadas dos modelos DeepSeek-V4-Flash e DeepSeek-V4-Pro, além do DeepSeek-V4.1-Flash pós-treinado. Nas versões base do DeepSeek-V4-Flash e do DeepSeek-V4-Pro, a taxa de acerto variou em até 40,2 pontos percentuais dependendo da fase em que a informação buscada estava posicionada.

O pós-treinamento elevou a precisão geral e diminuiu as discrepâncias, mas as variações permaneceram expressivas na família V4. Já o modelo DeepSeek-V4.1-Flash, que adota um passo de tamanho dois em vez de quatro, registrou a menor diferença de precisão entre as fases, embora o padrão periódico de oscilação tenha continuado presente.

Causas mecânicas e recomendações de avaliação

Com o objetivo de confirmar as causas do fenômeno, os cientistas pré-treinaram pequenos modelos do zero utilizando a estrutura do Qwen3-0.6B e modificando apenas a técnica de compressão do KV-cache. Todas as variantes comprimidas apresentaram a mesma periodicidade vinculada ao tamanho do passo, inclusive o modelo que realizava a simples média dos tokens em cada janela. Por outro lado, as versões base com atenção total não exibiram esse comportamento. Intervenções nas cabeças de atenção indicaram uma especialização de fase, em que componentes diferentes lidam com dados posicionados em fases distintas.

Os autores destacam que os achados mecânicos são mais evidentes em ambientes controlados e não confirmam uma causa universal para modelos de grande porte. A conclusão principal da pesquisa centra-se na metodologia de avaliação: o grupo argumenta que sistemas com compressão de KV-cache em blocos devem ser testados alterando a posição do texto em alguns tokens mantendo a informação buscada fixa, uma vez que médias altas em testes de referência podem encobrir falhas sistemáticas de localização.

O trabalho foi assinado por oito autores ligados ao ByteDance Seed, divisão da empresa chinesa que também desenvolve outras tecnologias de inteligência artificial como o assistente Doubao e ferramentas para criação de vídeos. Três dos pesquisadores também possuem vínculo com a Universidade de Princeton, Universidade Stanford ou Universidade da Califórnia em Berkeley, tendo realizado as contribuições principais durante estágios no ByteDance Seed. A autoria correspondente é de Yiyuan Ma e Xin Dong.