Pesquisa aplica física estatística para comprimir modelos de IA
Novo método de poda de blocos usa otimização inspirada em física quântica e melhora resultados no benchmark MMLU para o Llama-3.3-70B-Instruct.
Resumo rápido
- Técnica converte seleção de blocos em grandes modelos de linguagem em um problema de otimização binária restrita.
- Método superou concorrentes em 23 pontos percentuais no MMLU ao comprimir o Llama-3.3-70B-Instruct em 50%.
- Abordagem reaproveita matrizes calculadas uma única vez para testar bilhões de combinações sem executar o modelo.
Entenda o contexto
A poda de modelos é uma técnica usada para reduzir o tamanho de redes neurais mantendo o máximo de desempenho possível. O estudo aplica conceitos de física quântica e estatística para identificar a combinação ideal de partes do modelo a serem removidas.
Pesquisadores publicaram um artigo no blog da Hugging Face em 21 de setembro de 2026 detalhando uma nova abordagem para compressão de grandes modelos de linguagem (LLMs). A técnica reformula a remoção de camadas ou blocos de redes neurais como um problema de otimização binária restrita, mapeado diretamente para o modelo de vidro de Ising, um sistema físico de spins desordenados.
Segundo os autores do estudo, vinculados à Multiverse Computing, métodos tradicionais de poda avaliam cada bloco de forma isolada ou removem apenas sequências contínuas de camadas. O novo formato leva em consideração as interações em par entre os blocos, tratando a escolha de quais partes deletar como um problema de muitos corpos da física estatística.
Eficiência de cálculo e resultados em benchmarks
Para mapear essas interações, os pesquisadores aplicam uma expansão de Taylor de segunda ordem na perda do modelo, gerando uma matriz Hessian aproximada. O cálculo dessa matriz é feito uma única vez por meio de passagens diretas e reversas em um conjunto reduzido de dados de calibração. A partir disso, avaliar qualquer combinação de remoção consiste em um cálculo rápido de energia, sem a necessidade de executar o modelo completo ou realizar testes de benchmark a cada tentativa.
A equipe informou que os ganhos no regime de compressão profunda foram significativos. Ao remover 50% dos blocos do modelo Llama-3.3-70B-Instruct, a metodologia registrou um aumento de quase 23 pontos percentuais no benchmark MMLU em comparação com o melhor método concorrente de remoção de blocos.
Solutores quânticos e análise de estados
Nos casos em que o espaço de configurações é muito amplo para ser verificado por força bruta em GPUs, os pesquisadores utilizaram solutores clássicos, quânticos e inspirados em computação quântica. De acordo com a publicação, um solutor do tipo tabu search de código aberto conseguiu encontrar estados de baixa energia em poucos segundos para os casos mais complexos.
O estudo também apontou que o estado de menor energia nem sempre gera o modelo final de melhor desempenho. No Llama-3.1-8B-Instruct, ao remover 16 de 32 blocos, o 17º estado excitado de baixa energia superou o estado fundamental em diversos benchmarks após um ajuste leve, demonstrando que a remoção de blocos distantes do final do modelo também pode trazer resultados superiores.
Referências
- Fonte consultada: Hugging Face — Blog
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
