Ant Group e vLLM lançam Humming, biblioteca open‑source para inferência quantizada
Ant Group e a comunidade vLLM disponibilizam Humming, biblioteca open‑source que acelera inferência quantizada em GPUs NVIDIA e no acelerador Zhenwu 810E.
Resumo rápido
- Ant Group e vLLM abriram o código da biblioteca Humming para kernels GEMM quantizados.
- Humming cobre pesos de INT1 a INT8, FP4 a FP8 e funciona em GPUs NVIDIA Turing+ e no acelerador Zhenwu 810E.
- Nos testes internos, a biblioteca supera cuBLAS em pequenos lotes e já está incluída nas instalações CUDA do vLLM 0.29.0.
Entenda o contexto
Ant Group é a unidade de serviços financeiros da Alibaba, enquanto vLLM é um projeto de código aberto para servir grandes modelos de linguagem. Humming, a nova biblioteca, visa simplificar a criação de kernels otimizados para diferentes combinações de quantização e hardware, facilitando a implantação de modelos quantizados em GPUs NVIDIA e no acelerador Zhenwu 810E.
Ant Group e a comunidade vLLM anunciaram, em 21 de outubro de 2026, a disponibilização do código aberto da biblioteca Humming, um conjunto de kernels GEMM compilados just‑in‑time para inferência de grandes modelos de linguagem quantizados.
Detalhes técnicos e suporte de hardware
Conforme o comunicado, Humming converte formatos de exportação suportados em uma descrição de quantização compartilhada e gera kernels a partir de componentes CUDA reutilizáveis, adaptando‑se ao shape, ao dispositivo e às opções de cálculo desejadas. A biblioteca cobre pesos inteiros de INT1 a INT8 e pesos em ponto flutuante de FP4 a FP8, combinados com ativações FP16, BF16, FP8, FP4, INT8 ou INT4 quando compatíveis, atendendo tanto a GEMM densa quanto a GEMM de mixture‑of‑experts (MoE). O suporte de hardware inclui GPUs NVIDIA a partir da arquitetura Turing e o acelerador AI Zhenwu 810E da T‑Head, que é compatível com CUDA.
Os testes internos relatados mostram que, em lotes pequenos, a configuração dense W4A16 atinge de três a quatro vezes a performance do cuBLAS em vários dispositivos. Em cenários de MoE, a troca do backend Marlin W4A16 pelo Humming W4A8 aumentou a taxa de saída em 14 % a 43 % e reduziu o tempo médio até o primeiro token em 25 % a 32 % em um teste end‑to‑end com DeepSeek‑V4.1‑Flash em oito GPUs H20. Esses números ainda não foram verificados por terceiros.
A partir da versão vLLM 0.29.0, a instalação CUDA do vLLM inclui Humming como dependência, podendo ser ativada com as flags --linear-backend humming e --moe-backend humming. O pacote pip tem cerca de 100 KB e depende apenas de PyTorch e NVCC.
Para saber mais sobre outras iniciativas da Ant Group, veja Ant Group libera pesos do modelo Ling-3.1-flash sob licença MIT e Alibaba apresenta acelerador Zhenwu V900 para treino e inferência de IA.
Referências
- Fonte consultada: Pandaily — Tecnologia chinesa
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
