Hugging Face passa a rodar quantizações do llama.cpp no Transformers
Biblioteca Transformers agora suporta o formato de arquivo GGUF do llama.cpp, com foco inicial em inferência local para Apple Silicon e Qwen3.5.
Resumo rápido
- A biblioteca Transformers agora consegue carregar e executar modelos no formato quantizado GGUF, criado pelo llama.cpp.
- O foco inicial da novidade é a execução local em dispositivos Apple Silicon, começando pela arquitetura Qwen3.5.
- O ecossistema reutiliza kernels da biblioteca ggml para oferecer desempenho próximo ao motor nativo do llama.cpp.
Entenda o contexto
O llama.cpp é um projeto focado em executar modelos de linguagem localmente com alto desempenho, enquanto a biblioteca Transformers é uma das ferramentas mais populares para desenvolvimento em IA. O formato GGUF compacta modelos para que caibam na memória de computadores pessoais. A união das duas tecnologias facilita o trabalho de desenvolvedores que desejam analisar e criar novos recursos sem precisar de servidores em nuvem.
A Hugging Face anunciou em 21 de setembro de 2026 a integração do suporte aos modelos quantizados no formato GGUF, desenvolvidos pelo projeto llama.cpp, diretamente na biblioteca Transformers. A novidade permite carregar e executar esses arquivos com a API tradicional em PyTorch, facilitando testes, avaliações de desempenho e ajustes finos de modelos de inteligência artificial em máquinas locais.
O foco inicial da iniciativa está voltado para a inferência local em hardware Apple Silicon, utilizando como ponto de partida a arquitetura do modelo Qwen3.5. Segundo a publicação, para garantir uma velocidade próxima à do próprio llama.cpp, o Transformers passou a reutilizar os kernels da biblioteca ggml por meio da biblioteca kernels, reduzindo também custos de processamento na etapa de geração.
Integração técnica e fluxo de trabalho
O formato GGUF agrupa os pesos do modelo e os metadados necessários em um único arquivo, oferecendo suporte a variados níveis de quantização — técnica que reduz a precisão dos números para diminuir o consumo de memória RAM ou VRAM. Ao passar o identificador do repositório no Hub e o nome do arquivo para o método de carregamento do Transformers, o sistema identifica e aplica automaticamente as camadas compatíveis com Metal no macOS.
Além da execução padrão por código em Python, a ferramenta disponibiliza o comando de servidor integrado. Ele expõe uma interface de programação compatível com a API da OpenAI, o que possibilita conectar aplicativos de interface visual para conversa, como o Jan e o Pi, enquanto o processamento do modelo é realizado em segundo plano pela biblioteca no computador do usuário.
Desempenho e o papel do llama.cpp
Testes de desempenho divulgados pela equipe da Hugging Face compararam o Transformers e o llama.cpp em um MacBook Pro M2 Max com 32 GB de memória unificada no sistema macOS 26.6. As medições, realizadas com três variações de modelos quantizados no formato GGUF, indicaram taxas de geração de tokens bastante próximas entre as duas soluções durante a criação de 128 tokens.
Apesar da aproximação técnica, a companhia reforça que o llama.cpp prossegue como a recomendação principal para usuários que priorizam estritamente a eficiência na inferência local, graças à sua arquitetura dedicada. A inclusão do suporte no Transformers busca atender desenvolvedores que precisam inspecionar ativações intermediárias, validar conversões de arquivos, aplicar filtros personalizados de geração de texto ou desquantizar pesos para continuar o treinamento de modelos em PyTorch.
O próximo passo informado pela Hugging Face é expandir a utilização dos kernels ggml no ecossistema PyTorch para outras arquiteturas de modelos que ainda não contam com suporte nativo na estrutura completa do llama.cpp.
Referências
- Fonte consultada: Hugging Face — Blog
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
