Modelos Granite Switch 4.1 combinam chat, decisões e fala em um endpoint

A publicação do blog da Hugging Face apresentou em 15 de outubro de 2026 os modelos Granite-Switch-4.1-8B e Granite-Switch-4.1-30B, configurados para integrar três tecnologias em um único endpoint. A arquitetura combina um novo Decision aLoRA para tomada de decisões gerais, um Guardian aLoRA especializado em segurança e o Granite-Speech-5.0-Turbo-CTC voltado para tarefas de transcrição.

De acordo com o material divulgado, os três recursos e o modelo base são compostos em um único modelo que consome aproximadamente a mesma quantidade de VRAM em uma GPU que o modelo base ocuparia sozinho. O uso de adaptadores Activated LoRAs eficientes em cache permite que o cache KV gerado pela geração do modelo base seja reutilizado em decisões subsequentes baseadas em adaptadores. Com contribuições recentes em vLLM e um codificador ASR co-localizado, os modelos realizam a alternância entre solicitações de chat, decisão e fala em alta velocidade.

Desempenho e adaptadores personalizados

Nos testes relatados, o Guardian aLoRA apresentou desempenho superior, em média, aos modelos Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions e Clef-Flash em tarefas de decisão ligadas à segurança. Em um fluxo RAG de cinco etapas, o modelo Granite-Switch-4.1-30B concluiu o processo em tempo consideravelmente menor em comparação ao Jev-27B. A versão Granite-Switch-4.1-8B consegue executar transcrição de áudio, geração de resumos, triagem de conteúdo nocivo e testes de mais de quinze sinalizações genéricas em tempo real em um único endpoint.

Além das opções padrão pré-compiladas, a documentação aponta que qualquer usuário pode compilar seu próprio modelo Granite Switch utilizando adaptadores das Granite Libraries. A equipe informou planos para liberar um Adapter SDK para o treinamento de adaptadores em Mellea, além de tutoriais de suporte para que a comunidade crie adaptadores especializados em fluxos de decisão ou tarefas de linguagem.