Liquid AI lança modelo LFM2.5-VL-DSpark para acelerar IA multimodal
Liquid AI lança o LFM2.5-VL-DSpark para acelerar a decodificação em modelos de visão e linguagem em até 3,13 vezes em dispositivos locais.
Resumo rápido
- Liquid AI lança o modelo LFM2.5-VL-DSpark para acelerar a inferência de modelos multimodais de visão e linguagem.
- O componente adiciona 280 milhões de parâmetros e acelera a decodificação em até 3,13 vezes em dispositivos locais.
- Os arquivos foram disponibilizados com pesos abertos e suporte imediato para llama.cpp, MLX-VLM e SGLang.
Entenda o contexto
A decodificação especulativa é um método que utiliza um modelo menor para antecipar tokens de texto, transferindo a validação final para o modelo principal para acelerar o tempo de resposta. A Liquid AI desenvolveu o LFM2.5-VL-DSpark para estender essa aceleração a modelos visuais e de linguagem.
A Liquid AI anunciou o lançamento do LFM2.5-VL-DSpark, um modelo de rascunho projetado para acelerar a execução de modelos de visão e linguagem (VLMs). A solução emprega a técnica de decodificação especulativa, na qual um modelo menor propõe candidatos a tokens que são posteriormente verificados pelo modelo principal, garantindo que a resposta gerada permaneça idêntica à do sistema original.
Segundo a publicação feita no blog da empresa na plataforma Hugging Face, o rascunho acrescenta cerca de 280 milhões de parâmetros ao sistema. Isso representa um impacto de 8,9% de parâmetros adicionais sobre o modelo principal LFM2.5-VL-3B, que possui 3 bilhões de parâmetros.
Desempenho de inferência em GPUs e dispositivos locais
As medições publicadas pela Liquid AI foram realizadas com o benchmark MMSpec em seis tarefas de visão, como respostas a perguntas sobre imagens, geração de legendas, análise de gráficos, raciocínio complexo e conversas em múltiplos turnos. Durante a execução com um tamanho de bloco configurado em 8, o processo de decodificação foi acelerado entre 2,30 e 3,13 vezes no chip M5 Max usando MLX-VLM, com ganhos ponta a ponta na latência entre 1,56 e 2,62 vezes. No processador M3 Ultra com llama.cpp, a velocidade de decodificação subiu de 1,57 a 2,14 vezes, enquanto a melhoria ponta a ponta variou de 1,30 a 1,77 vezes.
Em ambientes com GPU dedicada, os testes executados em uma Nvidia H100 registraram acelerações na etapa de decodificação variando de 20,4 a 2,66 vezes. Em termos de latência total ponta a ponta, os ganhos medidos na H100 ficaram entre 1,64 e 2,27 vezes.
Limitações técnicas e disponibilidade
A empresa destacou que a decodificação especulativa atua exclusivamente na fase de decodificação, sem acelerar a codificação de visão ou o pré-preenchimento (prefill). Em modelos visuais, a imagem é processada por um codificador antes que a estrutura de linguagem receba centenas de tokens visuais junto ao prompt de texto. Como essas etapas consomem parcela significativa do tempo total, especialmente em dispositivos locais com menor poder computacional, os ganhos globais na velocidade final acabam limitados pela parte do fluxo de trabalho que não recebe aceleração.
O modelo LFM2.5-VL-DSpark foi lançado sob o conceito de pesos abertos, permitindo download, ajuste fino e implantação sem restrições nos formatos Safetensors e GGUF no Hugging Face. O sistema oferece integração nativa com suporte imediato para as ferramentas llama.cpp, MLX-VLM e SGLang.
Referências
- Fonte consultada: Hugging Face — Blog
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!



