Xiaomi disponibiliza o modelo de código aberto Xiaomi-Lens-0
Xiaomi lança o modelo multimodal Xiaomi-Lens-0, de 4 bilhões de parâmetros, capaz de indicar regiões de imagens pixel a pixel durante respostas.
Resumo rápido
- Xiaomi disponibiliza o modelo multimodal Xiaomi-Lens-0 sob licença de código aberto Apache 2.0.
- Com 4 bilhões de parâmetros, o sistema usa decodificador de máscara para apontar regiões em imagens.
- Ganhos de desempenho informados em benchmarks consistem em avaliações dos próprios autores.
Entenda o contexto
O Xiaomi-Lens-0 é um modelo multimodal de 4 bilhões de parâmetros desenvolvido pelo grupo de compreensão visual da Xiaomi. Ele permite que o sistema aponte regiões específicas de imagens enquanto gera respostas em texto.
A Xiaomi disponibilizou sob licença de código aberto Apache 2.0 o modelo multimodal Xiaomi-Lens-0, que possui 4 bilhões de parâmetros e consegue indicar regiões exatas de uma imagem, pixel a pixel, enquanto gera respostas. Os pesos do modelo foram publicados no Hugging Face sob a organização SeerRay-Lab, o código está disponível no GitHub e um relatório técnico foi submetido ao arXiv.
Integração técnica e avaliações dos autores
Construído sobre a base do Qwen3.5-4B, o modelo adiciona um decodificador leve de máscara de pixel. Quando emite um token especial de máscara, o latente visual correspondente é convertido em uma máscara de segmentação sobre a imagem, o que permite intercalar texto comum e ponteiros regionais durante a cadeia de raciocínio. A equipe também lançou o benchmark de segmentação LensBench e uma demonstração pública.
Segundo o relatório técnico, o Xiaomi-Lens-0 obteve um ganho médio de 5,6 pontos sobre a base Qwen3.5 nas oito divisões de compreensão de referência dos testes RefCOCO, RefCOCO+ e RefCOCOg, além de um avanço de 6,8 pontos no CountQA e liderança em cIoU de segmentação entre os sistemas comparados. O próprio texto da fonte ressalta que essas pontuações e métricas de desempenho são avaliações efetuadas pelos autores do estudo.
Devido ao seu tamanho de aproximadamente 4 bilhões de parâmetros, a publicação aponta que o modelo é adequado para experimentos voltados a dispositivos de borda, incluindo robótica de captura e posicionamento, assistentes automotivos e auxiliares visuais em celulares. O pacote distribuído exige o uso da biblioteca Xiaomi-Lens para o carregamento e a decodificação das máscaras, complementando a biblioteca Transformers.
Para mais informações sobre outras iniciativas da empresa, leia sobre quando a Xiaomi lanca linha de IA MiMo-V2.6 sob acusacao da Anthropic e veja como a Xiaomi disponibiliza pesos abertos e código da linha MiMo-V2.6.
Referências
- Fonte consultada: Pandaily — Tecnologia chinesa
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
