ModelBest lanca MiniCPM-V 4.7 com foco em execucao local
ModelBest disponibiliza o MiniCPM-V 4.7, modelo multimodal de codigo aberto com versao MoE que roda em iPhone 17 Pro Max.
Resumo rápido
- ModelBest lancou o MiniCPM-V 4.7 em versoes de 35B-A3B e 1B.
- A versao MoE opera em iPhone 17 Pro Max consumindo cerca de 3 GB.
- O codigo e os pesos foram disponibilizados no GitHub da OpenBMB.
Entenda o contexto
ModelBest e uma empresa que desenvolve modelos multimodais focados em execucao local. A arquitetura mixture-of-experts (MoE) ativa apenas uma fracao dos parametros por token, permitindo maior eficiencia de memoria e velocidade de inferencia em dispositivos moveis.
A ModelBest lancou o MiniCPM-V 4.7, uma nova geracao de sua familia de modelos multimodais voltados para execucao em dispositivos locais. O anuncio traz duas variantes do sistema: a 35B-A3B, que marca a estreia de um modelo de mistura de especialistas (MoE) na linha MiniCPM-V, e uma versao de 1B que aprimora as capacidades basicas em relacao a geracao anterior.
Desempenho e eficiencia em dispositivos moveis
Segundo a empresa, a variante 35B-A3B ativa cerca de 3 bilhoes de parametros por token e consegue operar em um iPhone 17 Pro Max utilizando apenas cerca de 3 GB de memoria, alcancando uma taxa de decodificacao superior a 13 tokens por segundo. A companhia atribui o resultado a uma tecnica de aceleracao de inferencia chamada LES (lookahead expert scheduling). Nos testes divulgados pela equipe, o modelo obteve pontuacoes de 91,72 no MMBench, 91,2 no OCRBench e 90,21 no CMMLU.
O codigo, os pesos e a documentacao foram publicados no repositorio OpenBMB no GitHub sob a licenca Apache-2.0. Em relacao ao suporte de hardware, o MiniCPM-V 4.7 atende aos sistemas iOS, Android e HarmonyOS, alem de contar com adaptacoes para plataformas de chip da Intel, AMD, Arm, Rockchip e Houmo AI, abrangendo celulares e computadores pessoais.
Junto com os modelos, a ModelBest disponibilizou a receita de ajuste fino Self-Replay Fine-Tuning (SRFT), voltada para desenvolvedores que buscam adicionar novas capacidades com baixo custo. A liberacao segue os lancamentos anteriores da linha MiniCPM, incluindo a versao 4.6 em maio e o modelo de texto MiniCPM5-2B em setembro.
Referências
- Fonte consultada: Pandaily — Tecnologia chinesa
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
