Qualcomm exibe modelo Bonsai LLM da PrismML em óculos inteligentes
Modelo Bonsai LLM de 1 bit da PrismML foi demonstrado executando localmente na plataforma Snapdragon AR1 Gen 1 da Qualcomm.
Resumo rápido
- Qualcomm exibe modelo Bonsai LLM de 1 bit da PrismML rodando em plataforma para óculos inteligentes.
- Versão com 2 bilhões de parâmetros processa visão e linguagem diretamente no dispositivo.
- Nenhum óculos inteligente comercial com o sistema foi anunciado até o momento.
Entenda o contexto
Modelos de linguagem compactos e técnicas de compressão de IA permitem executar sistemas inteligentes diretamente no hardware do dispositivo, sem depender de conexões com servidores externos. Essa abordagem busca otimizar o processamento local e oferecer alternativas privadas ao processamento centralizado na nuvem.
A fabricante de chips Qualcomm exibiu na quarta-feira, durante o evento Snapdragon Summit, uma versão do modelo de linguagem Bonsai LLM de 1 bit, desenvolvido pelo laboratório PrismML. A demonstração mostrou a inteligência artificial executando localmente em óculos inteligentes baseados na plataforma Snapdragon AR1 Gen 1.
A versão adaptada para os dispositivos vestíveis é um modelo de 2 bilhões de parâmetros ajustado para visão e linguagem. A tecnologia permite que as pessoas usando os óculos façam perguntas em tempo real sobre o que estão observando no momento.
Processamento local e pesos abertos
Fundado por pesquisadores do Caltech e com consultoria de Ion Stoica, da UC Berkeley, o laboratório PrismML tem como marca principal a capacidade de reduzir o tamanho de modelos maiores em cerca de quatro vezes, preservando quase a totalidade do desempenho em testes padronizados de benchmark.
O objetivo amplo da startup é oferecer modelos de IA de pesos abertos para execução direta em dispositivos, aproveitando melhor a capacidade computacional já presente nos aparelhos. A empresa apresenta essa abordagem como uma alternativa à dependência das garantias de privacidade de laboratórios proprietários e à constante necessidade de mais processamento em nuvem.
Embora a apresentação no evento da Qualcomm represente um avanço para o projeto da PrismML, nenhum modelo comercial de óculos inteligentes equipado com a tecnologia foi anunciado até o momento.
Referências
- Reportagem consultada: TechCrunch — IA
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
