StartLux lança o Prism, motor de inferência para modelos de decisão
StartLux disponibiliza o código aberto do Prism, motor de inferência focado em modelos de decisão. Dados foram medidos pela própria empresa.
Resumo rápido
- StartLux lançou o código aberto do Prism, motor focado em modelos de decisão.
- A ferramenta restringe a camada de saída para otimizar o processamento.
- Segundo a empresa, testes indicam menor latência em comparação a outros motores.
Entenda o contexto
StartLux é uma equipe chinesa que desenvolve modelos voltados a decisões rápidas, como julgamentos e pontuações de risco, em vez de textos longos.
A equipe chinesa StartLux publicou no GitHub o código-fonte do Prism, um motor de inferência desenvolvido especificamente para modelos de decisão. O lançamento ocorreu em 22 de outubro de 2026, conforme divulgado pelo portal Pandaily.
Diferente de estruturas voltadas para conversação, os modelos de decisão leem materiais e retornam julgamentos diretos, como respostas sim ou não, escolhas de opções ou pontuações de risco com probabilidades. A família de modelos StartLux-Decision teve a versão v1.1 lançada em 16 de outubro.
Mudanças estruturais e desempenho
De acordo com a empresa, o Prism introduz quatro alterações principais em relação a motores genéricos. Primeiramente, o sistema restringe a camada de saída: para o modelo StartLux-Decision de 27B, a computação é reduzida a cerca de 0,01 por cento do original. Em segundo lugar, utiliza uma técnica de agrupamento chamada forest-style batching, na qual instruções e materiais de referência compartilhados são processados uma única vez.
Além disso, o motor executa operações matriciais em int8 com acumulação em int32, mantendo os resultados bit-idênticos, e conta com um agendador misto que permite a execução compartilhada de requisições na GPU. Todas as figuras de desempenho apresentadas foram medidas pela própria StartLux.
Referências
- Fonte consultada: Pandaily — Tecnologia chinesa
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
