Deepseek abre código de framework de inferência DeepInfer
A Deepseek disponibilizou o framework de inferência DeepInfer sob a licença Apache License 2.0 para dar suporte ao modelo V4.1-Flash.
Resumo rápido
- A Deepseek abriu o código-fonte do motor de inferência DeepInfer sob a Apache License 2.0.
- O framework dá suporte ao modelo V4.1-Flash com geração otimizada e distribuída.
- A iniciativa busca reduzir custos de computação e consumo de energia na comunidade.
Entenda o contexto
Deepseek é uma empresa de inteligência artificial que desenvolve modelos e tecnologias de suporte. Motores de inferência e frameworks de serviço gerenciam a execução de modelos treinados para responder a solicitações em larga escala.
A Deepseek anunciou a abertura do código-fonte do DeepInfer, seu framework interno de inferência, sob a licença Apache License 2.0. A inferência é o processo pelo qual um modelo treinado de inteligência artificial lida com solicitações e gera respostas, sendo o DeepInfer o software de serviço que permite ao modelo V4.1-Flash da empresa produzir respostas rapidamente em escala.
Estrutura otimizada e novos recursos
De acordo com a empresa, o framework foi construído sobre o vLLM com kernels de cálculo otimizados, processamento distribuído em múltiplos chips e técnicas mais rápidas de geração de texto. A companhia informou que o código de futuros modelos da Deepseek também será lançado como código aberto.
Além disso, a Deepseek está disponibilizando o deepseek-recipe, um recurso que reproduz o processamento de tokens da API oficial da Deepseek para que configurações auto-hospedadas apresentem o mesmo comportamento.
Em publicação na rede social X, a empresa declarou que o objetivo da iniciativa é ajudar a comunidade a reduzir custos de computação, diminuir o consumo de energia e tornar a inteligência artificial mais acessível. A movimentação também adiciona pressão de preços sobre provedores ocidentais, como OpenAI e Anthropic, além de eventuais motivações políticas na disputa tecnológica entre China e Estados Unidos.
Para contextualizar outras iniciativas da desenvolvedora, confira DeepSeek Harness recebe plugins e estado de sessão experimental e DeepSeek disponibiliza versão prévia do aplicativo para Windows e Mac.
Referências
- Reportagem consultada: The Decoder
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
