Baidu lança modelo base ERNIE-5.5-Flash-Base com 280 bi de parâmetros
A Baidu disponibilizou o modelo base aberto ERNIE-5.5-Flash-Base sem pós-treinamento ou ajuste fino, com pesos disponíveis no Hugging Face.
Resumo rápido
- A Baidu lançou o ERNIE-5.5-Flash-Base, um modelo base aberto com 280 bilhões de parâmetros totais.
- O modelo foi disponibilizado intencionalmente sem etapas de ajuste fino ou pós-treinamento.
- Segundo a Baidu, o sistema compete em testes de desempenho com o DeepSeek V4 Flash e o MiMo V2.5.
Entenda o contexto
Modelos base ou de fundação são redes neurais treinadas em grandes volumes de dados que servem como ponto de partida para aplicações de inteligência artificial, podendo passar por pós-treinamento e ajuste fino para tarefas específicas. A arquitetura de mistura de especialistas (MoE) ativa apenas uma fração dos parâmetros totais a cada processamento para otimizar o uso de recursos de computação.
A empresa chinesa Baidu lançou o ERNIE-5.5-Flash-Base, um modelo de fundação aberto disponibilizado intencionalmente sem etapas de ajuste fino (fine-tuning) ou pós-treinamento. A decisão deixa a cargo dos desenvolvedores a adaptação do modelo para diferentes finalidades, enquanto uma versão com pós-treinamento está prevista para ser lançada posteriormente.
Especificações técnicas e arquitetura
O ERNIE 5.5 adota uma arquitetura de mistura de especialistas (MoE) composta por 280 bilhões de parâmetros no total, dos quais 14 bilhões permanecem ativos a cada entrada processada. A fase de pré-treinamento do sistema utilizou um volume de 33,5 trilhões de tokens.
O modelo foi pré-treinado com uma janela de contexto de até 128.000 tokens — medida que indica a quantidade de dados que a rede neural consegue analisar de uma só vez. No entanto, sua estrutura foi projetada para suportar janelas de contexto de até um milhão de tokens durante as etapas de ajuste fino e inferência.
Disponibilidade e alegações de desempenho
De acordo com a Baidu, o ERNIE-5.5-Flash-Base compete com modelos de fundação abertos de porte semelhante em testes comparativos (benchmarks) voltados para tarefas de raciocínio, geração de código e processamento de contexto longo. A empresa cita como concorrentes diretos nessa faixa de tamanho o DeepSeek V4 Flash e o MiMo V2.5.
Os pesos do ERNIE-5.5-Flash-Base já estão disponíveis na plataforma Hugging Face nos formatos de precisão FP8 e BF16, conforme relatado em cobertura do veículo The Decoder.
Referências
- Reportagem consultada: The Decoder
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
