Huawei libera código de treinamento do openPangu-2.0 em código aberto
Huawei abre o código de pré-treinamento, SFT e RL do openPangu-2.0 para a plataforma de hardware Ascend.
Resumo rápido
- Huawei libera código de pré-treinamento, SFT e RL do openPangu-2.0 para a linha Ascend.
- Lançamento foca na infraestrutura de treinamento, complementando pesos já publicados no Hugging Face.
- Família inclui os modelos openPangu-2.0-Pro e openPangu-2.0-Flash, ambos com janela de contexto de 512K.
Entenda o contexto
O openPangu é a marca da Huawei para modelos de inteligência artificial desenvolvidos especificamente para treinamento e inferência nativos nos chips da linha Ascend. A abertura do código de treinamento permite que desenvolvedores compreendam e adaptem como os modelos são construídos na prática, diferindo do mero acesso aos pesos prontos do sistema.
A Huawei disponibilizou em código aberto o código de pré-treinamento, ajuste fino supervisionado (SFT) e aprendizado por reforço pós-treinamento (RL) para o openPangu-2.0 neste dia 28 de setembro de 2026. A liberação abrange a infraestrutura voltada para a plataforma de hardware de inteligência artificial da empresa, a linha Ascend. As informações foram reportadas pelo portal TMT Post e por coberturas sobre a pilha de treinamento nativa dos chips Ascend.
A publicação do código foca nos bastidores do processo de desenvolvimento dos modelos baseados na arquitetura Mixture-of-Experts (MoE). Os pesos das versões openPangu-2.0-Pro e openPangu-2.0-Flash já tinham sido publicados anteriormente na plataforma Hugging Face. Com a nova etapa, os desenvolvedores ganham acesso direto aos componentes necessários para reproduzir e expandir o treinamento de modelos na infraestrutura do fabricante, em vez de depender apenas da execução de inferência a partir de pesos pré-existentes.
Detalhes técnicos das versões Pro e Flash
Segundo os registros publicados no Hugging Face, o openPangu-2.0-Pro conta com cerca de 505 bilhões de parâmetros totais, dos quais aproximadamente 18 bilhões são ativados por token. A versão openPangu-2.0-Flash traz cerca de 92 bilhões de parâmetros totais e cerca de 6 bilhões ativos. Ambos os modelos oferecem uma janela de contexto de 512 mil tokens — espaço que determina quanto texto um sistema consegue processar de uma só vez — e foram treinados com um volume próximo de 34 trilhões de tokens.
As especificações técnicas compartilhadas pelas duas variantes indicam o uso de atenção latente de múltiplas cabeças, uma combinação em camadas de DSA e SWA na proporção de 1 para 2, topologia residual mHC de quatro ramificações, predição de múltiplos tokens de três cabeças e otimizador Muon. O processo de pós-treinamento envolveu SFT rápido e lento combinado, RL multiespecializado e destilação online (OPD). O pacote disponibilizado hoje pela Huawei entrega a estrutura completa em código aberto para equipes de desenvolvimento que utilizam a arquitetura Ascend.
Referências
- Fonte consultada: Pandaily — Tecnologia chinesa
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
