BAAI detalha o FlagOS 2.2 com 1.454 operadores cross-chip

A Beijing Academy of Artificial Intelligence (BAAI) detalhou o FlagOS 2.2, versão de sua pilha de software aberto para a execução de modelos de inteligência artificial em diferentes arquiteturas de chips. O lançamento ocorreu em 30 de setembro e foi apresentado na AI Open Computing Conference, realizada em Pequim.

Segundo a academia, a atualização representa uma mudança do foco de adaptação de modelos para diversos chips em direção à otimização de código compartilhado entre eles. O FlagOS 2.2 abrange nove bibliotecas de operadores, enquanto os operadores públicos em FlagGems e bibliotecas relacionadas aumentaram de 564 para 1.454. A nova biblioteca FlagGems-SGLang adiciona 40 operadores multi-chip voltados para atenção, atualizações de estado Mamba, mixture-of-experts, LoRA, amostragem e quantização.

Novas ferramentas de automação e depuração

O KernelGen, gerador automático de operadores da BAAI, passou a suportar nove chips de IA e produziu 765 novos operadores no trimestre. Desse total, 416 passaram em verificações de acurácia em pelo menos cinco chips domésticos, alcançando mais de 80% do desempenho de operadores nativos. Já o FlagPrism, ferramenta unificada de depuração e profiling, conecta o código-fonte Triton, IR do compilador e dados de execução de dispositivos, com suporte a Huawei Ascend, Iluvatar CoreX, Moore Threads, Nvidia e Enflame.

A atualização também introduz o FlagOS-Compressor para conversão de pesos e quantização entre chips, além de contar com plugins para vLLM, Megatron-LM e SGLang. A BAAI afirma que os dados de desempenho divulgados provêm de testes internos próprios e dependem diretamente da carga de trabalho utilizada.