Nvidia lança quatro modelos Cosmos 3 de pesos abertos com 16B

A Nvidia expandiu a sua plataforma de desenvolvimento de modelos de mundo Cosmos com a adição de quatro novos pontos de checagem (checkpoints) de pesos abertos à família de modelos Cosmos 3. Publicados em 5 de novembro de 2026, os modelos foram desenvolvidos para a geração de simulações interativas de mundos e de cenas de condução com múltiplos sensores e múltiplas visões.

Todas as quatro variações são exemplos pós-treinados do Cosmos 3 Nano e contam com 16 bilhões de parâmetros treináveis. A distribuição utiliza a licença OpenMDW1.1, que autoriza o uso comercial e não comercial de acordo com os seus termos.

Aplicações em condução autônoma e robótica

Segundo a publicação no blog da empresa, os modelos oferecem abordagens complementares para a construção de ambientes simulados em robótica e condução autônoma. O conjunto é dividido em quatro variações especializadas:

• Cosmos3-Nano-Transfer-Auto: modelo bidirecional projetado para a geração offline de dados sintéticos de direção. Ele gera vídeos sincronizados em até 11 visões de câmera (incluindo lentes fisheye) e suporta a geração conjunta de RGB e LiDAR. Controles de mapa de cenário de mundo (WSM) por câmera especificam a estrutura da cena e o movimento do tráfego.
• Cosmos3-Nano-Sim-Auto: variante destilada causalmente do Transfer-Auto, voltada para simulações rápidas em transmissão contínua (streaming). O modelo gera pequenos blocos sucessivos de vídeos de câmera e LiDAR em poucas etapas de remoção de ruído.
• Cosmos3-Nano-Sim-Transfer: transforma comandos de um simulador de física e instruções em texto em observações de vídeo fotorrealistas.
• Cosmos3-Nano-Sim-Bimanual: prevê a evolução do ambiente em resposta às ações de robôs de dois braços, oferecendo suporte interativo para robôs YAM e AgiBot.

Arquitetura e requisitos técnicos

A estrutura base do Cosmos 3 utiliza uma arquitetura Mixture-of-Transformers que conecta redes separadas de processamento de texto e geração visual por meio de mecanismos de atenção. O gerador prevê cada segmento curto a partir das instruções fornecidas, dos controles disponíveis e do histórico gerado.

As receitas de pós-treinamento divulgadas cobrem quatro etapas sequenciais: adaptação bidirecional (Stage 0), teacher forcing (Stage 1), destilação por consistência para geração em quatro etapas de remoção de ruído (Stage 2) e autoforçamento ou self-forcing (Stage 3).

Para a execução do modelo Sim-Bimanual, a Nvidia especifica como requisitos o uso de ambiente Linux, GPU Nvidia, Docker e o pacote Nvidia Container Toolkit. A empresa relata que a configuração vLLM-Omni publicada foi testada em uma unidade GB200, ressaltando expressamente que este teste não representa uma especificação de memória mínima.

Limitações e próximos passos

A visão declarada pela Nvidia com o lançamento dos pesos abertos é fornecer um ponto de partida compartilhado para que pesquisadores adaptem modelos, comparem métodos e contribuam com melhorias. A empresa afirma, no entanto, que esses problemas continuam sendo complexos. O trabalho a ser realizado inclui medir em que grau os modelos apoiam com fidelidade o aprendizado e a avaliação de políticas, compreender suas limitações e promover aprimoramentos onde os resultados ficarem aquém do esperado.