Huawei lança interação multimodal full-duplex no WorkSwarm

A plataforma de agentes de inteligência artificial de código aberto openJiuwen, criada pelos laboratórios 2012 e pela divisão de nuvem da Huawei em parceria com universidades e desenvolvedores, recebeu uma atualização nesta quinta-feira, 1º de outubro de 2026. O projeto adicionou interação multimodal em tempo real (full-duplex) ao WorkSwarm, ambiente de trabalho voltado a tarefas de escritório e programação.

Interação contínua por voz e vídeo

Com o recurso full-duplex, o sistema passa a ouvir e falar ao mesmo tempo, abandonando o modelo tradicional de voz em que o usuário precisa esperar a IA concluir a fala. Caso a pessoa interrompa o agente durante uma resposta falada, o WorkSwarm detecta a nova instrução, interrompe o áudio atual e processa o pedido imediatamente. O texto já gerado permanece salvo no histórico da tarefa, enquanto técnicas de detecção de atividade vocal e filtros de ruído evitam interrupções acidentais causadas por sons de fundo.

A arquitetura do sistema divide as operações em dois caminhos paralelos. Um modelo em tempo real analisa a imagem da câmera, escuta o áudio e responde rapidamente. Ao mesmo tempo, um componente chamado Core Agent lida com tarefas mais complexas em segundo plano, dividindo etapas e acionando ferramentas de pesquisa ou compilação. Essa abordagem se insere na tendência de assistentes com conversas por voz mais fluidas, segmento no qual empresas concorrentes também buscam avançar, como demonstrado quando o Google lança modelos Gemini 3.8 Live com foco em conversas por voz.

Gerenciamento de tarefas e execução em hardware dedicado

Durante uma interação, o usuário pode apontar a câmera para um objeto, perguntar a marca e solicitar que a IA faça uma pesquisa detalhada para criar um documento. A busca roda em segundo plano enquanto a conversa prossegue. Quando a tarefa do Core Agent é concluída, a interface exibe os arquivos e o assistente aguarda o fim da conversa falada atual para ler em voz alta apenas os pontos principais.

A interrupção de um diálogo por voz não cancela as tarefas de ferramentas em andamento, que precisam ser interrompidas individualmente na fila do sistema. Encerrar a sessão de áudio e vídeo também não interrompe os trabalhos já enviados ao Core Agent.

O WorkSwarm oferece suporte a dois protocolos de modelos: o Qwen Omni (via WebSocket em tempo real) e o JoyAI, que conecta modelos separados de reconhecimento de fala, linguagem e síntese de voz. Além da execução local, os modelos multimodais full-duplex podem ser implantados em hardware da linha de processadores neurais da empresa chinesa, aproveitando ecossistemas onde o DeepSeek lança componentes de código aberto para a plataforma Ascend. No ambiente corporativo, a infraestrutura pode ser rodada em NPUs Ascend por meio da plataforma ModelArts da Huawei Cloud com o arcabouço de inferência vLLM-Omni.

O repositório do projeto no GitHub é distribuído sob a licença Apache-2.0, e a ferramenta possui instaladores para Windows, Mac e HarmonyOS, além de pacotes pip. A versão v0.2.7 do projeto, lançada em 30 de setembro, já havia incluído o serviço Proactive Context Service e sessões compartilhadas entre múltiplos agentes.