Pesquisadores criam VA-Bench e testam modelos de IA em robótica

Uma equipe de pesquisa liderada pela Dalian University of Technology lançou o VA-Bench, um benchmark desenvolvido para testar se modelos de linguagem multimodais de uso geral conseguem converter informações visuais em ações bem-sucedidas executadas por braços robóticos. Os detalhes do estudo foram publicados em um artigo no arXiv e divulgados pelo Sina Tech em 5 de outubro de 2026.

Entre as 12 configurações de modelos avaliadas no teste, o melhor desempenho foi do Qwen3.8-max, da Alibaba, que concluiu uma média de 53,93% das tarefas. Modelos de referência como o Opus-5 e o GPT-5.6-sol obtiveram taxas de sucesso de 52,86% e 51,55%, respectivamente. Os autores destacaram que os três primeiros colocados estão dentro de uma margem de 2,38 pontos percentuais e não afirmam existir uma ordenação definitiva entre eles. Todas as outras configurações analisadas registraram pontuações de 23,10% ou inferiores.

Metodologia de avaliação e precisão visual

O VA-Bench avalia o ciclo completo de observação, raciocínio, ação e revisão. Antes de cada teste, o modelo assiste a um vídeo de demonstração bem-sucedida, mas não recebe coordenadas de objetos, trajetórias de especialistas ou parâmetros de ação precisos. Durante a execução, o sistema pode alternar os ângulos das câmeras por conta própria, ao custo de etapas de interação, e deve emitir comandos concretos, incluindo rotações, translações em milímetros ao longo de cada eixo e ordens de abertura ou fechamento da garra. Um controlador fixo executa apenas o que o modelo especifica.

O teste abrange 14 tipos de tarefas de manipulação — sendo 11 com braço único e três com braço duplo —, somando 280 cenas base verificadas em simulação física, além de variações de geometria, layouts e um teste com cinco objetos. Os principais modelos alcançaram 100% de precisão na localização de alvos e entre 99,6% e 100% na compreensão do tipo de manipulação exigido. No entanto, a taxa de sucesso nas tarefas completas permaneceu perto da metade, com a conclusão de subtarefas variando entre 65,9% e 68,6% nos líderes.

Desafios na correção de erros e tarefas com dois braços

Dois gargalos principais foram identificados durante os testes. O Qwen3.8-max identificou erros em 73,6% das ocorrências, mas só conseguiu corrigi-los durante a execução em 46,7% dos casos. Além disso, a taxa de sucesso do modelo da Alibaba caiu de 65,61% em tarefas de braço único para 11,11% em atividades com dois braços robóticos, que exigem a atribuição de objetos a cada braço e a coordenação de suas posições relativas.

A observação ativa também se mostrou decisiva. Em uma comparação direta nas 280 cenas, o Qwen3.8-max atingiu 57,50% de sucesso quando pôde escolher os próprios pontos de vista, contra 27,86% quando recebeu cinco visões fixas. A alteração de formatos de objetos, recipientes ou layouts reduziu a taxa de um modelo de referência de 80,00% para 47,86%, enquanto o Qwen3.8-max caiu de 77,86% para 67,86%. A pesquisa diferencia o VA-Bench de avaliações como o ranking de cérebro incorporado do SuperCLUE por medir se os julgamentos de percepção se traduzem em ações físicas concluídas. O progresso em testes de automação e robótica também é acompanhado pelo avanço de modelos dedicados a robótica no setor.