OpenMobile-2 treina agentes de smartphone com 110 apps simulados

O que é o OpenMobile-2?

O OpenMobile-2 é um projeto de código aberto voltado ao treinamento de agentes de inteligência artificial para smartphones em um ambiente simulado com mais de 110 aplicativos. Desenvolvido por pesquisadores da Universidade de Nanjing, da empresa de IA SenseTime e de outras instituições, o projeto inclui o lançamento de dois modelos baseados no Qwen3.5 (com 9 bilhões de parâmetros) e no Qwen3.6 (com 27 bilhões de parâmetros), além do ambiente de treinamento, dados e instruções de reprodução.

Segundo os autores, os dados necessários para o aprendizado de agentes móveis costumam ser mantidos por grandes empresas, o que faz com que modelos abertos fiquem em desvantagem. O treinamento do OpenMobile-2 utilizou o Gemini 3.1 Pro da Google como modelo professor para gerar cerca de 11,6 mil exemplos de fluxos de trabalho e mais de 2 mil tarefas de prática.

Como funciona o ambiente de treinamento simulado?

Para evitar custos e dificuldades de repetir tarefas em aplicativos reais — como telas de login ou compras reais —, a equipe reconstruiu 35 aplicativos populares na China (como Taobao, JD, DiDi e Meituan) e serviços globais como Slack e Google Drive. Combinados com simulações pré-existentes e apps executados em um emulador Android, a estrutura abrange mais de 110 plataformas.

As simulações são reiniciadas automaticamente ao estado inicial a cada execução. Os agentes interagem visualizando apenas capturas de tela, sem acesso a dados internos do aplicativo, imitando o uso humano. A transferência de dados entre programas é realizada via área de transferência.

Quais foram os resultados obtidos nos testes?

Segundo os dados divulgados, os modelos apresentaram evolução em benchmarks da área:

• AndroidWorld: o modelo de 27 bilhões de parâmetros subiu de 67,1 para 79,9 pontos, enquanto a versão de 9 bilhões passou de 54,3 para 74 pontos. O modelo anterior, OpenMobile-1, havia registrado 64,7 pontos.
• MobileWorld: em tarefas longas que envolvem múltiplos apps, a versão maior evoluiu de 35,9 para 50,4 pontos.
• SPA-Bench: em testes em dispositivos Android reais, o modelo maior alcançou 59,6 pontos (ante 31,9 anteriores), pontuação apontada pelos pesquisadores como a mais alta entre os modelos abertos.

Qual o impacto da diversidade de aplicativos?

Os testes indicaram que a variedade de aplicativos é mais relevante do que o volume bruto de dados. Ao manter a quantidade de dados constante e aumentar apenas o número de apps treinados, a taxa de sucesso em aplicativos inéditos subiu de 60,7% para 67,5%.

A fase de aprendizado por reforço trouxe ganhos limitados, focados em ambientes semelhantes aos de treinamento. No teste AndroidWorld, o modelo maior apresentou oscilação pequena após essa etapa, registrando 79,9 pontos contra 80,8 pontos medidos anteriormente.

Como funcionam os comandos diretos em testes?

Em caráter experimental, mais de 50 aplicativos simulados disponibilizaram comandos diretos (como "adicionar ao carrinho"), permitindo que o agente pule a navegação por menus. Quando treinados especificamente para utilizar essas ferramentas, os modelos resolveram até 10,3 pontos percentuais a mais de tarefas e reduziram cerca de cinco passos por execução. Segundo a pesquisa, essa capacidade também se transferiu para ferramentas não encontradas durante o treinamento.