Pesquisa indica que equipes de agentes de IA gastam mais tokens com ganhos mínimos
Benchmark da Vals AI mostra que equipes de agentes de IA custam até 5,1× mais que agentes individuais e trazem ganhos de qualidade quase inexistentes.
Resumo rápido
- Benchmark da Vals AI mostra que equipes de agentes custam até 5× mais que agentes individuais.
- Só um teste revelou ganho modesto de 7,3 pontos no GPT-6 Sol.
- Especialistas dizem que mais agentes aumentam velocidade, não qualidade.
Entenda o contexto
Equipes de agentes de IA são conjuntos de modelos que trabalham em paralelo para resolver uma tarefa. Cada agente gera tokens, que são unidades de texto processadas pelo modelo; o consumo elevado de tokens eleva o custo computacional. O estudo da Vals AI avalia se esse aumento de custo traz melhorias de qualidade.
Um estudo conduzido pela empresa de avaliação Vals AI revelou que equipes de agentes de IA consomem muito mais tokens que agentes individuais, sem melhorar significativamente os resultados.
Detalhes do benchmark
Os testes, realizados no "Vibe Code Bench", compararam os modelos GPT-6 Sol e Claude Opus 5.5 operando sozinhos e em equipes, em dois níveis de esforço de raciocínio – médio e máximo. O custo das equipes variou entre 1,8 × e 5,1 × o de um agente único.
Resultados principais
Das quatro comparações feitas, apenas uma apresentou melhoria estatisticamente significativa: no nível de raciocínio médio, a equipe com GPT-6 Sol superou o agente solo em 7,3 pontos. Nos demais cenários, inclusive no esforço máximo, não houve vantagem real.
Em testes internos, a Anthropic observou que, ao aumentar o número de agentes com Opus 5.5, os ganhos de qualidade diminuíram. Equipes maiores alcançaram níveis de desempenho semelhantes mais rapidamente, mas a diferença entre 10 e 100 agentes foi mínima.
O pesquisador da OpenAI, Noam Brown, confirmou que sistemas multi‑agente tendem a comprar velocidade, não qualidade. Ele citou que quatro agentes resolveram tarefas duas vezes mais rápido, mas ao custo de dobrar o gasto de tokens. O desenvolvedor da OpenAI, Eric Provencher, alertou que a coordenação entre muitos agentes gera um "taxa de coordenação" que pode tornar o uso de enxames economicamente inviável.
A pesquisa ainda não indica se as empresas pretendem mudar suas arquiteturas ou oferecer alternativas mais econômicas. O estudo destaca que, quando os modelos já operam com capacidade total de cálculo, o benefício adicional de equipes de agentes é limitado.
Referências
- Reportagem consultada: The Decoder
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
