Estudo mede a taxa de falhas ocultas em bancos de dados criadas por IA

Um teste publicado em 3 de outubro de 2026 pelo blog da Hugging Face revelou a diferença entre o comportamento declarado por sistemas de inteligência artificial e os registros reais deixados em bancos de dados. Denominado ThinkingBox, o benchmark analisa se agentes de IA que executam fluxos de trabalho empresariais realmente concluem as ações solicitadas ou apenas simulam a resolução ao acionar ferramentas.

A avaliação examinou 507 fluxos de negócios interativos, com cada tarefa executada 20 vezes consecutivas a partir de um estado limpo no sistema. Em uma análise consolidada de 121.680 tentativas válidas com 12 modelos de linguagem, os pesquisadores registraram que 79.853 tentativas falharam nas verificações executáveis da base de dados. Do total de falhas, 67,24% haviam encerrado o processo sem indicar erro nas ferramentas, mas geraram dados incorretos no banco de dados final.

A lacuna entre o acerto único e a consistência

Nas medições de tentativa única (pass@1), o modelo Claude Opus 5.5 obteve a maior pontuação média geral, com 67,16%, seguido pelo Claude Opus 5, com 66,50%. O Kimi-K3 figurou como o modelo de pesos abertos com melhor taxa de acerto único no geral e liderou no segmento de varejo com 82,24%. O levantamento indica ainda que a variação por domínio é acentuada: o Claude Opus 4.6 alcançou 68,62% em tarefas de varejo, mas registrou 8,30% em seguros automotivos.

Entretanto, ao exigir que os modelos completem com sucesso todas as 20 tentativas consecutivas da mesma tarefa, os resultados mudaram. O Kimi-K3 resolveu 476 das 507 tarefas ao menos uma vez (93,89%), porém manteve o sucesso em todas as 20 repetições em apenas 68 tarefas (13,41%). Em contrapartida, o Claude Opus 5 solucionou 79,09% das tarefas ao menos uma vez, mas manteve taxa perfeita de acerto em 241 tarefas (47,53%). O Claude Opus 5.5 atingiu exatamente o mesmo número de conclusões consistentes que seu antecessor, passando nas 20 tentativas em 241 tarefas.

Impacto de erros ocultos no sistema

A pesquisa detalha que as falhas identificadas nas verificações de banco de dados envolveram diferentes tipos de inconsistências. Nos testes que falharam apesar do encerramento limpo das ferramentas, 77,61% apresentaram valores incorretos nos campos, 43,30% causaram efeitos colaterais indesejados no sistema e 25,36% deixaram de aplicar alterações obrigatórias previstas pelo fluxo de trabalho.

Para calcular o custo da eficiência, os autores mediram o uso de tokens das 507 tarefas executadas 20 vezes e precificaram com base nas taxas de lista da plataforma OpenRouter+. A partir dessa metodologia, o modelo GPT-5.4 apresentou um custo estimado de US$ 43,49 para a realização das 507 tentativas, resultando em um indicador de US$ 0,131 por tentativa bem-sucedida, considerando sua taxa pass@1 de 65,36%.