Tsinghua lança SRHarness e MechBench para avançar agentes científicos de IA

Pesquisadores do Data Science and Intelligence Lab, da Universidade Tsinghua, divulgaram nesta sexta‑feira duas iniciativas ligadas à IA para ciência: o framework SRHarness e o benchmark MechBench.

SRHarness: infraestrutura reutilizável para regressão simbólica

O SRHarness transforma o runtime usado por agentes em uma camada de infraestrutura composta por três partes: ações científicas reutilizáveis que encapsulam análise, ajuste, busca e avaliação; estado científico persistente que armazena fórmulas candidatas e evidências fora do contexto de chat; e gerenciamento de ciclo de vida de trajetórias que permite continuar, ramificar, reiniciar ou interromper buscas longas. O código está disponível no GitHub, pode ser instalado via PyPI e possui demonstração online.

Segundo os autores, ao emparelhar o SRHarness com o modelo base DeepSeek‑v4‑flash, a taxa de recuperação simbólica no benchmark LSR‑Transform foi de 93,69%, superando o método anterior SR‑Scientist (62,16%). Mesmo sem contexto científico, o SRHarness recuperou 72,97% das equações alvo, contra 39,64% do SR‑Scientist e 20,72% do Codex.

MechBench: testando a compreensão de mecanismos

O MechBench propõe separar duas habilidades: encontrar a lei observada e descobrir o mecanismo que a gera. O benchmark usa “mechanism probes” para checar grandezas internas que uma fórmula isolada não determina e filtra mecanismos concorrentes que poderiam produzir as mesmas observações.

Nos resultados divulgados, o Codex combinado com GPT‑5.6‑sol recuperou mecanismos em apenas 13,75% dos casos do conjunto‑central, enquanto a taxa de recuperação das leis foi de 35%. Os autores interpretam a diferença como evidência de que os agentes científicos atuais são mais aptos a identificar padrões do que a compreender as causas subjacentes.

O trabalho posiciona o MechBench como referência para avaliar o próximo passo na capacidade de agentes de IA de ir além da simples regressão simbólica.