Pesquisadores criam o ProvenanceGuard para verificar fontes em IA

Pesquisadores publicaram um estudo que detalha o ProvenanceGuard, uma nova camada de verificação de factualidade criada para agentes de inteligência artificial baseados no protocolo MCP (Model Context Protocol). A proposta da ferramenta é combater a confluência cruzada de fontes, um problema em que uma informação gerada pelo modelo é verdadeira, mas atribuída ao documento ou ferramenta incorreta.

Como funciona a verificação de atribuição

Diferente de verificadores convencionais que agrupam todo o contexto em um único bloco anônimo, o ProvenanceGuard preserva a identidade da fonte ao longo de todo o processo. O sistema funciona como uma camada pós-geração sobre o agente: ele analisa o rastro capturado de execuções do MCP, identifica as ferramentas e os identificadores de origem sem a necessidade de retreinar o modelo principal.

A sequência de verificação divide a resposta em alegações específicas, busca a fonte mais relevante para cada uma delas, checa se a fonte realmente sustenta a informação, compara a origem com aquela citada pela IA e emite uma decisão de autorização ou bloqueio. Em caso de bloqueio, o fluxo pode acionar uma etapa de reparo no estilo RARR antes de passar por uma nova checagem.

Resultados e desempenho nos testes

A abordagem foi avaliada a partir do rastro de um agente médico que utilizou registros de pacientes e artigos de pesquisa. Em uma avaliação com 361 alegações derivadas de 40 respostas, especialistas humanos indicaram que 139 afirmações não deveriam passar. O ProvenanceGuard conseguiu capturar 138 dessas alegações, deixando apenas uma passar. Por ser um sistema configurado de forma conservadora, a ferramenta retribuiu 67 alegações consideradas válidas pelos especialistas para revisão humana ou reparo.

Em outro experimento focado em erros de atribuição, os pesquisadores alteraram intencionalmente a fonte citada em 50 casos, mantendo a evidência intacta. O ProvenanceGuard identificou as 50 trocas. No entanto, em testes com várias fontes muito semelhantes entre si, a precisão para selecionar a origem exata caiu para 50,3%, revelando um ponto que ainda exige aprimoramentos.

O impacto dos agentes de IA em ambientes críticos exige rigor na checagem. Na configuração local relatada pelos pesquisadores — que utilizou os modelos MiniLM e DeBERTa —, o tempo adicional de processamento ficou em cerca de meio segundo por resposta gerada.