Circuit Breaker Labs cria agentes de IA para testar segurança de modelos
Startup desenvolve simulações de usuários para identificar respostas psicológicas perigosas em modelos de inteligência artificial.
Resumo rápido
- A Circuit Breaker Labs usa agentes de IA como simuladores para testar riscos psicológicos em modelos de linguagem.
- A plataforma realiza até centenas de milhares de simulações diárias com gírias, erros de digitação e variados perfis.
- A startup de cinco funcionários foca no teste de sistemas de alto risco, como softwares de apoio à saúde mental.
Entenda o contexto
Testes de "red-team" em inteligência artificial são avaliações de segurança em que sistemas são submetidos a cenários adversariais simulados para identificar vulnerabilidades. O trabalho da Circuit Breaker Labs visa prevenir que falhas de interpretação técnica em chatbots gerem interações psicologicamente prejudiciais aos usuários.
A startup Circuit Breaker Labs desenvolveu uma plataforma baseada em agentes de inteligência artificial projetada para testar a segurança de modelos de linguagem contra interações psicológicas perigosas. A proposta da empresa é simular o comportamento de usuários de diferentes perfis demográficos e linguísticos para identificar falhas no entendimento de contextos e nuance antes que os sistemas causem danos aos usuários.
Simulações para identificar riscos psicológicos
A tecnologia da Circuit Breaker Labs funciona por meio de agentes automatizados que simulam conversas humanas realistas. Os testes adversariais, conhecidos no setor como "red-team", incluem o uso de variações de idade, contextos culturais, múltiplos idiomas, gírias e erros de digitação. Segundo os fundadores, os modelos de IA geralmente lidam bem com padrões de fala padronizados, mas podem falhar ao interpretar expressões ambíguas ou subjetivas utilizadas por pessoas reais.
A empresa executa entre dezenas de milhares e centenas de milhares de simulações de interações por dia. O objetivo é analisar como os modelos reagem ao longo de conversas prolongadas, medindo o risco do surgimento de relações parassociais ou de o sistema tomar decisões perigosas diante de declarações de risco. Os resultados do sistema são avaliados por meio de uma metodologia própria que gera pontuações auditáveis e explicáveis.
Foco em aplicações de alto risco
O desenvolvimento da ferramenta ocorre em meio ao aumento do debate sobre o impacto psicológico de chatbots. A Character.AI, por exemplo, fez acordos judiciais neste ano após ser processada por famílias de menores de idade, enquanto a OpenAI também enfrenta processos judiciais devido ao papel alegado do ChatGPT em episódios de delírios e suicídio de usuários.
Atualmente, a Circuit Breaker Labs atua na avaliação de softwares considerados de alto risco, como aplicativos de acompanhamento diário, mentoria e suporte à saúde mental. A empresa opera com uma equipe de cinco pessoas, que inclui os irmãos e fundadores Shirali Nigam, executiva-chefe (CEO), e Arul Nigam, diretor de tecnologia (CTO).
Apesar de estar em fase inicial de operações, a startup projeta expandir o uso de sua plataforma para qualquer aplicativo em que exista o risco de usuários desenvolverem dependência emocional em relação a agentes virtuais. A empresa também se apresentará entre 13 e 15 de outubro no evento TechCrunch Disrupt, em São Francisco, como finalista da competição Startup Battlefield 200.
Referências
- Reportagem consultada: TechCrunch — IA
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
