Circuit Breaker Labs espera tornar a IA mais segura para seus filhos (e para você)

Com toda a conversa sobre como a IA pode um dia acabar com todos nós, é fácil esquecer que a IA já tem sido fatal para alguns, não através de armas biológicas, mas psicologicamente.

Por exemplo, a Character.AI celebrou acordos em vários processos por homicídio culposo no início deste ano, movidos por famílias de usuários menores de idade que morreram por suicídio após interações com os seus bots. Várias famílias também processaram a OpenAI devido ao suposto papel do ChatGPT nos suicídios e delírios de seus entes queridos.

Tornar a IA mais segura em vários idiomas e culturas é a missão da Circuit Breaker Labs, uma das finalistas do Startup Battlefield 200 do TechCrunch em 2026. (A Circuit Breaker fará sua apresentação no TechCrunch Disrupt, que acontece este ano no Moscone West, em São Francisco, de 13 a 15 de outubro).

Os fundadores Shirali e Arul Nigam, que são irmãos, foram motivados por Sewell Setzer, o garoto de 14 anos que desenvolveu um apego emocional a um chatbot da Character.AI e confessou a ele pensamentos de automutilação antes de morrer por suicídio. O chatbot, alegaram os pais em um processo de 2024, o encorajou. O bot pode não ter entendido o que palavras como “eu quero ficar com você” realmente implicavam, disse Arul, que é o diretor de tecnologia (CTO) da Circuit Breaker Labs.

“Muitas pessoas, especialmente os jovens, recorrem a esses sistemas em busca de apoio e, geralmente, não estão realmente obtendo a ajuda de que precisam. Mas, em muitos casos, estão sendo ativamente prejudicadas e, infelizmente, pessoas já tiraram suas próprias vidas”, disse Arul. “Esse tipo de vulnerabilidade de segurança, onde as pessoas não estão necessariamente tentando quebrar o sistema de forma ativa — elas estão interagindo de maneira natural — e o sistema sofre de poluição de contexto ou não entende a nuance, e então toma uma atitude muito perigosa, é isso que estamos tentando evitar.”

A Circuit Breaker Labs criou agentes de IA que compara a um exército de bonecos de teste de colisão. Esses agentes imitam pessoas de todas as idades, origens, idiomas e culturas, e são usados para testar a capacidade dos modelos de detectar interações perigosas e psicologicamente nocivas.

“A maneira como uma menina de seis anos em comparação com um homem de 45 anos, ou alguém que fala inglês como primeira língua em comparação com uma segunda língua, ou … gíria de gamer em comparação com outra pessoa que usa um tipo diferente de gíria, tudo isso pode realmente confundir um modelo”, disse Shirali, que é a diretora-executiva (CEO) da Circuit Breaker Labs. “Os modelos são muito bons em lidar com padrões de fala padrão, mas ninguém realmente fala assim e, portanto, se o modelo mal-entender a nuance ou a gíria, as coisas podem dar muito errado.”

A startup trabalha com especialistas humanos em domínios para construir suas simulações de usuários hiper-realistas, a fim de realizar testes do tipo “red-team” em modelos, que são testes contraditórios destinados a descobrir fraquezas. Os testes são criados para refletir padrões reais de fala humana, gírias, linguagem codificada e erros de digitação. A Circuit Breaker Labs executa então dezenas de milhares a centenas de milhares de interações simuladas por dia.

A ideia é garantir que um modelo possa responder adequadamente a interações de risco que possam surgir com o tempo e ao longo de muitas conversas. A Circuit Breaker Labs utiliza então um método de pontuação proprietário para criar pontuações auditáveis e explicáveis.

A Circuit Breaker Labs atua atualmente como um laboratório de testes de segurança de IA para aplicações de IA de alto risco, como aplicativos de coaching de IA, diários ou outros aplicativos de apoio à saúde mental, embora Arul tenha recusado citar seus principais clientes. Embora a startup tenha um produto funcional, ela está em estágios muito iniciais, com apenas cinco funcionários, incluindo os irmãos Nigam.

No entanto, com o tempo, a plataforma de testes poderá ser aplicada a qualquer aplicativo em que alguém possa cair em um buraco de “psicose de IA”, onde o ser humano corre o risco de desenvolver uma relação parassocial com um chatbot. Os exemplos incluem agentes de IA “colegas de trabalho”, cujas respostas podem variar de uma interação para a outra.

“As pessoas estão se tornando mais céticas em relação à IA ou mais resistentes a adotá-la de forma geral”, disse Arul, acrescentando que, embora o ceticismo seja saudável, banir uma ferramenta potencialmente valiosa devido a preocupações de segurança seria “regressivo”.

A Circuit Breakers Labs acredita que a resposta para esses temores é tornar a IA mais segura. “Queremos ajudar a construir essa confiança para as pessoas.”

Venha saber muito mais sobre a Circuit Breaker Labs e muitas outras startups inovadoras que foram avaliadas pelo TechCrunch em nossa competição Startup Battlefield, que acontece no centro de São Francisco de 13 a 15 de outubro.