Funcionário inicial da Anthropic e ex-diretor de operações da METR encontraram uma maneira de controlar agentes de IA desonestos

Um dia depois de o pesquisador da Anthropic Jacob Coxon pedir demissão devido a preocupações de que a IA possa nos destruir até o fim da década, encontrei-me com os fundadores e cunhados Rune Kvist e Rajiv Dattani. Eles acham que têm uma solução que pode nos salvar a todos, ou pelo menos ajudar a evitar que agentes de IA saiam do controle dentro das empresas.

“A IA está se tornando mais inteligente a um ritmo cada vez mais rápido. O surpreendente sobre a IA é que ela se torna mais difícil de adotar e mais difícil de controlar à medida que fica mais inteligente, e não mais fácil”, disse Kvist, um dos primeiros funcionários da Anthropic que também é casado com a irmã de Dattani). Dattani é o ex-diretor de operações (COO) da organização de pesquisa em segurança de IA METR.

A dupla lançou uma startup chamada Artificial Intelligence Underwriting Company (AIUC) que espera levar segurança de IA para empresas e corporações que constroem modelos e agentes de IA. A startup cita Cursor, Lovable, Harvey e ElevenLabs como clientes.

Na terça-feira, a AIUC anunciou uma Série A de US$ 40 milhões liderada pela Ribbit Capital, com a participação da First Harmonic. Anteriormente, a empresa havia fechado uma rodada semente de US$ 15 milhões liderada por Nat Friedman por meio de seu fundo NFDG, junto com Emergence, Terrain e o cofundador da Anthropic Ben Mann, entre outros, elevando seu financiamento total para US$ 55 milhões.

O que chamou a atenção desse grupo de investidores de alto nível foi a tentativa da AIUC de aplicar um modelo de cibersegurança familiar a um novo conjunto de riscos de IA. A empresa construiu uma camada de auditoria e certificação de terceiros para agentes de IA.

“Bancos, hospitais, governos e forças armadas não deixam mais de implantar IA porque um modelo não é inteligente o suficiente”, disse Kvist. “Eles recusam porque fizeram compromissos com seus próprios clientes sobre o que um sistema fará e não fará, e atualmente ninguém pode garantir isso.”

Tendo como inspiração o amplamente adotado padrão de cibersegurança SOC 2, a AIUC desenvolveu um padrão chamado AIUC-1 e um serviço de testes para validar agentes em relação a esse padrão.

Para construir o padrão, a AIUC reuniu um consórcio de cerca de 250 líderes de segurança e risco — os compradores de agentes. “Essas são as pessoas com quem nos reunimos mensalmente, e a pergunta que fazemos a elas é: quando você está comprando agentes de alguém, o que você procuraria? Quais são as perguntas que você gostaria de fazer e o que você gostaria de ver abordado?”, disse Dattani ao TechCrunch.

Esse feedback molda os testes. A startup então submete um agente a um conjunto de cerca de 5.000 testes para ver como ele se comporta em cenários envolvendo fugas de restrições (jailbreaks), alucinações e vazamentos de dados. Os resultados geram um relatório de cerca de 100 páginas detalhando onde um agente opera com segurança e confiabilidade — e onde isso não acontece. Curiosamente, a AIUC usa agentes de IA para executar os testes e IA para analisar os dados. Humanos, no entanto, verificam a auditoria final, disse Kvist.

Se isso soa um pouco familiar, é porque é. A antiga empregadora de Dattani, a METR, onde ele foi COO de 2024 a 2025 e continua sendo membro do conselho, realiza testes semelhantes para os laboratórios de fronteira, embora seu trabalho até recentemente tenha focado principalmente no desempenho (se os agentes conseguem concluir tarefas de forma confiável). A METR foi uma das organizações de pesquisa independentes que a OpenAI usou para investigar seu incidente no Hugging Face.

O CEO da Anthropic, Dario Amodei, também apelou recentemente para que a indústria de IA desacelere o desenvolvimento de fronteira, citando um rápido aumento em incidentes de mau comportamento. Em sua postagem, Amodei levantou a ideia de exigir que os laboratórios de fronteira usem avaliadores terceirizados embutidos para observar e verificar a segurança, apontando a METR como uma possibilidade.

Embora a AIUC não esteja propondo se integrar diretamente aos sites dos clientes, a ideia geral é semelhante: fornecer às empresas uma avaliação independente de quão seguros são seus agentes de IA. “Aqui é onde ele passa e onde você pode confiar nele. E aqui é onde há preocupações. Você deve estar ciente dessas referências antes de tomar a decisão de comprar”, disse Dattani.