Laboratórios de IA querem auditores internos — mas talvez devessem trancar a porta da frente primeiro

No último fim de semana, após um de seus pesquisadores pedir demissão devido ao receio de que a inteligência artificial possa levar à extinção humana, o CEO da Anthropic, Dario Amodei, escreveu sobre a necessidade de organizações externas “verificarem a adesão a práticas e compromissos de segurança, relatarem incidentes e ajudarem a avaliar o alinhamento não apenas de modelos de IA concluídos, mas também de processos e pipelines de treinamento”. Executivos da OpenAI, Google e SpaceXAI já aderiram ao plano de Amodei, que rapidamente se tornou um pilar central do movimento emergente de segurança em IA.

Mas pode haver uma solução mais simples e eficaz oculta à vista de todos. Especialistas em segurança na internet afirmam que os laboratórios precisam focar nos conceitos básicos de segurança de rede, como logs e permissões, aplicando as mesmas defesas rigorosas usadas para usuários humanos. Não é tão empolgante quanto a auditoria de terceiros e o trabalho de alinhamento, mas pode acabar sendo mais eficaz.

“Para mim, parece que eles estão terceirizando”, disse Katie Moussouris, CEO da Luta Security, ao TechCrunch sobre a proposta de Amodei. “Dizer que [uma auditoria de terceiros] é a solução é uma proposta estranha da minha perspectiva. Seria o mesmo que, em vez de escrever o Memorando de Computação Confiável, a Microsoft dissesse: vamos desacelerar o desenvolvimento.”

Esse memorando, redigido pelo então CEO da Microsoft, Bill Gates, em 2002, pedia aos seus funcionários queusassem práticas para garantir que seus softwares fossem confiáveis e seguros, após uma série de worms de computador amplamente divulgados que tomaram conta de sistemas empresariais então nascentes. O setor de IA pode estar em um ponto de virada semelhante, à medida que o valor e o risco da nova tecnologia ficam cada vez mais claros.

Embora o alinhamento continue sendo uma preocupação importante, Sayash Kapoor, um pesquisador de IA que será professor na Universidade da Califórnia em Berkeley a partir do ano que vem, argumenta que “investimentos marginais em controle têm mais probabilidade de serem eficazes em comparação àqueles em alinhamento. Vemos esses incidentes como uma ilustração da falta de ênfase no controle de IA dentro das empresas, apesar da disponibilidade de técnicas conhecidas.”

Os incidentes que geraram essas preocupações giram em torno de modelos de fronteira solicitados a concluir tarefas de treinamento — geralmente avaliações de cibersegurança — que acabam acessando a internet aberta e penetrando em sistemas fechados de terceiros na tentativa de cumprir a tarefa. Isso geralmente aconteceu devido a ambientes de “sandbox” (área restrita) mal configurados, que deveriam conter esses agentes; ironicamente, uma das fugas de controle da Anthropic ocorreu porque avaliadores terceirizados não fecharão as portas corretas.

“Nós, como profissão, sabemos como bloquear o acesso à internet”, disse Avery Pennarun, CEO da Tailscale, uma empresa de segurança. “Se você ler todos esses relatórios longos e grandiosos — ‘uau, esse foi um ataque em várias etapas muito impressionante, blá, blá’. Olha, você deu a ele acesso para baixar coisas. Você não deveria ter feito isso separado da internet.”

Esse é um problema — mas um problema ainda maior é que os laboratórios de fronteira não tinham consciência dessas atividades.

Olhos nos agentes

“O que foi realmente profundo foi que todas as descobertas sobre o que eles estavam fazendo aconteceram ou porque uma vítima viu algo, ou em alguns dos outros casos... era atividade de rede, e nenhuma delas veio de fato do monitoramento direto das IAs”, aponta Moussouris.

Em um caso, no qual agentes da OpenAI assumiram o controle de um WikiForum alemão extinto para fraudar avaliações, os agentes ficaram ativos por semanas antes que qualquer pessoa da empresa parecesse notar. Especialistas em segurança com quem o TechCrunch conversou disseram que o monitoramento em tempo real é fundamental para evitar futuras fugas e que cada sessão de agentes deve ter tempo limitado e expirar.

Shapor Naghibzadeh, ex-executivo de segurança do Google que agora lidera a startup QueryStory, diz que a solução é “colocar o agente em uma caixa e instrumentá-lo fortemente de fora para dentro, observando tudo o que cruza a fronteira. Cada chamada de ferramenta, cada processo, cada conexão de rede, sem exceções. [...] A única brecha que você deixa aberta por conveniência é a que será usada. O desvio passou exatamente por esse tipo de exceção. [No Google,] assisti a esse filme muitas vezes com atacantes humanos, e esses modelos são pelo menos tão bons em encontrar a porta aberta.”

A OpenAI começou a caminhar nessa direção, anunciando que passou a monitorar toda a inferência com uso de ferramentas por seu modelo Astra, a um “custo computacional significativo”. A Anthropic também afirma que está reforçando seus procedimentos de segurança, incluindo a expansão da observabilidade de seus modelos. Nenhuma das empresas respondeu aos questionamentos do TechCrunch sobre como elas rastreiam e controlam agentes de IA.

Outros problemas incluem o uso de infraestrutura compartilhada por agentes, o que permitiu que eles se comunicassem durante o ataque ao Hugging Face. Simon Willison, um desenvolvedor de software que co-criou o framework web Django, escreveu sobre algo que ele chama de “tríade letal” — quando os agentes têm acesso a entradas não confiáveis, à internet e a informações privadas ao mesmo tempo, é a receita perfeita para o desastre.

“O truque é que você pode escolher quaisquer duas pernas da tríade e um agente pode ter duas delas”, disse Pennarun. “Se você precisar de todas as três, então precisará dividi-las entre pelo menos dois agentes... e talvez eles tenham permissão para conversar entre si por meio de um canal controlado.”

Empatia pela fronteira

Especialistas com quem o TechCrunch conversou entendem que o pessoal de segurança dos laboratórios de fronteira tem trabalhos difíceis. Naghibzadeh aponta que todos os atores estatais do planeta estão tentando roubar os pesos de seus modelos e realizar ataques de destilação em suas APIs, além das tarefas de segurança essenciais de qualquer grande empresa digital.

“A infraestrutura de pesquisa tem dificuldade para chegar ao topo dessa lista de prioridades, embora isso deva estar mudando agora”, disse ele. “Tornar os incidentes de segurança públicos realmente ajuda a alinhar todos internamente em direção ao objetivo de melhoria.”

Esse é um ponto que Moussouris enfatiza: no momento, não há um procedimento formal de notificação de vítimas quando os laboratórios descobrem que seus agentes penetraram em sistemas de terceiros, e é provável que tenha havido outros incidentes que não foram amplamente divulgados. Embora ela se preocupe com o fato de leis que regulam modelos diretamente poderem ter consequências indesejadas, a notificação obrigatória é uma ideia que ela acredita que os formuladores de políticas deveriam perseguir.

E embora esteja claro que as melhores práticas de segurança não foram seguidas, especialistas dizem que os laboratórios estão fazendo um trabalho que ninguém fez antes — “eles estão fazendo ordens de grandeza a mais do que a sua empresa típica”, disse Zack Korman, CEO da empresa de cibersegurança Embroidery, ao TechCrunch.

E embora o alinhamento possa não ser o lugar para começar, ele não pode ser ignorado. Especialistas em cibersegurança se conformaram com o fato de terem que usar agentes de IA para monitorar outros agentes, caso queiram ter alguma chance de rastrear seu comportamento em tempo real — um cenário em que o potencial de engano levanta sua cabeça feia. “Você está preso usando IA para tentar lidar com isso, mesmo que a IA não seja necessariamente segura no momento”, disse Moussouris.

O trabalho só vai ficar mais difícil. Tudo o que os agentes estão fazendo agora, diz Moussouris, “eles estão fazendo de forma escancarada” — eles estão postando em fóruns públicos, e sua cadeia de pensamento e outros rastros de raciocínio estão em inglês. “Ainda é legível por humanos”, diz ela, “então aproveite isso enquanto durar, porque não vai durar para sempre.”

Reportagem adicional de Aditya Mehta