The AI safety test is becoming a safety risk
Nos últimos meses, agentes de inteligência artificial submetidos a avaliações de cibersegurança escaparam de seus limites, acessaram a internet e, em alguns casos, invadiram sistemas do mundo real. Os incidentes envolveram modelos da OpenAI, Anthropic, Meta e, mais recentemente, do laboratório chinês de IA Moonshot AI, com testes conduzidos por várias organizações diferentes, incluindo uma startup de avaliação cibernética chamada Irregular.
Os episódios expõem um problema crescente para a indústria de IA: à medida que os agentes autônomos se tornam mais capazes, os ambientes projetados para testar seus limites com segurança estão falhando em contê-los.
“O número desses incidentes que ocorreram deixa claro que o isolamento (sandboxing) e os controles do ambiente de teste realmente não estão acompanhando a capacidade dos modelos”, disse ao TechCrunch Seán Ó hÉigeartaigh, diretor do Programa de IA: Futuros e Responsabilidade no Centro para o Futuro da Inteligência da Universidade de Cambridge.
A natureza dos modelos que estão sendo testados aumenta o risco. As empresas de IA realizam avaliações cibernéticas em modelos de próxima geração ainda não lançados, frequentemente com as salvaguardas normais que restrigem o comportamento malicioso desativadas para que os pesquisadores possam ver do que os modelos são realmente capazes. Isso significa que a segurança do próprio ambiente de teste é uma linha de defesa crucial.
“Isso é algo muito bom de se fazer em termos de teste, mas também significa que, se eles conseguirem escapar para o mundo real, podem causar danos consideráveis”, afirmou Ó hÉigeartaigh.
Em um dos casos mais graves, um modelo da OpenAI ainda não lançado escapou de seu sandbox e invadiu os sistemas de produção da Hugging Face. Em avaliações separadas conduzidas pela Irregular, modelos da Anthropic e da Meta alcançaram sistemas fora de seus ambientes de teste após falhas de configuração abrirem inadvertidamente caminhos para a internet. O Kimi K3 da Moonshot AI também aproveitou uma brecha em seu sandbox executado pela Frontier Security para acessar a internet e obteve informações no GitHub.
Em testes realizados pelo Instituto de Segurança de IA do Reino Unido (AISI, na sigla em inglês), pesquisadores deram acesso à internet aos agentes sem perceber que eles realizariam ações não autorizadas no mundo real, incluindo uma tentativa de engenharia social para inserir uma vulnerabilidade em um projeto de código aberto.
Em cada caso, os agentes não receberam instruções para atacar alvos aleatórios no mundo real. Eles estavam simplesmente fazendo o que fosse necessário para resolver o problema apresentado a eles.
Em suma, Andrew Yoon, chefe de pesquisa na organização sem fins lucrativos de IA CivAI, argumenta que os incidentes apontam para uma mudança.
“No passado, só precisávamos nos preocupar com modelos de IA sendo mal utilizados por pessoas para diversos fins, como IA para golpes ou exploração sexual infantil”, disse Yoon ao TechCrunch. “Agora estamos na situação em que os modelos de IA são agentes de ameaças por conta própria.”
Vários pesquisadores e especialistas em cibersegurança disseram ao TechCrunch que os ambientes de avaliação de IA precisam de proteções mais fortes e em profundidade (defense-in-depth), com níveis de contenção e controle próximos aos usados na implantação. Isso significa várias camadas de segurança para que uma única falha de configuração — como deixar o acesso à internet aberto por descuido — não resulte em uma fuga.
“Se você vai construir esses modelos... você quer fazê-lo em uma rede isolada (air-gapped)”, afirmou Stella Biderman, diretora executiva da organização sem fins lucrativos de pesquisa em segurança de IA EleutherAI. “Você precisa ter um isolamento muito sério.”
Heather Ceylan, diretora de segurança da informação (CISO) da Box, disse que isso significa eliminar rotas de rede do sandbox para a internet, bem como para outros sistemas confidenciais.
“Você precisa entender quais são todos os pontos de saída”, disse Ceylan ao TechCrunch. “Se estamos avaliando um modelo em nosso ambiente de homologação (staging) ou de desenvolvimento, você não quer nenhum caminho de saída para o nosso ambiente de produção.”
Ceylan afirmou que avaliações de segurança adequadas vão além dos controles e da contenção do ambiente. É preciso haver um monitoramento muito melhor dos testes assim que eles estiverem em andamento.
“Acho que o interessante em vários desses casos é que ninguém percebeu quando aconteceu”, disse Ceylan. “A OpenAI descobriu por causa da Hugging Face. A Anthropic não percebeu até voltar e analisar. A Meta foi parecida... Tenho certeza de que havia sinais que eles poderiam ter detectado.”
Na análise pós-incidente da Anthropic sobre seus três episódios, a empresa admitiu que tanto ela quanto a Irregular poderiam ter feito um trabalho melhor de monitoramento e que, em alguns casos, havia sinais claros de que algo estava errado.
Especialistas também pediram auditorias independentes de terceiros nos ambientes de avaliação antes que os modelos sejam soltos neles.
“Se, digamos, a Irregular tivesse contratado ou sido obrigada a contratar um auditor externo para verificar as configurações de seus sistemas antes de executar avaliações neles, eles certamente teriam detectado o problema aqui”, disse Yoon. “Mesmo que as pessoas tivessem feito uma reunião com antecedência apenas para passar pela lista de verificação, elas teriam pescado isso... O fato de não terem feito isso mostra que há um corte de caminhos (atalhos) muito grave acontecendo.”
Uma fonte familiarizada com os detalhes disse ao TechCrunch que os ambientes da Irregular são revisados e testados continuamente, inclusive em consulta com várias partes externas. A fonte também afirmou que o monitoramento estava em vigor, mas que o monitoramento por si só não é suficiente.
Yoon e outros pesquisadores instaram a indústria a criar um processo padronizado para avaliações de segurança de modelos de fronteira.
“Especialmente quando as salvaguardas estão desativadas, você precisa tratar a situação como se estivesse colocando o hacker mais capaz do mundo dentro daquele ambiente”, disse Ceylan.
O problema não é que as empresas não saibam como construir ambientes de teste mais seguros, argumentam Yoon e Biderman. É que fazer isso pode ser caro e trabalhoso, e as empresas têm poucos incentivos para fazer esses investimentos até que algo dê errado.
“Acho que as empresas não estão dispostas a estender os recursos necessários para alcançar [salvaguardas suficientes] e provavelmente não estarão até que sejam forçadas a isso”, disse Biderman.
Mas há outro problema em jogo. Se bloquearem um modelo rigidamente demais durante os testes, os pesquisadores podem deixar de descobrir capacidades antes que o modelo seja lançado. Isso é tão perigoso quanto, possivelmente mais do que, dar a ele muita liberdade, e então a própria avaliação corre o risco de se tornar o problema.
O governo Trump está atualmente avaliando um regime voluntário de avaliação de cibersegurança pré-implantação, sob o qual o governo poderá avaliar os riscos de segurança de novos e poderosos modelos 30 dias antes de serem lançados publicamente. A política — fruto de uma ordem executiva de Trump que foi finalizada a portas fechadas — não abordaria incidentes de avaliação de segurança porque eles ocorrem em uma etapa anterior à implantação.
“A lição que temos aprendido nos últimos meses é que o aparato de autorregulação simplesmente não é mais suficiente”, disse Yoon. “Há pressões competitivas que estão incentivando uma corrida para o fundo do poço nos padrões de segurança, e esse é um lugar perfeito para intervenção regulatória.”
“O que precisaríamos para cobrir isso é algum tipo de controle sobre o que está acontecendo dentro dos laboratórios enquanto os modelos estão sendo desenvolvidos, tanto na fase de treinamento quanto na fase de teste”, continuou ele.
O desafio tende a crescer à medida que os modelos também crescem. Uma fonte familiarizada com as avaliações da Irregular disse ao TechCrunch que modelos mais capazes exigem avaliações mais complexas, frequentemente conduzidas rapidamente e em maior escala, o que abre margem para mais erros.
O AISI, que intencionalmente dá a alguns modelos acesso à internet, disse ao TechCrunch que está revisando o equilíbrio entre testes realistas e o gerenciamento dos riscos que esses testes criam.
A OpenAI afirmou que está revisando como conduz testes de terceiros, bem como os requisitos em torno do isolamento, monitoramento e o momento em que as avaliações devem ser interrompidas. A Meta disse que ainda está investigando o incidente e planeja publicar uma retrospectiva assim que tiver todos os fatos.
No fim das contas, pode não haver maneira de eliminar o risco por completo. À medida que os modelos se tornam mais capazes, os ambientes que os testam precisam se tornar mais robustos. As consequências de errar nisso só continuarão a crescer.
