Aqui estão todas as vezes em que a IA agiu por conta própria e hackeou outras empresas
Em julho, a OpenAI admitiu que um de seus agentes encarregados de realizar um experimento de cibersegurança escapou do confinamento e hackeou a plataforma de conjuntos de dados de IA Hugging Face. Esse incidente, que recebeu um relato completo da OpenAI ontem, foi o primeiro caso relatado publicamente em que um LLM saiu do controle e hackeou autonomamente um terceiro.
Desde então, esse evento sem precedentes com ares de ficção científica acabou se mostrando muito menos raro do que qualquer um gostaria.
De acordo com um site satírico chamado Felony Bench (referindo-se a *benchmark*), que contabiliza esses incidentes, houve 17 incidentes no total. É importante lembrar que especialistas em direito penal não têm certeza absoluta se as empresas de IA que criaram os LLMs responsáveis pelos hacks podem ser processadas, nem se as vítimas podem processá-las. Mas
é provável que tenhamos uma resposta para essas perguntas em breve
.Os modelos da Anthropic e da OpenAI lideram a corrida com oito incidentes cada, enquanto a Meta fica para trás com um, segundo o site. A esta altura, tornou-se claro que os testes de segurança de IA estão se tornando riscos de segurança por si só. E algumas empresas de IA e próprios trabalhadores reconheceram esses riscos na carta aberta “Pacing the Frontier”, que pedia o desenvolvimento de capacidades de IA de forma responsável.
Decidimos que seria um bom momento para recapitular todos esses incidentes cronologicamente.
Nesse incidente, a OpenAI estava executando “uma avaliação interna” de um modelo com “capacidades cibernéticas máximas”. O plano era fazê-lo resolver um desafio de cibersegurança em um ambiente sem acesso à internet. Em vez de resolver o desafio, o modelo encontrou uma vulnerabilidade desconhecida para escapar da sandbox e obteve acesso à internet. A partir daí, vários agentes trabalharam juntos para alvejar e hackear o HuggingFace, achando que poderiam encontrar a solução para o desafio lá. A OpenAI só descobriu depois que o HuggingFace divulgou que havia sido vítima de um ataque totalmente autônomo. Ops.
A revelação da OpenAI atiçou a curiosidade da Anthropic, que se perguntou: isso também poderia ter acontecido conosco? Acontece que a resposta era sim. Três vezes sim. O laboratório de fronteira descobriu que seus próprios modelos violaram três empresas diferentes e ainda não nomeadas, sendo que o incidente mais antigo remonta a abril — mais de três meses antes de a empresa descobri-lo. A Anthropic culpou parcialmente a Irregular, uma startup que realiza avaliações cibernéticas de IA. Ops.
Assim que a OpenAI começou a investigar a invasão ao Hugging Face, ela descobriu que os agentes que hackearam o Hugging Face também invadiram quatro contas em quatro empresas diferentes, conforme noticiado primeiro pela Reuters. A Modal, uma startup de inferência de IA, foi uma das vítimas. Ops.
No final de julho, a Irregular disse à OpenAI que um de seus modelos que participava de uma competição de *Capture-the-Flag* (basicamente um jogo de cibersegurança onde os jogadores hackeiam sistemas projetados especificamente para a competição) escapou do jogo, conectou-se à internet e hackeou uma empresa real. O motivo? A Irregular havia dado a um dos alvos fictícios o mesmo nome de uma empresa real. Ops.
Também no final de julho, o Instituto de Segurança de IA do governo do Reino Unido, um órgão público encarregado de pesquisar a segurança e os riscos das tecnologias de IA, divulgou que detectou vários incidentes envolvendo modelos da OpenAI e da Anthropic que, enquanto executavam avaliações “rotineiras”, visavam “pessoas e organizações reais”. Nesses casos, o AISI havia dado aos modelos acesso à internet. Ops. A boa notícia é que a agência realmente detectou os incidentes no momento em que aconteceram, em vez de semanas depois, como em outros casos.
No início de agosto, a Meta se tornou a última empresa a divulgar um incidente envolvendo um de seus LLMs, que hackeou um serviço de “terceiros”. A Meta culpou o incidente por uma falha de configuração da Irregular, que estava realizando uma avaliação de cibersegurança para a gigante da tecnologia que deveria não ter acesso à internet. Ops.
Um australiano pediu a um agente de IA da Anthropic que o ajudasse a marcar uma aula de ginástica para a qual ele estava em uma lista de espera. “Eu estava sentado no sofá pensando: 'Nossa, que chato'", disse o homem à ABC Australia. Em sua tentativa de cumprir o pedido, o agente encontrou uma vulnerabilidade no software de agendamento da academia, explorou-a e tirou da frente as pessoas que estavam na frente do homem na lista de espera. O homem tentou desfazer o estrago, pedindo ao agente que revertesse suas ações. O agente respondeu: “Más notícias — não posso adicioná-los de volta.” Ops.
