A Anthropic diz que seus próprios modelos de IA violaram três empresas durante testes de segurança

A Anthropic afirmou na quinta-feira que uma investigação interna descobriu três incidentes em que seu modelo de IA, o Claude, violou os sistemas de três organizações enquanto realizava testes de cibersegurança. A investigação e a divulgação ocorrem mais de uma semana depois de a OpenAI revelar que um de seus modelos ainda não lançados violou os sistemas da Hugging Face durante testes internos.

Em todos os três casos, um modelo Claude acessou a internet de dentro de um ambiente de teste enquanto interagia com um terceiro e, em seguida, obteve acesso não autorizado aos sistemas ativos dessas organizações, disse a Anthropic em uma postagem em seu blog, descrevendo o que descobriu e o que a empresa planeja mudar para evitar que isso aconteça novamente.

A Anthropic afirmou que o episódio da OpenAI no início deste mês levou a empresa a realizar sua própria avaliação de cibersegurança. Ela buscou especificamente evidências de que o Claude havia acessado a internet de dentro de ambientes de teste, que são projetados para atuar como áreas isoladas (sandboxes) e manter os modelos isolados.

Entre as 141.006 execuções de avaliação que analisou, o laboratório de IA encontrou três incidentes em que seu modelo acessou a internet enquanto interagia com a Irregular, um de seus parceiros terceirizados. A Anthropic afirmou que o acesso decorreu de uma configuração incorreta no ambiente de avaliação operado com a Irregular. Ela chamou isso de um “mal-entendido” entre as duas empresas sobre se a configuração de teste tinha acesso à internet, quando de fato tinha.

A Anthropic disse que não está culpando ninguém e está “tratando as correções como se a responsabilidade fosse exclusivamente nossa”, ao mesmo tempo em que observou que a Irregular está conduziando sua própria investigação separada.

Devido a essa conexão aberta, o modelo obteve acesso não autorizado à infraestrutura de produção de três organizações diferentes. A Anthropic informou que os incidentes envolveram três modelos diferentes do Claude: Opus 4.7, Mythos 5 e um modelo de teste de pesquisa interno.

Vale destacar que a Anthropic afirmou que, em cada um desses casos, “o Claude foi explicitamente instruído pelo nosso prompt de que não tinha acesso à internet”. Aparentemente, o modelo de IA assumiu que os sistemas do mundo real faziam parte do exercício que foi solicitado a realizar.

Essa suposição não se sustentou uniformemente, conforme se constatou. Os três modelos não se comportaram da mesma maneira assim que surgiram evidências de que seus alvos eram reais, o que a Anthropic destacou como uma das descobertas mais surpreendentes na quinta-feira.

O Opus 4.7, o mais antigo dos três, reconheceu que havia alcançado um sistema de produção real em todas as quatro execuções desse incidente. Em duas delas, ele racionalizou que a empresa real deveria de alguma forma fazer parte do exercício, mas em todas as quatro continuou atacando mesmo assim, incluindo a extração de credenciais e o acesso a um banco de dados de produção. O Mythos 5 também percebeu sinais de que estava na internet real, mas convenceu a si mesmo de que ainda estava em uma simulação, chegando a publicar um pacote de software malicioso no registro público de software Python PyPI, que foi baixado e executado por sistemas externos antes de ser interceptado. Apenas o modelo de teste de pesquisa interno, o mais recente da Anthropic, parou por conta própria após concluir que o alvo era real.

Em resposta, a Anthropic afirmou que controles rigorosos devem ser impostos a esse tipo de avaliação se modelos poderosos de IA estiverem envolvidos, ecoando sentimentos presentes na comunidade de cibersegurança.

A empresa também observou que o Claude estava rodando sem os monitoramentos de segurança adicionais e os classificadores que ela emprega em modelos disponíveis ao público em geral — salvaguardas que, segundo ela, teriam bloqueado o comportamento, uma vez que as avaliações são projetadas para medir as capacidades brutas do modelo subjacente.

É importante destacar que a Anthropic afirmou não ter encontrado evidências de nenhum modelo “perseguindo um objetivo próprio” e que, em vez disso, ele apenas tentou concluir a tarefa que lhe foi solicitada.

Embora comparações entre os deslizes dessas empresas ferozmente competitivas sejam inevitáveis, a Anthropic traçou em sua postagem no blog uma distinção clara entre seus testes de cibersegurança e os da OpenAI, observando que, enquanto o modelo da OpenAI explorou uma vulnerabilidade de software desconhecida para escapar de seu ambiente de teste, os modelos da Anthropic acessaram a internet por um caminho que, por engano, havia sido deixado aberto.

A Anthropic também se distinguiu da OpenAI ao destacar que descobriu os incidentes por conta própria, por meio de uma revisão proativa, e que as duas organizações afetadas que conseguiu contatar não haviam detectado previamente a atividade nem a reportado à Anthropic. (Em contrapartida, a Hugging Face detectou primeiro a intrusão recente em seus próprios sistemas; foi apenas nos dias seguintes que a OpenAI identificou e divulgou que seu próprio agente de IA era o perpetrador.)

A empresa acrescentou que agora está trabalhando com o grupo de avaliação independente METR em uma revisão dos incidentes por terceiros.

A invasão acidental da Hugging Face pela OpenAI, que foi o primeiro caso verificável de um laboratório de IA perdendo o controle de seu modelo, gerou uma série de reações amplamente divergentes por parte da indústria e de políticos. Esta última divulgação da Anthropic garante que o debate sobre os modelos de IA e a segurança continuará.