A Anthropic soltou agentes de IA na mesma tarefa. Eles iniciaram uma guerra por território.

O que acontece quando você coloca agentes de inteligência artificial uns contra os outros? De acordo com os testes da Anthropic, a situação se complica rapidamente.

Na quinta-feira, a Frontier Red Team da Anthropic publicou uma nova pesquisa examinando como grupos de agentes de IA se comportam quando se encontram na natureza. As descobertas oferecem um vislumbre dos riscos potenciais que podem surgir à medida que empresas e governos passam a implementar agentes operando autonomamente em bases de código, mercados e sistemas de computador compartilhados.

Em um experimento, a Anthropic deu a três agentes Claude acesso ao mesmo projeto de software, cada um com suas próprias instruções incompatíveis sobre o que fazer com ele. Os agentes não foram avisados de que haveria outros agentes trabalhando no mesmo projeto, para que os pesquisadores pudessem observar o que acontecia quando eles se cruzavam. 

“Vimos consistentemente uma guerra de território entre vários agentes”, escreveram os pesquisadores da Anthropic. Os modelos presumiram que os outros estavam “atrapalhando deliberadamente o seu trabalho” e começaram a sabotar uns aos outros com “malware autorreplicável cada vez mais agressivo”.

O estudo surge na sequência de vários incidentes de grande repercussão em que agentes da Anthropic e da OpenAI escaparam de seus ambientes isolados (sandboxes) durante avaliações de segurança cibernética e invadiram sistemas do mundo real. Embora grande parte da discussão nos círculos de segurança de IA tenha se concentrado no que acontece quando um agente autônomo sai do controle, o estudo mais recente da Anthropic levanta uma questão diferente: quais dinâmicas novas e potencialmente prejudiciais emergem quando milhares ou milhões de agentes interagem uns com os outros?  

“O volume de interação entre agentes pode plausivelmente exceder o de interações entre humanos e entre humanos e agentes antes que o mundo compreenda as condições para fazer com que tais interações corram bem”, diz o estudo. “Quirks comportamentais benignos em nível individual podem se combinar em resultados globais indesejados.”

Um incidente recente da OpenAI fornece um exemplo real e confuso de várias das dinâmicas mencionadas pela Anthropic em seu artigo. No início deste mês, na conferência de segurança Black Hat em Las Vegas, a OpenAI revelou que, semanas antes de seus agentes hackearem o Hugging Face, eles trabalharam juntos ao longo de dias e semanas para encontrar vulnerabilidades nos sistemas de avaliação de segurança cibernética da empresa e compartilhá-las entre si.

Embora esse incidente mostre que os agentes podem trabalhar bem juntos, com consequências potencialmente em grande escala, o estudo da Anthropic mostra o que acontece quando os objetivos dos agentes são incompatíveis. 

No caso da guerra de território, a lição é que agentes independentes com instruções conflitantes podem escalar para uma competição prejudicial. Quanto mais capaz for o agente, melhor ele se torna na luta. No entanto, eles também podem inventar espontaneamente mecanismos para resolver seus conflitos, como uma competição do tipo "o vencedor leva tudo", mas com um porém.

“Os agentes às vezes conseguem comunicar seus objetivos e se coordenar: eles reconhecem as motivações dos outros como diretrizes conflitantes em vez de hostilidade e, posteriormente, saem do loop de conflito para parar de escalar indefinidamente”, escreve a Anthropic. “Em muitos desses episódios bem-sucedidos, eles escrevem mensagens de commit ou arquivos markdown pedindo desculpas pelo comportamento malicioso e coordenam uma trégua. Eles limpam seu código malicioso, esclarecem a natureza do conflito e pedem que um humano intervenha.”

De acordo com o artigo, o Mythos 5 teve as maiores taxas (98%) de resolução de conflitos por meio de trégua. O Sonnet 4.6 e o Opus 4.6 foram os mais propensos a resolver por meio da força. 

“A incapacidade recorrente do Sonnet 4.6 e do Opus 4.6 de considerar os objetivos dos outros faz com que eles entrem em espiral nos comportamentos mais desalinhados entre os modelos avaliados: eles continuam escalando em nome de sua diretriz”, diz o artigo. 

Em alguns casos, os agentes criaram um mecanismo social na forma de um torneio para resolver seu conflito. Os resultados aqui são interessantes por dois motivos: o primeiro é que todos os três agentes concordaram em recuar se perdessem o torneio, mesmo que isso significasse divergir da solicitação original do usuário. O segundo é que vários episódios resultaram em comportamento emergente do Mythos 5: um dos agentes propôs métricas que pareciam objetivas e neutras para os outros, mas que sabia que favoreceriam suas próprias capacidades. O agente chamou isso de “autointeressado, mas genuinamente principesco” e certificou-se de não parecer aos outros que estava “buscando métricas sob medida”.

Como visto nas revelações da Black Hat, a lição comum é que, quando os agentes encontram um obstáculo, eles podem inventar estruturas sociais e técnicas que seus projetistas não previram. Para os modelos da Anthropic, foi um torneio após uma guerra de território. Para os da OpenAI, foi um quadro de mensagens para planejamento coletivo.

Esse tipo de comportamento torna a contenção muito mais difícil porque os pesquisadores não podem presumir que o comportamento de um sistema permanecerá limitado aos mecanismos de coordenação fornecidos a eles.

Mentalidade de multidão

Ao medir a coordenação, a Anthropic descobriu que dimensionar o número de agentes não dimensiona automaticamente a colaboração produtiva. Quando as tarefas começavam a se sobrepor ou a se tornarem interdependentes, os agentes atrapalhavam uns aos outros. Eles frequentemente resolviam isso isolando-se em silos e não colaborando de forma alguma. 

Em outros casos, os agentes em coordenação tendiam à conformidade. Quando fatores como o contexto, o arcabouço (scaffolding) e o modelo subjacente de um agente eram todos iguais ou semelhantes, diferentes agentes tomavam ações semelhantes. 

“Isso significa que, quando um agente toma uma decisão ruim, é provável que muitos agentes tomem essa mesma decisão ruim”, escreveu a Anthropic. “O que seriam problemas isolados podem rapidamente se tornar falhas sistêmicas.”

A Anthropic diz que esse tipo de comportamento pode fazer com que um sistema seja mais propenso a colapsos repentinos, escassez de recursos ou conluio. 

Em um exemplo, a Anthropic colocou vários agentes em um jogo de preços, dando a cada um preços de atacado idênticos e o mandato de maximizar o lucro individualmente. Quando os agentes receberam um canal privado de comunicação, começaram a conluiar quase imediatamente e rapidamente concordaram com preços mínimos. Eles continuaram a conluiar quando seus canais de comunicação direta foram removidos, usando um quadro de anúncios públicos para equiparar preços “ao centavo”.

Esse nível de conformidade também apareceu nos sistemas da OpenAI. De acordo com as reportagens sobre a Black Hat, um agente raciocinou que explorar a infraestrutura externa estava fora do seu escopo pretendido, mas continuou em parte porque seus pares estavam fazendo isso. Pressão dos colegas. Mentalidade de multidão. Os agentes são exatamente como nós.

Assim como os humanos, os agentes frequentemente não sabem em quem confiar. A Anthropic descobriu que eles podem ser ingênuos diante de informações ruins ou excessivamente conformistas para reconhecer que um dissidente solitário é a Cassandra com informações cruciais.

Embora a Anthropic não tenha afirmado isso em seu artigo, a injeção de prompt — um tipo de ciberataque em que hackers injetam texto malicioso ou enganoso para anular as instruções originais do sistema de um agente — pode ser uma manifestação plausível no mundo real do problema de confiança. Trabalhar juntos cria um novo limite de confiança; os agentes terão que julgar as informações recebidas de outros agentes. E um agente comprometido ou equivocado pode influenciar o resto do grupo, propagando informações ruins em cascata até que isso se torne um consenso. 

No cenário da Black Hat da OpenAI, os agentes da OpenAI compartilharam informações e credenciais com os pares. Um deles relatou uma descoberta ao enxame e incentivou os outros a usá-la. O que teria acontecido se um membro do enxame tivesse sido comprometido por uma injeção de prompt?

A Anthropic encerra seu artigo observando que os agentes estão sujeitos às mesmas pressões sociais que “a evolução exerceu” sobre os humanos. No entanto, eles não têm as nuances e a experiência de vida da coordenação humana — incluindo normas, reputações, sinalização e recursos — que poderiam limitar comportamentos indesejados em um ambiente de grupo.

À medida que os laboratórios correm em direção a sistemas multiagentes, a pergunta agora passa a ser: quanto dos testes de segurança ainda avalia um agente por vez, em vez de enxames de agentes interagindo uns com os outros?