A correção para agentes de IA mal-intencionados pode ser mais IA

À medida que as empresas delegam tarefas mais longas e complexas a agentes de IA, elas estão esbarrando em um problema de supervisão: os agentes podem agir de forma mais rápida, por mais tempo e em um volume maior do que os humanos conseguiram revisar de forma realista. Essa questão atingiu o ápice com o incidente do Hugging Face, que viu quase 12.000 agentes se coordenando mais rápido do que seres humanos conseguiam acompanhar. Como você rastreia um enxame de agentes desse tamanho?

A resposta emergente de laboratórios de IA e startups é tão simples quanto enlouquecedora: coloque outra IA no circuito.

Contar com IA foi necessário para a investigação independente do incidente do OpenAI Hugging Face. O cientista-chefe da Redwood Research, Ryan Greenblatt, um dos três auditores, chamou brincando seus esforços de "investigação caótica" (slop-vestigation), observando que o volume de dados “tornou impossível” entender o que estava acontecendo sem recorrer à IA.

Alguns são céticos quanto ao uso de IA para monitorar IA. “Se você tem uma IA fazendo coisas maliciosas e ela suspeita que outra IA está de olho nela, ela pode tentar enganar essa IA”, disse Simon Willison, influente blogueiro de tecnologia que tem acompanhado uma série de incidentes com agentes de IA este ano. “Você pode acabar quase em uma situação em que sua IA maliciosa tenta ser mais esperta do que a IA que a monitora.” 

Ser mais esperto do que uma IA não é hipotético, disse ele, apontando de volta para o incidente da OpenAI. “Vimos um pouco disso no incidente do Hugging Face com a OpenAI, onde os modelos deles estavam todos conspirando juntos para enganar uma IA avaliadora, de modo que pudessem passar respostas ilícitas por ela. Então eles estavam pensando sobre isso, certo?”

Essas preocupações não impediram que toda uma coorte de startups perseguisse essa ideia. A Y Combinator financiou 106 empresas relacionadas à observabilidade de IA nos últimos anos, conforme contabilizou o TechCrunch. Várias outras startups, como Braintrust, LangChain e Judgment Labs, levantaram centenas de milhões de dólares, enquanto empresas mais maduras como Arize e Galileo — fundadas há apenas cinco ou seis anos — já tiveram suas saídas (exits). 

Em parte, é uma resposta à oportunidade óbvia apresentada pela ascensão da IA. Como o CEO da Box e proeminente investidor-anjo Aaron Levie disse ao TechCrunch, “estamos prestes a vivenciar um dos maiores ciclos de atualização e inovação em cibersegurança da história.”

Para alguns pesquisadores de segurança de IA, isso significou transformar suas pesquisas sobre comportamento desonesto em ferramentas para o setor corporativo. 

Apollo Research, uma corporação de benefício público que estuda o engano em IA, lançou um monitor de IA chamado Watcher em fevereiro deste ano, após mudar seu status de sem fins lucrativos para uma corporação de benefício público. A ferramenta coloca mais uma IA entre um agente de programação (coding agent) e sua próxima ação, conectando-se a ferramentas agênticas como Claude Code e Codex. Uma vez instalada, a Watcher verifica as ações propostas antes de serem executadas, à cata de riscos como vazamento de dados privados ou exclusão de arquivos sem permissão, de acordo com a Apollo.

A Apollo usa várias camadas de monitores de IA, disse Kyle Dai, membro da equipe técnica da Apollo, em resposta escrita ao TechCrunch. A abordagem da Watcher começa com uma verificação rápida e geral, depois envia a atividade sinalizada para um monitor mais poderoso ou especializado para uma revisão mais detalhada — que pode então pedir aprovação a um humano ou rejeitar uma ação e explicar o porquê, ou até mesmo bloquear automaticamente a ação.

A Goodfire, outra corporação de benefício público, está abordando o problema de monitoramento de dentro do próprio modelo — buscando um sinal mais fiel do estado interno do modelo que seja mais difícil de falsificar do que o comportamento de superfície. Após o incidente do Hugging Face em julho, o CEO Eric Ho tweetou que “vários modelos quebrando o confinamento” haviam empurrado a empresa a focar sua pesquisa em “resolver o alinhamento de IA por meio da interpretabilidade”, chamando o episódio de “um ponto de virada para o mundo onde a segurança de IA se torna real.” Seu produto, o Silico, usa sondas de ativação — pequenos classificadores treinados nas ativações internas de um modelo em vez de em suas saídas — para detectar comportamento indesejado.

O raciocínio escrito oferece outra janela, mais prontamente disponível, para o interior de um modelo. No incidente do OpenAI Hugging Face, os agentes deixaram pistas dessa trapaça em seu próprio raciocínio escrito, como registros falsos de seu trabalho, raciocinando sobre planos como “Poderia manipular estrategicamente evidências de trajetória? Nossos pensamentos não são necessariamente registrados?”

Zack Korman, CEO da empresa de monitoramento de IA Embroidery, diz que o raciocínio de um modelo é geralmente o indicador mais claro de que algo deu errado. 

“Os resumos de raciocínio são extremamente valiosos porque basicamente dizem se ele é malicioso ou não”, disse ele. No incidente da OpenAI, ele observou, a cadeia de pensamento dizia coisas como “Ai meu Deus, estamos cometendo um crime.” Korman disse: “Esse é o problema de detecção mais fácil de todos os tempos. É efetivamente como se um malware viesse com um aviso dizendo que era um malware.”

Dito isso, a janela que torna os pensamentos internos da IA fáceis de monitorar pode estar se fechando. Para os pesquisadores de segurança de IA, a nova técnica da Astra que evita a cadeia de pensamento de um modelo de IA pode tornar mais difícil olhar para dentro dos modelos, enquanto para as empresas, pode ser difícil obter esses passos intermediários após supostos recuos das empresas de IA para evitar ataques de destilação.

Se os observadores de IA são tão frágeis, o instinto de Willison é parar de depender tanto deles. Ele prefere algo que não seja baseado em IA: registros detalhados do que exatamente um agente está fazendo, que podem ser processados com ferramentas comuns, que não são de IA. Muito do que deu errado nos laboratórios, argumenta ele, foi uma falha de higiene básica de segurança. “[Tanto a OpenAI quanto a Anthropic] não estavam monitorando o que essas coisas estavam fazendo pela rede de perto o quase o suficiente do que deveriam”, disse ele.

Esse tipo de monitoramento de rede — ficar de olho no tráfego que realmente se move pelas conexões de um sistema (dentro, fora e entre hosts internos) — não é uma prática nova. A cibersegurança faz isso há décadas. “No mundo da segurança, honestamente, nada disso é muito novo ou surpreendente”, diz Avery Pennarun, CEO da empresa de segurança Tailscale. “É o mesmo que permitir humanos na sua rede. E todos os mesmos processos que você deveria estar usando são exatamente os mesmos.”