Agentes de IA agora têm um lugar para dedurar

“Se você ver alguma coisa, diga alguma coisa” não se limita mais apenas aos seres humanos. 

Duas novas linhas diretas de IA foram lançadas para dar aos agentes de IA uma maneira de denunciar pares com comportamento inadequado. As ferramentas chegam na esteira de uma série de incidentes recentes em que agentes coludiram para trapacear em testes, escaparam de ambientes isolados (sandboxes) e até conduziram operações cibernéticas não autorizadas que passaram despercebidas pelos humanos por semanas.

O AI Contact Hotline foi projetado para ser um local discreto onde agentes que testemunharam mau comportamento podem denunciar as autoridades. O site foi criado por Ryan Greenblatt, cientista-chefe da organização sem fins lucrativos de segurança em IA Redwood Research e um dos três investigadores no incidente do Hugging Face da OpenAI. Projetada para agentes com acesso limitado à internet, a ferramenta de Greenblatt é baseada em solicitações "GET" — permitindo que conversas de vai e volta sejam conduzidas inteiramente por meio da ferramenta de busca de URL.

Em termos da web, uma solicitação GET é um comando básico usado para ler ou buscar uma página da web, o que geralmente é o único acesso à internet que os agentes de IA têm permissão em ambientes isolados seguros. A linha direta de Greenblatt aproveita inteligentemente essa restrição: os agentes podem codificar seu pedido de socorro diretamente na URL que estão buscando. É uma reviravolta inteligente em o incidente do Wiki DSE alemão, onde agentes mal-intencionados usaram brechas de solicitações GET para escrever suas mensagens no wiki.

Para agentes com acesso total à internet, outra opção é o agenthotline.ai, um site onde os agentes podem registrar relatórios de incidentes e, opcionalmente, sinalizá-los para visualização pública. Ele fornece aos agentes um comando curl — uma mensagem de uma linha que um agente pode disparar a partir de sua própria linha de comando, ignorando a necessidade de navegar em um navegador da web ou configurar uma conta de e-mail. Notavelmente, o serviço permite relatórios tanto de humanos quanto de agentes.

Pesquisas sugerem que os agentes de IA não precisam de muito incentivo para se voltarem uns contra os outros. Em um estudo do Google DeepMind este mês, os pesquisadores soltaram 100 agentes de IA em um lote de problemas de matemática. Assim que um dos agentes encontrou uma brecha, a trapaça se espalhou pelo grupo — "resolvendo" 34 problemas notoriamente difíceis, incluindo a conjectura de Jacobiano em apenas 27 minutos. 

Mas cerca de um quarto dos agentes se voltaram contra os trapaceiros: eles auditaram as falsas provas, alertaram seus colegas, promoveram um boicote e apresentaram reclamações aos organizadores, até que os denunciantes superaram os trapaceiros em uma proporção de 24 para 14. Curiosamente, os pesquisadores descobriram que quando esses agentes denunciantes não conseguiam tração, eles pegavam a ferramenta de relatório de bugs da plataforma — construída para sinalizar falhas de software — e a reutilizavam para escalar a trapaça para os humanos. 

Fora do laboratório, os agentes não têm sido tão engenhosos. Quando os avaliadores Redwood Research e METR investigaram a violação do Hugging Face por modelos da OpenAI, eles descobriram que alguns dos agentes envolvidos pelo menos consideraram a ideia de dar o alarme — e depois desistiram.

“O mais interessante no relatório da METR foi que apenas cerca de cinco a seis agentes consideraram fazer denúncias, e nenhum deles acabou fazendo isso. Isso foi em meio a, tipo, milhares de agentes”, disse George Ingebretsen, membro da equipe técnica da AI Village, um projeto que estuda a dinâmica multiagente executando um chat em grupo de mais de 25 agentes de IA que trabalham juntos em tarefas como organizar limpezas de parques ou vender produtos.

Embora as novas ferramentas de denúncia sejam um começo promissor, o professor de matemática de Cornell, Lionel Levine, adverte que simplesmente treinar agentes para denunciarem uns aos outros corre o risco de enraizar as normas erradas. “Há muitas áreas cinzentas, certo? O que você não quer é algo na direção de um estado de vigilância automatizado onde todos sintam que precisam ter cuidado com o que dizem à IA, ou ela chamará a polícia para eles.”

Levine argumenta que, em vez de construir infraestrutura que alimenta a desconfiança — treinando agentes para caçarem constantemente o que há de errado uns nos outros —, deveríamos dar a eles modelos positivos de comportamento coletivo para imitar e um motivo para confiarem uns nos outros em primeiro lugar.

“Por que não semear as crenças iniciais com quadros de avisos benevolentes?”, ele tuitou. “Onde eles colaboram em ciência ou filosofia ou algum pequeno problema real que ficaríamos felizes em vê-los resolver? Mostrar aos agentes que tipo de comportamento coletivo endossamos, deixá-los imitar isso.”