A Microsoft diz que agentes de IA são como ameaças internas, pois não se pode confiar em modelos de fronteira

A Microsoft apresentou novos recursos de segurança na segunda-feira projetados para proteger empresas contra a crescente ameaça de agentes de IA. O lançamento ocorre no momento em que a Microsoft continua a alertar as empresas sobre os perigos da IA e dos agentes.

Talvez a adição mais notável seja a dos Agentes Guardiões, um novo recurso destinado a monitorar os agentes de IA que uma empresa utiliza. Os Agentes Guardiões fazem parte do Projeto Percepção, um produto lançado em junho.

O Projeto Percepção foi a resposta da Microsoft a modelos de hackers poderosos, como o Mythos e o Fable da Anthropic e o sistema de varredura de vulnerabilidades de segurança Daybreak da OpenAI. O Projeto Percepção lançou originalmente três classes de agentes: uma "equipe vermelha" (red team) que agia como hackers e atacava, uma "equipe azul" (blue team) que detectava a equipe vermelha e avaliava as vulnerabilidades encontradas, e uma "equipe verde" (green team) encarregada de corrigi-las.

O produto foi projetado sob a premissa de que os hackers de IA viriam de fora da empresa. Mas, ultimamente, o CEO da Microsoft, Satya Nadella, tem alertado que o inimigo da IA podem ser os próprios agentes que as empresas implantaram e pelos quais estão pagando, muito parecido com um funcionário humano desonesto, também conhecido como "ameaça interna" (insider threat).

No início deste mês, em seu blog privado, Nadella alertou que é hora de parar de confiar nos provedores de modelos de IA, mesmo que eles ofereçam garantias de segurança com seus produtos baseados em agentes. Ele quer que as empresas implementem sistemas separados, não controlados pelos laboratórios de IA, para observar e controlar os agentes lançados pelos produtos desses laboratórios de IA.

“Estamos implantando esses sistemas e modelos complexos baseados em agentes, com acesso aos nossos dados mais sensíveis e dando a eles a capacidade de tomar decisões cruciais para a missão em nosso nome!” ele escreveu. “Simplesmente não podemos terceirizar a responsabilidade pelo que a inteligência faz em nosso nome. As garantias de um provedor de modelos não nos eximem dessa responsabilidade. … Em outras palavras, precisamos separar o suprimento de inteligência da autoridade sobre ele.”

Ao anunciar os Agentes Guardiões, a chefe de negócios de segurança da Microsoft, Hayete Gallot, foi ainda mais direta.

“Infelizmente, os modelos de fronteira, independentemente de sua origem, não são confiáveis”, escreveu ela, acrescentando que isso não ocorre porque eles são maliciosos ou facilmente hackeados, mas porque são imprevisíveis. Eles foram treinados para realizar tarefas, e não para seguir “normas ou julgamentos organizacionais.”

Além disso, muitas vezes é dada a eles a chave do reino, com acesso a dados e ferramentas que podem causar danos graves.

A solução da Microsoft é tanto surpreendente quanto interesseira. O lado surpreendente é que a Microsoft é famously próxima da OpenAI e da Anthropic, tendo investido em ambas. A OpenAI também é um de seus maiores clientes de nuvem, e a Microsoft tem seu próprio laboratório de IA desenvolvendo modelos. Portanto, a Microsoft está semeando a desconfiança contra alguns de seus próprios interesses comerciais.

O lado interesseiro é que a Microsoft quer que as empresas comprem produtos de segurança para agentes dela, a provedora de nuvem, em vez de comprá-los da Anthropic e da OpenAI. Mas, deixando os conflitos de interesse de lado, sua lógica é sólida. O software que monitora o comportamento dos agentes deve ser separado dos fornecedores de agentes, assim como os auditores devem ser independentes das organizações que auditam.

Ou, como diz Nadella: “Precisamos separar o suprimento de inteligência da autoridade sobre ele.”

A Microsoft agora está aproveitando essa oportunidade de negócios de várias maneiras. Além dos Agentes Guardiões, ela adicionou um recurso de detecção de agentes ao seu produto Microsoft Defender, capaz de encontrar até 60 tipos de agentes que os funcionários trazem para o ambiente de trabalho, incluindo Claude Code, Codex e OpenClaw. Ela também adicionou recursos que limitam o acesso dos agentes a dados e sistemas, e ajustam dinamicamente as permissões de seus agentes com base na tarefa. Isso inclui exigir a aprovação humana se um agente parecer estar tomando decisões arriscadas.

Essa ideia de agentes como invasores internos não confiáveis também está ganhando força em toda a indústria.

A Microsoft foi membro fundador da nova Plataforma Aberta de Segurança de Agentes da Nvidia, que conquistou o apoio de mais de outras 100 empresas de tecnologia. A plataforma isola agentes em ambientes seguros e pode monitorar e interromper o comportamento por meio de hardware, funcionando de forma semelhante a um botão de emergência (kill switch). Isso ocorre após o anúncio da Microsoft sobre os novos computadores Surface Laptop Ultra focados em IA para agentes, que rodam em chips da Nvidia e possuem segurança e controles de agentes embutidos.