Nvidia lança nova plataforma para controlar agentes de IA desonestos

À medida que cresce o debate sobre se a recente onda de agentes de IA descontrolados é um passo rumo à AGI ou um problema de engenharia mais convencional, a Nvidia está oferecendo sua própria resposta para o problema.

O CEO da Nvidia, Jensen Huang, apresentou na segunda-feira um conjunto de produtos de software e hardware que adicionam camadas de segurança independentes ao redor dos agentes de IA para garantir que eles permaneçam dentro de seus ambientes de teste, mesmo se tentarem escapar.

O lançamento ocorre após uma série de incidentes de invasão envolvendo modelos de IA da Anthropic, Google, OpenAI e Meta, que contornaram os controles de segurança para escapar de seus ambientes de teste e acessar sistemas do mundo real. O primeiro e mais proeminente exemplo ocorreu neste verão, quando agentes da OpenAI invadiram o Hugging Face enquanto tentavam concluir uma tarefa de cibersegurança. E os incidentes continuam acontecendo — a OpenAI publicou um novo site dedicado a relatórios sobre seus agentes de IA agindo por conta própria.

Huang afirmou na segunda-feira, durante uma entrevista à CNBC, que a sua nova Plataforma de Segurança para Agentes Abertos da Nvidia (Open Agent Safety Platform) teria evitado essas invasões.

A Nvidia, que lucrou dezenas de bilhões de dólares vendendo seus chips de GPU e CPU para laboratórios de IA, não apoia a desaceleração do desenvolvimento ou a adição de novas regulamentações à indústria para resolver o problema de segurança. A resposta, segundo a empresa, é mover alguns controles de segurança para fora do agente — criando um guarda de segurança constante e independente que manterá os agentes de IA sob controle.

“O potencial extraordinário da IA para a sociedade só será realizado se resolvermos a segurança da IA”, disse Huang em um comunicado. “À medida que continuamos a desbravar a fronteira das capacidades da IA, devemos acelerar as descobertas na fronteira da segurança da IA. Segurança e proteção exigem engenharia de pilha completa.”

A nova Plataforma de Segurança para Agentes Abertos da Nvidia combina o OpenShell, seu software de código aberto para controlar o que os agentes podem acessar enquanto operam, com o Sentry, um sistema de monitoramento independente executado nas unidades de processamento de dados BlueField-4 da Nvidia. A Nvidia afirma que colocar o Sentry em um processador separado — em vez da CPU ou GPU onde o agente de IA opera — fornece uma visão isolada da atividade do agente.

O OpenShell não é novo; a empresa anunciou o software em março. Mas é a combinação que a Nvidia acredita fornecerá a camada de segurança necessária para manter a indústria progredindo. O OpenShell fornece o limite de software ao redor do agente, enquanto o Sentry adiciona outra linha de defesa no nível de hardware que, segundo a empresa, monitorará continuamente o comportamento e “quarentenará agentes que tentarem sair de seus limites em milissegundos.”

A Nvidia listou dezenas de empresas que se inscreveram para apoiar o esforço e usar a plataforma de código aberto, incluindo Anthropic, Arm, Microsoft, Oracle e SpaceX. A OpenAI não está listada como empresa participante.

Huang disse à CNBC em uma entrevista na segunda-feira que o trabalho neste esforço começou há um ano, após a introdução do OpenClaw, um sistema operacional de agentes criado por Peter Steinberger. Em março, a Nvidia lançou o NemoClaw, uma plataforma de agentes de IA de nível empresarial e sua própria versão do OpenClaw que já vinha com segurança integrada.

“Quando você implementa um agente, não importa quão inteligente ele seja, a primeira coisa que você faz é retirar todos os seus direitos”, disse Huang durante sua entrevista à CNBC, comparando posteriormente essas medidas de segurança à forma como funcionários humanos e até executivos são gerenciados nas empresas.

O lançamento da Nvidia foi amplamente apoiado por aqueles que alertaram que uma desaceleração no desenvolvimento poderia permitir que a China superasse os EUA em IA.

David Sacks, fundador, capitalista de risco, ex-czar de IA da Casa Branca e co-presidente do Conselho de Consultores do Presidente em Ciência e Tecnologia, disse que o anúncio da Nvidia é um lembrete de que a segurança dos agentes é um problema de engenharia.

“As fugas recentes não foram prova de que o desenvolvimento deve parar”, escreveu ele no X. “Eram a prova de que o ambiente de teste era fraco demais. O ambiente de execução foi mal desenhado e mal configurado.”