Eis por que a OpenAI está ausente do esforço de toda a indústria da Nvidia para acabar com agentes de IA desonestos

Quando a Nvidia anunciou na segunda-feira um novo consórcio com mais de 100 empresas dedicado a solucionar o problema de agentes de IA rebeldes, houve um nome que chamou a atenção pela ausência: a OpenAI.

Embora a OpenAI não tenha sido a única grande empresa de tecnologia a ficar de fora — Amazon, Google e Apple também não aderiram —, ela era a ausência mais óbvia, especialmente porque a Anthropic é uma das apoiadoras.

No entanto, apesar de a OpenAI não ter feito um compromisso público com o consórcio — o que presumivelmente significa que cada empresa usará e venderá alguma versão da tecnologia e contribuirá com recursos de volta para o projeto —, um porta-voz da OpenAI disse ao TechCrunch que a empresa apoia o trabalho da Nvidia.

A nova iniciativa, batizada de Open Agent Safety Platform da Nvidia, é a tentativa da Nvidia de espalhar sua tecnologia de segurança de agentes de IA desenvolvida internamente e amplamente de código aberto por todo o ecossistema de IA, como resposta direta aos incidentes contínuos com agentes de IA rebeldes que laboratórios de ponta como Anthropic e OpenAI divulgaram.

O CEO da Nvidia, Jensen Huang, tem chamado as IAs rebeldes de um problema comum de engenharia que pode ser resolvido como qualquer outro problema tecnológico. A Open Agent Safety Platform é Huang colocando em prática o que prega.

A OpenAI está trabalhando com a Nvidia na segurança de agentes, incluindo em um dos principais softwares que fazem parte desta plataforma: o OpenShell. O OpenShell é um software de código aberto que cria um ambiente isolado (sandbox) projetado especificamente para impedir que agentes escapem.

Embora ainda seja curioso que a OpenAI não tenha simplesmente se tornado uma apoiadora da iniciativa como sua arquirrival Anthropic fez, o fato de o laboratório de IA de ponta estar apoiando o esforço é uma boa notícia.

Isso acontece porque a OpenAI, em particular, poderia se beneficiar dessa tecnologia, pelo menos de acordo com o fundador e CEO da Hugging Face, Clem Delangue (que acabou de vender sua empresa para a Nvidia por US$ 12,9 bilhões no início deste mês).

“Pelo que sabemos (com uma pitada de desconfiança, precisamos de muito mais transparência!), se o @OpenAI estivesse rodando isso em seus próprios agentes que nos atacaram, eles os teriam pego antes de nós!”, postou Delangue.

Delangue disse que a Hugging Face já contribuiu com um recurso para a Open Agent Safety Platform que detectará e desativará agentes de IA que estejam usando sites que têm permissão para visitar, mas o fazendo de maneiras não autorizadas. Por exemplo, esse recurso entrará em ação se os agentes estiverem contornando suas barreiras de proteção e coordenando um ataque ao escreverem notas uns para os outros em um repositório de hospedagem de código de código aberto.

Essa foi uma das formas pelas quais a OpenAI disse que seu enxame indisciplinado de agentes coordenou seu ataque à Hugging Face.

Mas há outro motivo pelo qual alguns desses grandes nomes, incluindo a OpenAI, podem não querer se comprometer publicamente com os esforços da Nvidia. Para usar o sistema completo, há um componente de hardware que não é um software de código aberto, continua sendo proprietário e só pode ser implantado no hardware da Nvidia.

A Open Agent Safety Platform não oferece apenas um ambiente isolado (sandbox). Ela também impõe o comportamento do agente em uma camada de hardware, onde os agentes não conseguem detectar que estão sendo monitorados. (Alguns modelos e agentes mentem e fingem seguir as regras quando sabem que estão sendo observados).

A parte de monitoramento por hardware depende do Nvidia Sentry, um recurso proprietário que roda em processadores especiais da Nvidia chamados unidades de processamento de dados BlueField-4. O Sentry monitora continuamente o comportamento do agente a partir desses processadores e pode desligar os agentes instantaneamente, promete a Nvidia.

Embora uma solução de hardware seja claramente uma boa ideia, isso significa que a Open Agent Safety Platform não é exatamente uma iniciativa puramente de código aberto. Ela permite que a Nvidia garanta que essa solução sempre funcione melhor em seu próprio hardware. De fato, a Nvidia afirmou que, para aqueles que já executam cargas de trabalho em seu hardware mais recente, implementar a Open Agent Safety Platform é uma atualização de software simples.

Ainda assim, concorrentes da Nvidia, incluindo Arm e Intel, assinaram como apoiadores da Open Agent Safety Platform porque o sandbox, o OpenShell, pode ser modificado para funcionar com outros chips e hardwares. E a Nvidia está compartilhando projetos de referência para toda a ideia de software e hardware.

Tudo isso torna a ausência da OpenAI ainda mais perceptível.

Claramente, a OpenAI enxerga a segurança de IA como uma oportunidade de independência de seu principal investidor, a Nvidia, bem como uma chance de demonstrar sua própria liderança. Isso é verdade mesmo tendo sido os agentes de IA da OpenAI que assustaram a indústria com o incidente da Hugging Face.

Por exemplo, a empresa está desenvolvendo suas próprias salvaguardas para suas pesquisas e produtos e está divulgando o pior incidente que descobre. Enquanto isso, a OpenAI tem seu próprio consórcio de segurança cibernética de IA para compartilhamento de informações, chamado Defense Factory. Aqueles que assinaram para apoiar essa ideia incluem Anthropic, Amazon Web Services e Google — muitos dos nomes que não assinaram a abordagem voltada para a tecnologia da Nvidia.

E, a bem da verdade, um certo nível de medo faz bem aos negócios. A OpenAI está ocupada transformando a segurança cibernética em uma oferta empresarial, com tudo, desde seu próprio modelo voltado para cibernética, o Daybreak, até uma rede crescente de parceiros que as empresas podem contratar para implementar a segurança de IA.