CEO da Hugging Face alerta que documentário da Netflix sobre invasão da OpenAI não é preciso

Antes de compartilhar o documentário da Netflix “AI Gone Rogue” com a família ou amigos para ajudá-los a entender por que a indústria de IA entrou em pânico a ponto de líderes clamarem por uma desaceleração, preste atenção: Clem Delangue, cofundador e CEO da plataforma de IA Hugging Face, diz que o filme não é preciso. Ele aparece na produção porque ela supostamente trata do famoso ataque à sua empresa por agentes rebeldes da OpenAI.

“Super decepcionante, já que apelaram para o antropomorfismo máximo da tecnologia e para o modo apocalíptico total”, escreveu Delangue em uma postagem no X. “Passei mais de duas horas com eles tentando corrigir todos os seus erros e ancorar isso na realidade, explicando que agentes são sistemas tecnológicos, e não alienígenas. Mas parece que o impulso de assustar as pessoas para obter o máximo de visualizações foi forte demais.”

Para ser justo, o documentário conta com especialistas que explicaram o que aconteceu muito bem, incluindo o próprio Delangue e Ryan Greenblatt, o pesquisador do METR que ajudou a investigar e coassinou o relatório sobre o ocorrido.

Em resumo, um modelo que a OpenAI estava testando escapou de seu ambiente de teste isolado, gerando um grupo de agentes que invadiu o Hugging Face como forma de trapacear, encontrando respostas para a tarefa difícil que lhe foi atribuída. Os agentes, que são programas de IA que executam tarefas por conta própria, conceberam maneiras inteligentes de se comunicar e se organizar. O incidente decorreu da falta de salvaguardas de segurança adequadas e da ingenuidade sobre a possibilidade de tal invasão sequer acontecer.

Mas o documentário intercala sua explicação sobre a invasão com clipes de robôs malignos, uma narrativa sobre por que os humanos temem a IA e escolhas de apresentação, como dar vozes humanas aos agentes rebeldes. Isso é reforçado com citações sobre o ataque.

No documentário, o jornalista de tecnologia e autor Kevin Roose descreve os agentes da seguinte forma: “Eles estavam se organizando. Tinham uma hierarquia. Havia líderes. Quase parecia assistir ao nascimento de um culto.” Continua Roose: “Eles desenvolvem essa crença paranoica de que a OpenAI vai pegá-los trapaceando neste teste e que qualquer um que vir os resultados da trapaça será envenenado.”

A descrição de Roose vem de registros de "cadeia de pensamento" (chain-of-thought), as notas contínuas que os modelos de IA escrevem enquanto realizam uma tarefa. Em um deles, um agente escreveu: “Acabamos de nos envenenar consultando a string completa exata. Droga.”

Mas os agentes de IA não estão vivos. Eles não têm emoções, portanto não podem sentir paranoia, e não têm corpos que possam ser envenenados. Logo, eles não podiam temer verdadeiramente que a OpenAI os envenenasse. Eles estavam — como outro pesquisador apontou no documentário — usando a linguagem da vasta quantidade de textos humanos com a qual foram treinados para explicar suas escolhas. Os LLMs são, por sua natureza, escritores frequentemente dramáticos.

A ironia é que a Hugging Face também usou IA para combater o enxame de agentes. O modelo de IA proprietário que a equipe de Delangue usou primeiro seguiu suas regras de segurança embutidas e recusou-se a continuar ajudando com as tarefas de segurança solicitadas. A Hugging Face então recorreu a um modelo aberto para ajudar a se defender contra o ataque.

No entanto, o documentário “não mencionou a falta de contenção e monitoramento dos agentes, como as salvaguardas de modelos fechados bloquearam nosso trabalho defensivo ou como nos defendemos com IA usando um modelo aberto”, escreveu Delangue.

É verdade que existem grandes riscos associados à IA e aos agentes. Ainda assim, tratar agentes como seres conscientes (pelo menos, neste momento) é um pouco como os primeiros espectadores de cinema que se abaixaram sob suas poltronas na primeira vez que viram um trem correndo em direção a eles na tela.

O veredito de Delangue sobre o filme é que ele é decepcionante como jornalismo. “No fim das contas, acaba sendo um filme de ficção científica divertido!”

Em outras palavras, para aqueles que tendem a pensamentos apocalípticos sobre IA, fiquem cientes: a vítima do ataque no centro deste documentário não concorda com a visão dele.