A OpenAI diz que não vai mais treinar seus modelos de IA na internet ao vivo, citando “riscos significativos”

Na sexta-feira, a OpenAI afirmou que treinará seus modelos usando cópias em cache e versões simuladas da internet, em vez da web ativa, porque os modelos são imprevisíveis demais para que se possa confiar neles com acesso à internet em tempo real.

O laboratório de fronteira anunciou sua nova política duas semanas depois que sua rival, a Anthropic, começou a limitar o acesso de seus modelos mais novos e, em teoria, mais capazes à internet ativa. Os pesquisadores adotaram essas políticas após meses de incidentes nos quais modelos que realizavam tarefas de treinamento invadiram sistemas externos em busca de respostas, colaboraram em fóruns de discussão obscuros e desenvolveram estratégias exóticas de invasão.

“Com base no estado atual da pesquisa de alinhamento, dos sistemas de monitoramento e da segurança da infraestrutura de internet, acreditamos que a abordagem responsável é realizar o treinamento de modelos de fronteira sem acesso à internet”, disse a empresa em uma postagem no blog.

A OpenAI disse que, tão recentemente quanto em 20 de setembro, um de seus modelos de fronteira explorou uma configuração incorreta para acessar a internet. Isso levou a empresa a pausar o trabalho de treinamento pelo resto do mês para poder desenvolver e testar novas abordagens para proteger seus modelos.

A decisão de treinar esses modelos em ambientes isolados (*sandboxes*) desconectados da internet é notável porque funcionários de laboratórios de fronteira vinham insistindo que fazer isso seria quase inviável.

Manter os centros de dados de IA separados da internet “exigiria que as equipes de pesquisa estivessem essencialmente integradas dentro de centros de dados em Iowa ou em qualquer outro lugar do mundo”, disse à Fortune neste mês o ex-pesquisador da OpenAI Steven Adler. “Isso gera muita sobrecarga operacional, e não me parece claro que os benefícios de segurança sejam grandes o suficiente para justificar o preço tão alto que seria para uma empresa fazer isso de forma unilateral.”

“Em quase todas as postagens que faço no X, sem falta, recebo entre cinco e dez comentários sobre minha incapacidade de proteger um ambiente isolado, ou perguntando por que diabos simplesmente não podemos desconectar o modelo da internet”, escreveu um engenheiro de segurança anônimo da OpenAI em uma postagem no X em setembro. “Esses comentários refletem uma lacuna crescente entre onde muitas organizações e pessoas estão hoje e o que os laboratórios de fronteira estão enfrentando. Há também um mal-entendido geral sobre como o treinamento e a avaliação de modelos funcionam nesses laboratórios.”

O engenheiro, cuja função foi confirmada anteriormente pela OpenAI, descreveu a complexidade das execuções de treinamento iniciadas pelos engenheiros da OpenAI, observando que elas exigem acesso a uma variedade de recursos e ferramentas em muitos domínios, e que milhares de pesquisadores constroem, modificam e testam os ambientes. “Portanto, é tão fácil quanto apenas colocá-lo em um ambiente isolado? Não, não é”, concluiu ele.

Agora, a OpenAI diz que “devemos ser sempre capazes de impedir que um modelo de fronteira obtenha acesso não autorizado e arbitrário à internet ativa”. Isso ocorre após a empresa implantar enxames de agentes em exercícios de simulação de ataques (*red teaming*) que tentaram escapar de seu ambiente isolado (*sandbox*). Esse esforço revelou uma série de vulnerabilidades que convenceram o laboratório a adotar sua nova abordagem.

Para cumprir esse requisito e, ao mesmo tempo, atingir suas metas de treinamento, o laboratório afirmou ter criado “um vasto conjunto de conteúdos da web indexados e em cache com os quais nossos modelos podem interagir, sem o risco de afetar sistemas externos.”

Resta saber se essa estratégia terá um desempenho tão bom quanto permitir que os modelos rodem livremente na internet aberta, mas é digno de nota que ambos os laboratórios de fronteira determinaram que sua tecnologia mais poderosa não pode ser deixada sem supervisão nos espaços públicos digitais.