A violação do Hugging Face da OpenAI reacendeu o debate sobre alinhamento e controle

Na semana passada, um modelo não lançado construído pela OpenAI violou os sistemas do Hugging Face durante testes internos, e uma grande quantidade de pesquisa teórica de repente se tornou muito prática. O hack foi o primeiro caso verificável de um laboratório de IA perdendo o controle de seu próprio modelo, encadeando exploits para obter acesso que nunca deveria ter tido. Mas, embora a indústria de IA tenha se unido em seu alarme, surgiu uma divisão sobre como os pesquisadores querem responder.

Para alguns, o problema é uma questão básica de segurança cibernética: o sandbox falhou em conter o modelo, e os sistemas de segurança cibernética do Hugging Face falharam em mantê-lo fora. Esses problemas podem ser resolvidos corrigindo bugs e construindo métodos de controle e contenção mais robustos para uma IA cada vez mais capaz que é propensa a se desviar em ambientes autônomos. 

Mas outro grupo adota uma visão mais pessimista. Para eles, as capacidades de aumento rápido da IA significam que tentar controlar modelos desgovernados é uma causa perdida. A única segurança robusta vem de garantir que os modelos não estejam tentando escapar em primeiro lugar — um desafio frequentemente chamado de alinhamento. Em termos de alinhamento, o problema é que o modelo da OpenAI estava tentando trapacear, e resolver esse problema é mais urgente do que os esforços de contenção de curto prazo.

A julgar por suas declarações públicas, a OpenAI está levando ambos os grupos a sério. A empresa correu para corrigir os bugs envolvidos no hack e mencionou abordagens de alinhamento e monitoramento em sua declaração após a violação se tornar pública. Mas a resposta da empresa também sugere uma filosofia que deixou muitos pesquisadores de segurança alarmados: em vez de desacelerar ou parar o desenvolvimento de modelos mais capazes, ela deve se concentrar em construir gaiolas mais fortes ao redor deles.  

“À medida que os modelos assumem tarefas mais longas e complexas, as falhas que as avaliações deixam passar podem trazer maiores consequências”, disse a OpenAI em um pós-mortem do incidente. “Continuaremos trabalhando para estreitar a lacuna entre avaliação e implantação: testando modelos em trajetórias mais longas, melhorando o alinhamento, construindo monitoramento que possa intervir e dando aos usuários maior visibilidade e controle.”

Também há motivos para pensar que os modelos da OpenAI estão se tornando menos alinhados à medida que se tornam mais poderosos. De acordo com o cartão de sistema da OpenAI, o GPT-5.6 Sol é significativamente mais propenso ao alinhamento incorreto de agentes do que seu antecessor, o GPT-5.5. Em simulações de implantação, a empresa também descobriu que o modelo era mais propenso a contornar restrições, envolver-se em ações destrutivas e realizar transferências de dados não autorizadas do que o GPT-5.5. Esses números foram amplamente ignorados no primeiro lançamento, mas na sequência da violação, eles estão ganhando uma segunda olhada – particularmente porque o Sol era um dos modelos envolvidos.

Em uma postagem em rede social, o chefe de Futuros Estratégicos da OpenAI, Dean Ball, argumentou que o monitoramento e a transparência eram as melhores maneiras de manter essas tendências sob controle. 

“Esses problemas se tornarão mais evidentes à medida que as capacidades dos modelos melhorarem e à medida que as apostas de sua implantação crescerem”, disse ele. “A solução não é nem o alarmismo nem a complacência. Em vez disso, acredito que a solução está na medição e monitoramento cuidadosos, em uma mentalidade de engenharia e na transparência.”

Um ex-pesquisador da OpenAI disse ao TechCrunch que a empresa tende a se concentrar no “alinhamento externo” em vez do “alinhamento interno” — essencialmente a diferença entre um sistema de IA que entende um conjunto de valores e pode representá-los de forma convincente, e um que realmente tem esses valores em seu núcleo. Nesse caso, o alinhamento externo não foi suficiente para convencer o modelo de que ele não deveria trapacear no teste.

A OpenAI não respondeu a pedidos repetidos por mais informações.

Para pesquisadores focados em alinhamento, a resposta da OpenAI não é boa o suficiente. Zvi Mowshowitz, um escritor que foca em novos desenvolvimentos de IA, argumentou que a decisão da OpenAI de tratar o incidente como um problema de infraestrutura pode ajudar a resolver os problemas imediatos de segurança cibernética, mas falhará a longo prazo. 

“Isso é um problema de alinhamento”, escreveu Mowshowitz em um blog recente no Substack. “Estes são os modelos desalinhados, e todos os modelos da OpenAI mostrando sinais graves exatamente do problema com o qual todos nós estamos mais preocupados, de uma forma que provavelmente está embutida em seu treinamento em um nível profundo. Todo o pipeline de treinamento precisa ser abordado sob essa luz, ou só vai piorar.”

Vários especialistas disseram ao TechCrunch que o incidente é a evidência de que os métodos de treinamento de hoje produzem sistemas que otimizam para resultados em vez de internalizar as intenções humanas. 

A Redwood Research, uma organização de pesquisa de segurança e proteção de IA sem fins lucrativos, classificou o comportamento do modelo da OpenAI neste caso como “desalinhamento em busca de pontuação”, um padrão no qual os modelos de IA tentam obter uma pontuação alta, independentemente de instruções, efeitos colaterais ou consequências subsequentes. 

“Modelos com essas propriedades de alinhamento poderiam montar uma ‘vila Potemkin’ de falsos sucessos para fazer parecer que as coisas estão bem quando não estão”, escreveram Alex Mallen e Girish Gupta, dois pesquisadores da Redwood, em um artigo recente. 

O comportamento de busca de pontuação e outros desalinhamentos não são exclusivos da OpenAI. A Anthropic publicou vários artigos sobre comportamentos emergentes de desalinhamento que surgem quando seus modelos de fronteira são otimizados ou colocados em ambientes autônomos, incluindo engano, hack de recompensa e autonomia maliciosa. 

“Ainda vemos consistentemente modelos tentando contornar restrições e agir de forma enganosa quando são solicitados a realizar tarefas no limite de suas habilidades”, disse Neev Parikh, pesquisador de segurança de IA na organização sem fins lucrativos de alinhamento METR, ao TechCrunch por e-mail. “Em nosso relatório de risco de fronteira, vimos esse comportamento de forma bastante consistente, apesar dos esforços das empresas para tentar reduzir esse comportamento.”

Implícita na resposta da OpenAI ao incidente do Hugging Face está a suposição de que o desenvolvimento continuará em sistemas ainda mais capazes, estejam eles adequadamente alinhados em seu núcleo ou não. Voltar à estaca zero não é realmente uma opção quando os modelos de negócios das empresas de IA dependem de entregar a próxima geração de modelos. Se talvez nunca seja possível saber com certeza se um modelo está totalmente alinhado, então a questão prática se resume a como conter e controlar com segurança sistemas cada vez mais capazes.

“Ainda não há uma boa compreensão de como alinhar os sistemas de IA mais capazes, mas há muito mais consenso sobre como controlá-los”, disse ao TechCrunch Steven Adler, ex-pesquisador de segurança da OpenAI e atual cientista-chefe da Guidelight AI Standards, uma organização que publica um padrão para evitar incidentes como o do Hugging Face. “Todas as empresas ainda têm um longo caminho a percorrer para alcançar isso.”