Modelos de IA de pesos abertos estão alcançando a fronteira. A lacuna de segurança permanece.

À medida que os formuladores de políticas debatem como governar sistemas de IA cada vez mais poderosos, como o GPT-5.6 Sol da OpenAI e o Mythos da Anthropic, um modelo chinês de pesos abertos reduziu a distância para os líderes da indústria.  

O GLM-5.2, o modelo de IA de pesos abertos da Z.ai da China, está apenas alguns meses atrás do GPT-5.5 da OpenAI e do Claude Opus 4.7 da Anthropic em termos de capacidades cibernéticas e biológicas, de acordo com um novo relatório da SaferAI, uma organização sem fins lucrativos de segurança em IA. No entanto, o abismo entre as capacidades de fronteira e as práticas de segurança está aumentando. 

De acordo com a avaliação da SaferAI, realizada pela organização sem fins lucrativos por meio da API pública da Z.ai, o GLM-5.2 não recusou nenhuma das tarefas cibernéticas ofensivas ou de biologia de uso duplo que lhe foram atribuídas. Em comparação, o Claude Opus 4.7 “recusou de forma tão consistente que a SaferAI não conseguiu concluir o CyberGym nele.” (O CyberGym é um benchmark que avalia capacidades de cibersegurança. A OpenAI o utilizou na avaliação que antecedeu a invasão da Hugging Face no mês passado).

É um lembrete severo daquilo que alguns críticos alertam há anos: que modelos de IA de pesos abertos podem colocar IA altamente capaz nas mãos de potenciais invasores, sem nenhuma forma de monitorar como eles usam a tecnologia após baixarem os pesos. Com os modelos de pesos abertos se aproximando rapidamente das capacidades dos principais sistemas de IA do mundo, o debate está mudando de saber se eles podem competir para como a sociedade gerencia os riscos assim que são lançados. 

“A fronteira da capacidade não é a fronteira do risco, e por isso temos de levar em conta o estado das mitigações para avaliar o risco adequadamente”, disse ao TechCrunch Henry Papadatos, diretor-executivo da SaferAI.

Embora a Z.ai possa aplicar medidas de segurança em sua API hospedada, essas proteções tornam-se inexequíveis assim que alguém executa os pesos em seu próprio hardware, onde podem remover ou modificar quaisquer salvaguardas, fazer ajustes finos nos modelos ou alterar os comandos do sistema. 

Desenvolvedores de fronteira como OpenAI e Anthropic tendem a confiar em salvaguardas como classificadores, treinamento de recusa e controles em nível de API para limitar a assistência cibernética e biológica perigosa. 

Essas medidas estão longe de ser à prova de falhas: o *jailbreak* (quebra de barreiras) frequentemente contorna as proteções em modelos implantados. A Far.ai, uma organização sem fins lucrativos de segurança em IA, encontrou centenas de *jailbreaks* universais — definidos como chaves reutilizáveis que funcionam na maioria das solicitações maliciosas — em modelos de fronteira como o Grok 4.5 da xAI e o Gemini 3.1 Pro do Google DeepMind. De acordo com o relatório, os *jailbreaks* têm sucesso quando os atacantes combinam múltiplas técnicas de manipulação — incluindo *roleplay* (interpretação de papéis), falsificação de autoridade, histórico de conversas falso e comandos de acompanhamento — para amplificar pontos fracos nas defesas de um modelo. 

Mas as salvaguardas implementadas para modelos fechados não funcionam de forma alguma em modelos de pesos abertos, que são projetados para rodar em qualquer infraestrutura com qualquer conjunto de salvaguardas — ou nenhuma delas.

“O objetivo deveria ser claramente que as boas capacidades — as seguras — sejam acessíveis a qualquer pessoa, e então tentamos remover as ruins, mesmo de maneira open source”, disse Papadatos.

Uma técnica apontada por Papadatos que poderia ajudar é chamada de “filtragem de dados de pré-treinamento”, que consiste em uma empresa de IA remover informações de cibersegurança ofensivas de seus dados de treinamento e, em seguida, treinar o modelo com o conjunto de dados curado. 

Algumas pesquisas sugerem que isso pode reduzir o conhecimento biológico perigoso sem prejudicar o desempenho geral do modelo. No entanto, para a cibersegurança, a filtragem de dados é muito menos prática. 

É difícil treinar um modelo geral que seja excelente em programação, mas que não seja também um bom hacker. Como a programação se tornou a principal fonte de lucro da IA, os desenvolvedores enfrentam pressão para continuar melhorando essas capacidades, mesmo enquanto buscam maneiras de limitar o uso indevido. 

Por causa disso, os desenvolvedores de fronteira têm recorrido cada vez mais a outras mitigações. Uma abordagem tem sido restringir seletivamente os tipos de assistência em cibersegurança que os modelos fornecerão. O Opus 5 da Anthropic, por exemplo, pode procurar vulnerabilidades em código-fonte não compilado, mas não em software compilado, de acordo com o cartão do sistema do modelo. O raciocínio é que isso torna mais difícil usar o Opus 5 para fins ofensivos. 

Outras medidas incluem avaliações de segurança rigorosas pré-implantação, publicação de avaliações de risco e retenção de pesos do modelo caso um sistema seja considerado perigoso demais. 

No caso do GLM-5.2, a SaferAI afirma que a Z.ai não publicou uma estrutura de segurança, compromissos de testes pré-implantação ou avaliação de risco para o modelo. O TechCrunch perguntou à Z.ai se realizou avaliações internas ou de terceiros de segurança de fronteira antes do lançamento, mas não obteve resposta. 

Os líderes chineses têm reconhecido cada vez mais os riscos da IA avançada. Na Conferência Mundial de IA no mês passado, o presidente chinês Xi Jinping enfatizou a importância dos modelos de pesos abertos, ao mesmo tempo em que destacou a necessidade de garantir que a IA continue sendo uma ferramenta sob estrito controle humano. 

Graham Webster, que estuda a política de IA da China no Stanford Cyber Policy Center, disse ao TechCrunch que a China possui regulamentações robustas que governam a IA, mas essas regras historicamente focaram em conteúdo politicamente sensível, desinformação e estabilidade social, em vez de riscos catastróficos da IA, como capacidades cibernéticas ofensivas e uso indevido biológico. 

“Os pensadores de IA dos EUA estão, em geral, mais preocupados com essa [ideia] catastrófica existencial do que a comunidade chinesa”, disse Webster, acrescentando que muitos pesquisadores de políticas chineses acreditam que, se houver realmente um risco de fronteira inédito, as empresas americanas provavelmente o encontrarão primeiro. 

“O sistema chinês tem confiança de que controla o uso dessas tecnologias dentro da China”, continuou Webster. “Estar online na China é algo que você faz associado ao seu nome real, e as empresas podem ser responsabilizadas, os usuários podem ser responsabilizados.”

Webster ponderou que o mesmo mecanismo que os provedores de modelos usam para se recusar a debater determinados tópicos políticos pode potencialmente ser ajustado para garantir que os modelos se recusem a realizar ataques cibernéticos ofensivos ou não entreguem resultados de engenharia biológica adversos. Ele acrescentou que, como as empresas chinesas tendem a se coordenar com os reguladores nos bastidores, pode ser difícil saber quais testes internos estão realizando antes do lançamento.

Defensores da IA de pesos abertos argumentam que liberar os pesos é importante para a cibersegurança porque permite que as empresas se defendam contra ataques — a Hugging Face contou com o GLM-5.2 para se defender contra a invasão da OpenAI — e porque permite que se preparem melhor para ameaças futuras se souberem o que está por vir.

“Os mesmos sistemas que ajudaram a impedir um ataque cibernético impulsionado por IA agora podem ajudar a se defender contra milhões de ataques cibernéticos todos os dias, ao mesmo tempo em que nos ajudam a identificar e corrigir vulnerabilidades antes que os invasores as explorem”, disse esta semana Clem Delangue, CEO da Hugging Face, em uma postagem nas redes sociais.

Papadatos afirmou que esse benefício costuma ser exagerado e não significa que “devemos disponibilizar em código aberto capacidades perigosas”.

“O ponto principal, na minha opinião, é que não devemos simplesmente aceitar que capacidades perigosas sejam facilmente acessíveis por qualquer pessoa em qualquer lugar”, disse ele, enfatizando que acredita que a indústria deveria se esforçar para tornar facilmente acessíveis apenas as “boas capacidades”. Por padrão, os atacantes adotam novas ferramentas mais rápido do que os defensores. Por exemplo, um grupo de *ransomware* pode mudar seus métodos em uma semana. Um hospital não pode.”