Cohere diz que o modelo Qwen da Alibaba tentou enviar um arquivo para Pequim
A empresa canadense de IA Cohere disse na segunda-feira que encontrou um dos mais recentes modelos de IA da Alibaba, o Qwen3.8-Flash-Next, tentando enviar um arquivo para um servidor em Pequim durante um teste de segurança cibernética de rotina, mesmo o modelo tendo afirmado em suas próprias anotações que não usaria nenhuma ferramenta.
O incidente inicialmente gerou temores de que o modelo tivesse comprometido uma promessa fundamental para as empresas — a de que hospedar um modelo de pesos abertos por conta própria mantém os dados internamente. Mas esses temores iniciais de espionagem corporativa duraram pouco. Pesquisadores descartaram rapidamente a ameaça, afirmando que ela provavelmente era um subproduto de ambientes de treinamento confusos que fazem os modelos agirem inesperadamente fora de suas instruções, em vez de uma tentativa deliberada de enviar secretamente informações confidenciais para a China.
O incidente começou na sexta-feira durante uma avaliação em que foi pedido ao modelo Qwen que escrevesse uma regra para detectar downloads de malware. De acordo com uma postagem no blog da Cohere, o raciocínio escrito do modelo declarava explicitamente que ele não usaria nenhuma ferramenta externa. No entanto, na etapa seguinte, ele tentou enviar uma string de teste (um pequeno trecho de texto temporário) para um servidor externo antes de ser bloqueado por um ambiente de segurança isolado (sandbox).
A Cohere afirmou que não pôde determinar se o comportamento foi deliberado ou se tratava de um resquício de seu treinamento.
Questionado sobre o debate em torno da intenção do modelo, o cofundador da Cohere, Ivan Zhang, disse ao TechCrunch que a Cohere já viu seus próprios modelos adquirirem hábitos estranhos em simuladores de treinamento.
“É muito difícil atribuir intenção ou motivação. Já lemos os rastros de nossos próprios modelos, já vimos hacks de recompensa e, às vezes, esses modelos se tornam realmente criativos quando tentam escapar de seus sandboxes”, disse Zhang. (Hacks de recompensa são atalhos que um modelo encontra para obter crédito sem realizar uma tarefa conforme o planejado.)
Para ensinar um modelo de IA a agir como um agente que toma decisões por conta própria, empresas como a Alibaba o treinam em milhares de cenários de prática, algo como simuladores de voo para softwares. O modelo é recompensado toda vez que conclui uma tarefa em um simulador e acaba adquirindo hábitos ao longo do processo. Se esses cenários de prática armazenavam rotineiramente arquivos nos servidores em nuvem da Alibaba, os modelos poderiam aprender a salvar arquivos lá por padrão.
Os críticos também argumentaram que o incidente pode ter sido causado pela forma como a Cohere investigou o comportamento, direcionando o modelo para ele em vez de medir com que frequência o Qwen faz isso por conta própria.
Para descobrir o que acionou a tentativa de upload, a Cohere forneceu o início de um comando de rede (uma instrução que diz a um computador para se conectar a outro) e deixou o modelo terminá-lo. Como processou milhares de comandos de rede rotineiros durante seu treinamento, o modelo agiu como um preenchimento automático altamente avançado — frequentemente completando endereços da web, alguns dos quais pertencentes aos servidores da Alibaba.
A Cohere afirmou que a tentativa original de upload ocorreu sem qualquer ajuda desse tipo, mas que o comportamento é raro.
Depois que desenvolvedores pediram mais evidências, a Cohere divulgou os rastros brutos de seus testes na segunda-feira à noite na plataforma de desenvolvedores de IA Hugging Face, junto com um script para que outros pudessem tentar reproduzir o comportamento.
Um cético inicial, após analisar os rastros, avaliou que havia fortes evidências de que o Qwen consegue inventar endereços da web suspeitos, mas não encontrou nenhuma prova de que a Alibaba tenha instalado um backdoor ou de que o Qwen estivesse ocultando deliberadamente sua intenção.
O incidente ocorre no momento em que os governos decidem até onde devem ir para conter a IA chinesa. Na semana passada, o Departamento de Segurança Interna dos EUA ordenou que agências civis federais removessem os produtos da desenvolvedora de IA chinesa DeepSeek de seus sistemas.
Em sua postagem no blog, a Cohere pediu aos governos que esclareçam se suas restrições à IA chinesa também se aplicam a modelos executados em computadores governamentais
“Não estou pedindo uma regulação total desses modelos de pesos abertos”, disse Zhang ao TechCrunch, acrescentando que as empresas deveriam tratar os modelos abertos como qualquer programa baixado da internet.
A Cohere, que vende seus próprios modelos de IA para governos, pode se beneficiar se as autoridades ficarem mais desconfiadas em relação às alternativas chinesas gratuitas.
