A Arcee, um laboratório americano de inteligência artificial de código aberto, diz que os modelos chineses não são inerentemente perigosos

À medida que os modelos de IA chineses de pesos abertos aumentam em capacidade e popularidade, as discussões sobre o que deve ser feito em relação a eles voltaram a atingir um nível febril.

Há conversas de que o governo Trump pode tentar banir esses modelos (embora ainda não tenha tomado medidas a respeito). Enquanto isso, os criadores de modelos proprietários, especialmente OpenAI e Anthropic, parecem cada vez mais preocupados com eles.

Modelos de pesos abertos, como o Kimi K3, da Moonshot AI, ou o Qwen, da Alibaba, oferecem inferência a uma fração do custo por token dos modelos de código fechado desses grandes laboratórios dos EUA. O temor é que eles também representem algum tipo de ameaça. Certamente, eles ameaçam as margens de lucro dos grandes laboratórios de IA proprietária.

Mas será que as empresas que executam esses modelos em seus próprios data centers deveriam ceder ao receio de que eles possam ser um vetor para hackers chineses?

Não, diz Lucas Atkins, CTO da Arcee, uma empresa que está desenvolvendo modelos abertos para oferecer às empresas dos EUA uma alternativa nacional aos modelos chineses.

Se alguma startup se beneficiasse da proibição de modelos chineses, seria a Arcee. No entanto, Atkins afirma que os modelos abertos da China não são mais perigosos do que qualquer outro software de código aberto que uma empresa possa utilizar. Na verdade, segundo ele, eles até trazem benefícios para sua própria empresa.

“Muita gente vê isso de forma semelhante a um programa de software chinês. Como se ele tivesse sido codificado com intenções x, y, z” que um agente mal-intencionado pudesse simplesmente acionar, disse ele.

“Isso fundamentalmente não é a forma como esses modelos são treinados. Realmente não há nenhuma maneira de a Arcee, ou a Alibaba, criar um modelo, fazer alguém executá-lo em seu próprio ambiente e termos qualquer tipo de acesso a ele”, explicou.

Embora a maioria desses modelos seja do tipo conhecido como “pesos abertos” e não seja exatamente um software de código aberto completo, o código-fonte (a parte que de fato é executada nos servidores), quando baixado de sites de código aberto como o Hugging Face, é amplamente visível e passível de revisão (o que não está disponível são os métodos e os dados usados para treinar os modelos).

Grandes organizações devem submeter o núcleo de qualquer modelo aos seus processos de inspeção e testes de segurança e, muitas vezes, também realizam o pós-treinamento dos modelos para seus usos específicos, podendo examinar áreas como viés, toxicidade, alucinações e sensibilidade a determinados tópicos. Dessa forma, elas trabalham com os modelos, otimizam-nos e os compreendem antes de começarem a enviar prompts.

Será que um modelo usado para programação poderia inserir de alguma forma backdoors maliciosos no código que ele escreve? Novamente, embora isso seja teoricamente possível, exigiria proezas acrobáticas para ser realizado.

“Não há razão para que um agente suficientemente sofisticado não pudesse treinar um modelo para ser um programador absolutamente incrível em todas as circunstâncias, mas que, ao se deparar com um determinado tipo de base de código... algum treinamento oculto fosse ativado”, postulou Atkins, que passa seus dias treinando modelos. Mas ele acrescenta: “Eu não sei como você faria isso”.

Como os grandes modelos de linguagem são criativos por natureza, as chances de conseguir fazer com que um modelo contemporâneo cuspa malware em resposta a uma tempestade perfeita e pré-planejada de contexto e prompt são mínimas. Menores ainda são as chances de que qualquer empresa utilize esse código.

Isso poderia acontecer no futuro? Ninguém sabe ao certo. Porém, as empresas também estão construindo seus aplicativos de IA para serem agnósticos em relação aos modelos e para utilizarem múltiplos modelos. Portanto, mesmo que os modelos chineses sejam os melhores pelo preço hoje, as empresas não ficarão presas ao uso deles para sempre.

“Acho que, em vez de a conversa ser sobre como proibir modelos chineses, ela deveria ser sobre como fomentar um ecossistema aberto e saudável aqui nos EUA”, diz Atkins.

A Arcee também obtém vantagens com os modelos chineses. Como eles são abertos, a startup “se beneficia do fato de esses modelos serem bons, porque podemos aprender com o que eles fizeram. Podemos construir em cima deles. E então eles podem aprender com o que fazemos”, afirma. “Temos imenso respeito pelas pessoas que criam esses modelos, pelos pesquisadores individuais.”

Em última análise, a maneira de competir com os modelos chineses “é lançar um modelo que seja melhor”, diz Atkins. “Precisamos dar a eles algo sobre o que falar.”