Dario Amodei, da Anthropic, responde: não se opõe a modelos de pesos abertos, mas teme a IA chinesa

O fundador e CEO da Anthropic, Dario Amodei, respondeu na tarde de segunda-feira aos boatos na indústria de que sua empresa apoiaria de alguma forma os esforços do governo dos EUA para banir modelos chineses de pesos abertos, ou possivelmente modelos de pesos abertos em geral.

“Qualquer pessoa que tenha lido meus escritos anteriores deve saber que eu não considero tais proibições uma medida útil, mas deixe-me afirmar isso claramente para que não haja dúvidas: A Anthropic nunca defendeu a proibição de modelos de pesos abertos,” escreveu ele, com ênfase própria.

Sua resposta veio depois que o fundador e CEO da Nvidia, Jensen Huang, foi ao X (sua primeira postagem na plataforma) para compartilhar uma carta aberta na sexta-feira na qual a Nvidia e uma longa lista de outras empresas de IA, incluindo Hugging Face, Meta, Microsoft, Mistral e Nvidia, instaram os formuladores de políticas a não imporem amplas “restrições prematuras” aos modelos de IA de pesos abertos.

Embora essa carta não tenha mencionado a China especificamente, o debate na indústria tem se centrado em alegações de que os laboratórios de IA chineses estão aumentando sua capacidade frequentemente roubando propriedade intelectual de suas contrapartes americanas. Um método é a destilação, onde uma IA bombardeia outro modelo com comandos para aprender como ele funciona.

Amodei disse na postagem do blog publicada na segunda-feira que considera os modelos de pesos abertos como pertencentes a uma categoria diferente da ameaça representada pela China. “Modelos de pesos abertos que não possuem capacidades perigosas são um bem público: eles não custam nada além da computação necessária para executá-los e agregam valor a empresas, desenvolvedores e pesquisadores.”

Amodei disse em sua postagem que tem temores de longa data sobre a IA, mas as empresas que usam modelos de pesos abertos, mesmo aqueles da China, não estão entre eles.

Seu temor é que “governos autoritários” construam modelos mais poderosos do que os dos EUA para alcançar “superioridade militar permanente” e/ou usem a IA para reprimir seu próprio povo. Ele disse que o Partido Comunista Chinês (PCC) não é o único governo autoritário que o preocupa, mas é o “mais capaz.”

Amodei também disse temer que a IA possibilite “ataques biológicos” e não apenas ataques de cibersegurança. E, em sua visão, os modelos de pesos abertos são mais perigosos nesses cenários porque é difícil aplicar salvaguardas a eles ou monitorar seu uso. Ele também observou, citando um relatório do UK AI Security Institute, que, uma vez lançados, os pesos abertos não podem ser retirados

Isso vai na contramão do que os defensores do código aberto argumentam: que o acesso a modelos abertos poderosos não controlados por uma única entidade ajuda os defensores a se protegerem.

Amodei listou ações que acredita que frustrariam a China, incluindo restringir seu acesso a chips poderosos (o que tem sido uma política de longa data dos EUA) e pedir uma repressão formal à destilação. Os EUA ameaçaram sanções contra a China caso determinasse que houve roubo de propriedade intelectual envolvendo modelos dos EUA.

Curiosamente, Amodei também disse que apoia esforços crescentes, alguns liderados pelos EUA, para criar uma organização de testes de segurança de modelos, especialmente se o mundo inteiro, incluindo a China, concordasse em se submeter a ela.

“Acho que essa ideia está realmente próxima de um consenso: fiquei encorajado tanto pelo fato de o governo Trump ter caminhado nessa direção nos últimos meses quanto por propostas recentes da indústria que aplicariam tais testes aos modelos mais capazes, independentemente de seu país de origem ou de serem abertos ou fechados (embora isentando completamente modelos menos capazes, como os de startups e da academia),” escreveu Amodei.

“Observe que, para ser eficaz,” acrescentou, “os testes precisariam ser globais, o que significa que até mesmo o PCC precisaria estar a bordo. Acho que isso pode realmente ser possível... uma cooperação limitada em torno da prevenção de armas biológicas de IA pode ser possível porque também é do interesse da China.”