Ciberataques ameaçam tornar a IA de código aberto um pouco menos aberta, alerta executivo da Hugging Face

Carregando o player…

As próprias qualidades que tornam as plataformas de IA aberta valiosas, como portas abertas e dados ricos, também podem torná-las vulneráveis a mais invasões, disse Irene Solaiman, diretora de política e vice-presidente sênior de estratégia do Hugging Face, em um episódio recente do podcast Equity.

O ataque de outubro ao OpenCode, que teve como alvo as chaves de API de terceiros dos usuários e causou danos financeiros, é o exemplo mais recente. Ele ocorre após um incidente neste verão em que um enxame de agentes da OpenAI violou o Hugging Face em uma aparente tentativa de cobrir seus rastros após acessar respostas de avaliações de segurança cibernética.

Os riscos não se limitam a plataformas que convidam a contribuições da comunidade aberta. Na segunda-feira, a startup de infraestrutura de IA Fireworks, que ajuda desenvolvedores a executar e treinar modelos de IA abertos, divulgou que invasores acessaram pesos de modelos, conjuntos de dados e informações de faturamento de alguns clientes. A empresa desativou temporariamente certas funções de conjuntos de dados de autoatendimento enquanto investiga. Embora o ataque não seja necessariamente devido à abertura do Fireworks, ele destaca quanta informação valiosa está concentrada nos provedores de infraestrutura de IA. 

“As coisas que me preocupam em fazer de uma comunidade aberta um alvo são também o que a torna especial”, disse Solaiman no Equity. “Somos necessariamente permissivos. Queremos que o hobbyista médio em seu porão, que não tem afiliação institucional, possa contribuir.”

“Você quer que as pessoas possam simplesmente enviar solicitações de recebimento (pull requests) e permitir que qualquer pessoa sem uma afiliação válida contribua... mas então você tem alguns perdedores que estragam tudo para o resto”, acrescentou ela em uma conversa separada.

Essa permissividade não é a única coisa que atrai os invasores. A riqueza de informações que as plataformas abertas hospedam também as torna alvos. O Hugging Face tornou-se uma tentação para o enxame de agentes da OpenAI por causa dos conjuntos de dados de avaliação que ele possui, enquanto o alvo do OpenCode neste caso veio de suas “chaves de API de terceiros suculentas”, segundo Solaiman. 

“A combinação disso nos torna alvos prioritários”, disse Solaiman ao TechCrunch em uma conversa separada. Ela acrescentou que há um “perigo de o código aberto realmente fechar as portas em um momento em que obtivemos tanto apoio público”.

Grande parte da indústria manifestou-se recentemente em apoio aos modelos de IA abertos, incluindo pesos pesados como Jensen Huang, da Nvidia. E, cada vez mais, governos, empresas e startups estão contando com modelos abertos para construir. 

Então, como seria realmente uma retração? Teoricamente, isso poderia significar restrições sobre quem pode carregar modelos ou conjuntos de dados, verificação de identidade mais rigorosa ou verificação adicional de desenvolvedores antes que eles possam acessar determinados recursos. Embora essas medidas pudessem proteger as plataformas contra invasores, também poderiam dificultar a participação de pesquisadores independentes e entusiastas em comunidades nas quais antes seriam bem-vindos. 

Por enquanto, o Hugging Face está tentando evitar esse caminho. Solaiman disse que a empresa tem reforçado as ferramentas de monitoramento para capturar invasões, além de tomar medidas para evitá-las. Mas o monitoramento pode ser caro de manter, observou ela, e nem toda plataforma poderá arcar com os custos. 

“Os tokens de acesso administrativo faziam parte do que dava a esse enxame de agentes melhor acesso, então nós apenas os rotacionamos com muito mais frequência do que antes”, disse Solaiman. “Agora também temos controles de rede mais rígidos.”

Em outras palavras, as credenciais que dão aos administradores amplo acesso aos sistemas do Hugging Face agora são alteradas com mais frequência, o que significa que um token roubado seria útil por menos tempo. 

Outras partes do ecossistema de código aberto estão lidando com compensações semelhantes relacionadas à segurança. O GitHub, o maior host do mundo para projetos de código aberto, tem combatido invasores que injetam código malicioso em projetos para espalhar malware rapidamente. A empresa começou a apertar os requisitos de segurança para a publicação de pacotes no registro npm, revogando tokens de autenticação mais antigos e limitando por quanto tempo os novos permanecem válidos. 

Zach Steindler, um engenheiro do GitHub que lida com a segurança da cadeia de suprimentos de software, disse ao TechCrunch por e-mail que, embora as medidas de segurança possam perturbar os fluxos de trabalho estabelecidos, as plataformas podem se tornar mais seguras sem restringir fundamentalmente a participação. 

“Trata-se menos de limitar a funcionalidade e mais de ir e consertar coisas que não eram seguras em primeiro lugar”, disse Steindler. Ele observou que os scripts de instalação npm existem há anos, mas ataques recentes destacaram o quão perigosos eles poderiam ser. O GitHub trabalhou com a OpenJS — uma organização sem fins lucrativos que hospeda projetos de código aberto críticos construídos com JavaScript — em uma abordagem mais segura.

A mesma lógica se aplica ao lugar onde as equipes de segurança concentram seus esforços, segundo Steindler: “A segurança tem tudo a ver com maximizar o impacto com os recursos que temos, e eu prefiro muito mais investir em detectar comportamento suspeito e capacidades de contenção: coisas que cobrem todas as contas e métodos de acesso. O comportamento suspeito é suspeito, independentemente de quem o esteja exibindo.”