Como as barreiras de proteção da IA estão impedindo o trabalho de pesquisadores de segurança cibernética ofensiva
Por meses, as gigantes de IA criaram programas especiais com verificação prévia e barreiras de proteção rígidas para limitar o uso de seus modelos por hackers mal-intencionados. No entanto, esses limites agora estão prejudicando o trabalho de defensores legítimos de redes, bem como o de pesquisadores de cibersegurança ofensiva.
Em junho, o governo dos EUA impôs restrições de controle de exportação aos modelos de IA altamente divulgados da Anthropic, Mythos e Fable. A medida foi motivada, ao menos em parte, por um relatório que afirmava ser possível contornar as barreiras de proteção dos modelos, projetadas para impedir que os usuários os utilizassem para criar e executar ataques cibernéticos mal-intencionados.
Independentemente de o incidente ter sido realmente motivado por temores de uma fuga de restrições (jailbreak), o fato é que a Anthropic tem comercializado repetidamente o Mythos como algum tipo de cibermáquina do juízo final que só pode ser entregue a usuários cuidadosamente verificados e, mesmo assim, com barreiras de proteção rígidas em vigor. (Os controles de exportação sobre o Fable 5 e o Mythos 5 já foram suspensos. O Fable 5 retornou ao acesso geral em 1º de julho; o Mythos 5 foi reintroduzido apenas para organizações americanas verificadas como parte do processo de revisão do governo.)
Esse tipo de controle de acesso não é exclusivo do Mythos. Tanto a Anthropic, com seus outros modelos, quanto a OpenAI oferecem aos pesquisadores de cibersegurança programas aos quais podem se candidatar para passar por verificação e — se aprovados — acessar modelos com menos restrições de cibersegurança: o programa Trusted Access for Cyber da OpenAI e o Cyber Verification Program da Anthropic.
Essas barreiras de proteção têm sido amplamente criticadas, principalmente por pesquisadores cujo trabalho consiste em encontrar vulnerabilidades desconhecidas em sistemas e criar maneiras de explorá-las antes que os criminosos o façam.
Durante uma participação recente em um podcast de cibersegurança, Mark Dowd, um conhecido pesquisador de segurança, disse que "não me sinto muito confortável com o fato de essas grandes empresas aleatórias tomarem decisões arbitrárias sobre o que é seguro na segurança e o que não é".
Dowd passou décadas encontrando e vendendo falhas de dia zero ("zero-days") — falhas de software desconhecidas anteriormente e os exploits que tiram proveito delas — para governos ocidentais, em vez de relatá-las aos fabricantes de software para que sejam corrigidas. Os governos pagam caro por vulnerabilidades justamente porque elas permanecem abertas, o que é útil para operações de inteligência.
Dowd admitiu que seu trabalho pode torná-lo tendencioso, mas ele não está sozinho. Várias pessoas que trabalham com cibersegurança ofensiva — que investigam proativamente os sistemas em busca de pontos fracos — descreveram ao TechCrunch como usam ferramentas de IA e lidam com suas barreiras de proteção.
Chris Anley, cientista-chefe da gigante de consultoria de segurança NCC Group, disse que pedir a um modelo de IA que tente explorar um bug é uma etapa fundamental para confirmar se é uma vulnerabilidade real que vale a pena corrigir. Mas, se uma barreira de proteção faz com que o modelo se recuse a responder diretamente à pergunta, a barreira prejudica os defensores, afirmou ele.
"É aqui que entra toda a questão da ofensiva versus defensiva e das barreiras de proteção, porque o comando 'corrija este código' é tanto um mecanismo essencial para a defesa quanto um roteiro para encontrar vulnerabilidades críticas na base de código", disse Anley. "Portanto, ao mesmo tempo, a mesma ferramenta é tanto uma ferramenta ofensiva quanto defensiva, e as duas não podem realmente ser separadas."
É "como um martelo", continuou ele. "Você não pode construir uma casa sem um martelo. É definitivamente uma ferramenta, mas também é, de forma irredutível, uma arma."
Quando ele e seus colegas encontram esse tipo de obstáculo, às vezes recorrem a modelos de IA de código aberto que não vêm com nenhuma barreira de proteção.
Paolo Stagno, diretor de tecnologia da Crowdfense — uma empresa conhecida que desenvolve, adquire e vende vulnerabilidades desconhecidas para agências governamentais —, concordou com Dowd, afirmando que as empresas de IA "tratam os clientes essencialmente como crianças que precisam de babá" com seus programas verificados e barreiras de proteção.
Stagno disse que ele e seus colegas usam modelos de fronteira, mas apenas para engenharia reversa. Eles evitam usar IA para ajudar a encontrar vulnerabilidades ou criar exploits, segundo ele, porque alimentar esse trabalho em um modelo baseado em nuvem corre o risco de vazar dados confidenciais de vulnerabilidades ou fazer com que sejam absorvidos em futuras execuções de treinamento. Para essa etapa, ele disse que usam modelos de código aberto executados localmente, pois não dependem do compartilhamento de dados fora do modelo.
Giuseppe Cali, um pesquisador de segurança que encontra falhas de dia zero e desenvolve exploits, disse que as barreiras de proteção não estão impedindo seu trabalho. Isso porque ele não usa IA para trabalhos ofensivos; em vez disso, ele a usa para engenharia reversa inicial, para entender o código que está analisando e para criar ferramentas de apoio. Para isso, segundo ele, as ferramentas de IA podem acelerar o processo e permitir que ele se concentre na descoberta de vulnerabilidades.
"Ainda quero ser o dono da descoberta real do bug e da criação do exploit, e isso não mudaria se todas as barreiras de proteção fossem removidas amanhã", disse Cali. "Tenho ciúmes dos meus bugs e gosto demais deste jogo para deixar que os modelos o joguem por mim."
Um pesquisador de um fabricante de componentes para smartphones, que falou sob condição de anonimato por não estar autorizado a falar com a imprensa, disse que seu empregador não faz parte do programa CVP da Anthropic e, como resultado, suas ferramentas são mal utilizadas para encontrar vulnerabilidades porque as barreiras de proteção são muito rígidas.
"Se o sistema percebe que estamos fazendo qualquer coisa relacionada à segurança, ele simplesmente para de funcionar e fica inutilizável", disse a pessoa.
Chris Thompson — executivo-chefe da empresa de cibersegurança RemoteThreat e fundador da Offensive AI Con, um evento focado em segurança ofensiva e IA — disse que, em sua experiência com o uso de modelos de IA de fronteira, as barreiras de proteção podem ser inconsistentes e funcionar de forma diferente a cada dia. Isso é verdade mesmo dentro dos limites mais flexíveis dos programas verificados da Anthropic e da OpenAI.
"Acho que o impacto prático é que você passa muito tempo negociando com o modelo em vez de trabalhar no programa de segurança principal", disse Thompson. "Em vez de analisar uma vulnerabilidade e raciocinar sobre a explotabilidade, você está tentando descobrir por que está obtendo resultados inconsistentes ou por que os modelos estão hiper-sanitizando a saída."
Consequentemente, os pesquisadores dependem ou são empurrados para modelos de código aberto chineses, como o GLM — modelos disponíveis para download gratuito que podem ser executados localmente sem verificação ou restrições de uso —, disse Thompson.
"Você tem esses pesquisadores responsáveis que estão sendo afastados de sistemas governados pelos EUA para sistemas de propriedade estrangeira", afirmou ele. "Acho que é mais prejudicial do que benéfico ter essas barreiras de proteção em vigor."
Em vez de apertar ainda mais as restrições, Thompson pediu que os laboratórios de fronteira de IA abram seus programas, forneçam acesso responsável e responsabilizem aqueles que abusam de suas ferramentas. Caso contrário, argumentou ele, os defensores perderão a corrida da IA.
"Há uma grande tempestade se aproximando. Há uma grande onda de ataques que vai acontecer em uma velocidade e escala nunca antes vistas", disse Thompson. "Mas as mesmas empresas de consultoria de segurança e pesquisadores legítimos que estão tentando fazer a diferença estão sendo sufocados neste momento."
