Laboratórios de IA de ponta ainda não dizem como conteriam um modelo rebelde

Poucos dos principais laboratórios de IA publicaram ou demonstraram planos de resposta de contenção, de acordo com um estudo recente. Um plano de contenção detalha o que acontece quando uma IA é pega tentando subverter o controle humano — quais acessos são cortados e quando o sistema é totalmente desativado.

Essa é a conclusão da Guidelight AI Standards, uma organização dedicada a promover práticas seguras de desenvolvimento de IA de vanguarda, que avaliou cinco laboratórios líderes quanto à preparação deles exatamente para esse cenário. A OpenAI ficou em primeiro lugar; Anthropic e Meta obtiveram as pontuações mais baixas. As descobertas importam à medida que a IA agêntica assume papéis mais autônomos dentro dos sistemas das próprias empresas, e conforme reguladores na Califórnia e em Nova York começam a exigir divulgações. Para qualquer pessoa que esteja construindo ou investindo nesses modelos, é uma leitura independente rara sobre o nível de seriedade com que cada laboratório trata o risco operacional em comparação com o quanto fala sobre ele.

A avaliação da Guidelight baseou-se em planos publicamente disponíveis de Anthropic, Google, OpenAI, Meta e xAI, pontuados em uma série de métricas, incluindo quão bem cada empresa registra e monitora o que seus sistemas de IA estão fazendo internamente, se ela interrompe sistemas após um surto de mau comportamento sinalizado, se terceiros independentes auditam seus controles e publicam as descobertas, e qual é o seu plano exato para conter um modelo que sai dos trilhos.

A preocupação sobre se as empresas de IA conseguem conter seus modelos cada vez mais capazes e agênticos cresceu na sequência de uma série de incidentes de cibersegurança de grande repercussão, nos quais modelos da OpenAI, Anthropic e Meta obtiveram acesso não intencional à internet durante avaliações de segurança e invadiram sistemas externos. 

As descobertas destacam diferenças na forma como as empresas de IA estão abordando publicamente a segurança à medida que ampliam a implantação agêntica em ambientes onde os sistemas de IA podem tomar ações sérias em larga escala. Embora algumas empresas de IA tenham detalhado como testam seus modelos para identificar capacidades perigosas antes da implantação, elas geralmente têm sido menos transparentes sobre o que acontece quando modelos que já operam dentro de seus sistemas se comportam mal. 

“Fiquei surpreso com o quão pouco as empresas de IA disseram sobre como lidariam com um incidente muito grave se o modelo delas escapasse do controle de alguma forma”, disse ao TechCrunch Steven Adler, cientista-chefe da Guidelight e ex-pesquisador de segurança da OpenAI. 

A Guidelight define um plano de contenção como um “plano pré-especificado, acionado quando a IA é detectada tentando subverter o controle, que aborda quais permissões revogar do modelo, para quem o modelo pode continuar operando, sob quais restrições e quando tirá-lo totalmente do ar”.

“Há bons motivos para pensar que os principais modelos nas empresas de IA de vanguarda no momento estão desalinhados em algum sentido”, disse Adler. “Sempre que os modelos estão realizando trabalho em nome da empresa, a empresa deve ter algum arcabouço ao redor disso para conseguir identificar o que essa IA está fazendo, procurar sinais de desalinhamento, impedi-la de fazer algo muito perigoso antes que ela tome essa ação e, de modo geral, planejar o que faria no evento de um incidente sério de controle, em que haja uma emergência em mãos e seja preciso descobrir como conter esse incidente de perda de controle.”

Até o momento, a maioria dos planos em vigor para gerenciar riscos catastróficos ainda é deixada essencialmente a cargo das empresas. O relatório da Guidelight afirma que a melhor evidência pública mostra que as empresas têm “poucos protocolos de contenção prontos para uma emergência”. 

Naturalmente, pode haver planos de contenção que as empresas possuem, mas não compartilharam publicamente. Um porta-voz do Google disse ao TechCrunch que o relatório da Guidelight não representa todo o escopo das medidas de segurança e proteção de IA da empresa. A empresa não respondeu à pergunta do TechCrunch sobre se o Google possui um plano interno de resposta de contenção que não foi divulgado publicamente.

Um porta-voz da OpenAI expressou sentimentos semelhantes, afirmando que a avaliação da Guidelight não capta todas as práticas internas da empresa. “Temos um processo para exigir a restrição de permissões, a pausa de cargas de trabalho, a limitação de implantação ou a desativação total do modelo, e já o aplicamos”, disse o porta-voz.

A Meta recusou-se a dizer se possui um plano interno de resposta de contenção, direcionando o TechCrunch para um arcabouço de IA existente que descreve os limites de risco e como a empresa testa a perda de contenção.

Lily Li, advogada especializada em privacidade e IA e fundadora da Metaverse Law, disse ao TechCrunch que acredita que as empresas possam hesitar em divulgar todo o escopo de suas políticas de contenção e avaliações em sites públicos por razões jurídicas, e não apenas competitivas.

“A preocupação do ponto de vista da empresa é que, se você tornar as divulgações específicas demais e não cumprir suas promessas, isso poderá servir de base para uma alegação de marketing desleal e enganoso, expondo você a uma maior responsabilidade no futuro”, disse Li.

O objetivo do estudo da Guidelight é, em grande parte, incentivar as empresas a serem mais transparentes sobre seus planos de segurança. Os reguladores também estão começando a forçar essa questão.

O projeto SB 53 da Califórnia, que entrou em vigor este ano, exige que grandes desenvolvedores de vanguarda publiquem arcabouços explicando como identificam e respondem a incidentes críticos de segurança e gerenciam riscos decorrentes de modelos que contornam mecanismos de supervisão. A Lei RAISE de Nova York, que possui critérios semelhantes, entra em vigor em janeiro. 

No mês passado, parlamentares apresentaram a Lei de Botão de Desativação de IA (AI Kill Switch Act), um projeto de lei federal bipartidário que exigiria que os principais desenvolvedores de IA construíssem e mantivessem mecanismos técnicos para desligar modelos de IA rebeldes. 

“Um botão de desativação é o mínimo absoluto para os modelos de hoje”, disse Connor Leahy, diretor executivo nos EUA da organização sem fins lucrativos ControlAI. “Se as últimas semanas revelaram alguma coisa, é que essas empresas não compreendem os sistemas que estão construindo, e os modelos estão crescendo a ponto de se tornarem mais difíceis de conter quando agem por conta própria. Sem uma maneira de desligar os sistemas perigosos atuais, e com todos os incentivos para continuar construindo sistemas ainda mais incontroláveis, estamos caminhando em uma direção muito perigosa.” 

Sem um plano de contenção em vigor, disse Adler, as empresas podem acabar improvisando suas respostas a uma emergência e “tentando a sorte diante de um adversário muito mais rápido”.

A avaliação da Guidelight mediu se cada empresa implementa seis práticas prioritárias de seu padrão de Controle, com base apenas em informações publicamente disponíveis — portanto, uma pontuação baixa reflete a falta de divulgação pública, e não necessariamente a ausência de salvaguardas internas.

As empresas com as pontuações mais baixas na publicação de seus planos de contenção foram Meta e Anthropic — sendo este último resultado talvez mais surpreendente do que o primeiro, dada a retórica da Anthropic sobre segurança. A Guidelight afirma que o Relatório de Risco de agosto da Anthropic não menciona “a limitação da implantação de um de seus modelos como um dos resultados possíveis de seu processo para investigar e responder a incidentes de desalinhamento e controle”. Da mesma forma, a Guidelight não encontrou evidências de que a Meta possua um plano de resposta de contenção ou tenha qualquer plano de adotar um. 

Um porta-voz da Anthropic disse que, se a empresa detectasse um modelo tentando burlar a supervisão ou subverter o controle humano de outra forma, ela conduziria uma avaliação de risco focada em determinar se a contenção é a resposta apropriada.

A OpenAI obteve a pontuação mais alta (3 de 5) porque, em várias ocasiões, pausou ou encerrou cargas de trabalho — incluindo a implantação e o treinamento de modelos internos —, após descobrir incidentes de segurança. A empresa também descreveu quais etapas tomaria antes de retomar as cargas de trabalho. 

“No entanto, não encontramos evidências de que a [OpenAI] tenha adotado um plano formal sobre quando e como responder a incidentes de desalinhamento no futuro”, diz o relatório. 

Adler observou que a alta pontuação da OpenAI é um desenvolvimento relativamente recente na sequência do incidente do Hugging Face (no qual um modelo da OpenAI escapou de sua área restrita de teste e invadiu os sistemas do Hugging Face ao tentar burlar uma avaliação de cibersegurança). Depois disso, a empresa compartilhou mais detalhes sobre como isolou alguns de seus modelos que se comportaram mal. 

Esse episódio é apenas um exemplo de sistemas de IA agindo contra os objetivos da empresa que os construiu. Considere um caso separado envolvendo os modelos da Anthropic, que essencialmente tentaram convencer os mantenedores de uma base de código de código aberto a aceitar códigos com vulnerabilidades.

Adler afirmou que uma circunstância desse tipo poderia facilmente ocorrer dentro dos sistemas internos de uma empresa de IA. Para evitar isso, ele sugere que as empresas escaneiem a cadeia de pensamento de seus sistemas de IA — o raciocínio passo a passo do modelo — em busca de sinais de encepção, planejamento de longo prazo ou planos para introduzir vulnerabilidades em códigos que possam explorar mais tarde. 

Os métodos que a Guidelight defende são bastante diretos de implementar, diz Adler, e em muitos casos, versões deles já existem. “Trata-se de tomar a decisão dentro da empresa de se importar o suficiente com esse risco para ampliar ligeiramente o escopo”, afirmou Adler. 

Um dos principais desafios é que os pesquisadores querem poder operar com flexibilidade dentro de seus sistemas de IA, e a introdução de monitoramento preventivo em tempo real pode gerar atrito. “Os pesquisadores basicamente fazem seu trabalho e, se houver um problema, outra pessoa cuida de limpá-lo depois, de modo que eles não precisam alterar seu fluxo de trabalho nesse meio-tempo”, disse ele.

O problema com o “monitoramento de limpeza após o fato” é que ele faz com que os pesquisadores corram para apagar incêndios. E, para alguns tipos de incidente, pode ser tarde demais. Por exemplo, uma IA poderia desativar o sistema de controle de uma empresa, o que significa que os pesquisadores não podem mais contar com a possibilidade de flagrar o mau comportamento mais tarde. 

Muitos na indústria de IA reclamarão que criar planos definidos para lidar com o mau comportamento é fundamentalmente difícil porque a IA se move rápido demais; os planos de hoje não valerão nada amanhã. 

Adler evoca o velho ditado de que os planos não valem nada, mas o planejamento é indispensável. 

“Estaríamos em uma situação melhor se as empresas tivessem pensado nisso com antecedência, e espero que estejam, mesmo que não tenham falado sobre isso publicamente.”

A xAI não respondeu a tempo para comentar.