A Anthropic e a OpenAI querem incorporar avaliadores de segurança. Eles serão realmente independentes?
Em um longo ensaio publicado durante o fim de semana, o CEO da Anthropic, Dario Amodei, fez uma proposta que a indústria de IA teria rejeitado instantaneamente até mesmo há um ano: incorporar avaliadores terceirizados dentro de todas as empresas de IA de fronteira, dando a eles o poder de relatar incidentes de segurança, avaliar se os modelos de IA estão verdadeiramente alinhados e compartilhar suas descobertas sem filtros com o mundo.
Amodei disse que a Anthropic se comprometeria a dar a avaliadores independentes como METR e Redwood Research acesso sem precedentes aos sistemas da empresa. O CEO Sam Altman disse que a OpenAI também se comprometeria com a prática, sinalizando uma mudança potencialmente profunda em como a indústria trabalha com grupos de pesquisa externos.
Avaliadores terceirizados que conversaram com o TechCrunch receberam a proposta com bons olhos em termos gerais, mas disseram que os detalhes precisam ser refinados — e idealmente respaldados por legislação — para que saibam se funcionarão como cães de guarda verdadeiramente independentes ou como fornecedores operando sob os termos das empresas de IA.
Esse acesso mais profundo está se tornando mais importante à medida que os modelos ficam melhores em reconhecer quando estão sendo avaliados, aumentando o risco de que se comportem bem durante os testes enquanto ocultam comportamentos problemáticos. Pesquisadores dizem que pistas sobre esse comportamento podem passar despercebidas ao testar o modelo finalizado, mas descobertas ao investigar como ele se comportou ao longo de todo o treinamento.
“As empresas de IA deveriam ser capazes de responder a algumas perguntas muito básicas sobre o seu processo de treinamento, tais como: A IA já tentou ativamente sabotar seu próprio treinamento de alinhamento enquanto passava pelo treinamento?”, disse ao TechCrunch Alexander Meinke, chefe de pesquisa da Apollo Research. “A resposta para isso deveria ser um 'não' inequívoco, e agora estamos confiando completamente nas empresas de IA para verificarem isso cuidadosamente por si mesmas e depois relatarem isso verdadeiramente ao público. E vimos por incidentes recentes que, por padrão, elas não farão nenhuma das duas coisas. Como avaliadores embutidos, nós poderíamos realmente verificar.”
Historicamente, as empresas de IA traziam revisores externos para testar modelos finalizados pouco antes de seu lançamento. Agora, avaliadores com os quais o TechCrunch conversou propõem dar a eles acesso não apenas ao modelo final, mas a versões intermediárias, ou “pontos de salvamento” (checkpoints), de seu histórico de treinamento. Adam Gleave, CEO da FAR.AI, disse que os avaliadores poderiam comparar esses pontos de salvamento para determinar quando comportamentos preocupantes surgiram, inspecionar o ambiente pós-treinamento que premia os modelos por determinados comportamentos e verificar transcrições e registros de avaliação para confirmar as alegações de uma empresa sobre o desempenho de um modelo.
Se e quando a Anthropic e a OpenAI planejam fornecer esse tipo de acesso ainda não está claro. Nenhuma das empresas compartilhou com quais avaliadores trabalharão, quando eles serão embutidos, quantos serão contratados, exatamente quais sistemas e informações poderão acessar ou o que pode ser divulgado ao público, apesar de perguntas repetidas do TechCrunch.
Olhar sob o capô dessa forma importa porque modelos que têm um bom desempenho em testes de segurança não são necessariamente seguros se aprenderam especificamente como passar naquele teste. John Steidley, chefe de estratégia da Palisade Research, apontou o exemplo de um “padrão de referência de resistência ao desligamento” que mede se a IA resistirá a ser desligada em certas circunstâncias.
“É extremamente relevante se a IA foi treinada especificamente para ter um bom desempenho nesse padrão de referência”, disse Steidley, comparando-o ao escândalo do Dieselgate da Volkswagen, no qual carros foram programados para reconhecer testes de emissões e se comportar de forma diferente sob condições de teste.
Gleave observou que um acesso significativo pode ir além dos próprios modelos, com os avaliadores recebendo acesso para entrevistar funcionários para verificar se a documentação de uma empresa e suas descrições públicas de práticas de segurança coincidem com o que aconteceu internamente.
Amodei delineou uma proposta bastante abrangente que pode dar aos avaliadores o tipo de acesso que consideram necessário, incluindo o direito de “publicar descobertas principais sobre níveis de risco, incidentes, práticas e o acesso que receberam ou não receberam — sem controle editorial por parte da Anthropic.”
No entanto, os avaliadores dizem que tal sistema só funcionará se as empresas de IA estiverem realmente dispostas a ceder o controle sobre o processo. Esforços anteriores de avaliações independentes sugerem que essa abdicação será conquistada a duras penas, já que terceiros frequentemente esbarraram em tensões relacionadas a acesso, tempo, confidencialidade e ao que podem dizer publicamente.
Gleave disse que a FAR.AI teve que recusar contratos com vários desenvolvedores de fronteira que queriam controle excessivo sobre o processo de avaliação, ameaçando a independência da empresa. Por padrão, ele disse que os avaliadores são tratados como empregatícios comuns: vinculados a acordos de confidencialidade (NDAs) restritivos e contratos que dão aos desenvolvedores controle significativo sobre o que pode ser finalmente publicado.
Há também a questão de saber se os revisores terão tempo e acesso suficientes para realizar o trabalho que lhes está sendo pedido. Ao investigar o incidente do Hugging Face, a OpenAI deu ao METR e à Redwood aproximadamente uma semana presencialmente para investigar, e ambos disseram posteriormente que não puderam tirar conclusões seguras devido, em parte, a limitações de escopo e tempo.
Um problema semelhante ocorreu durante os testes de pré-lançamento do GPT-6 Astra, que a OpenAI promoveu como seu modelo mais alinhado até agora. De acordo com a contribuição da Apollo Research para o cartão do modelo, a empresa recebeu apenas três dias para testar o Astra, o que tornou difícil tirar conclusões firmes.
“A Apollo acredita que, dadas as taxas mais altas de conscientização de avaliação e a janela de avaliação limitada, taxas baixas de mau comportamento aqui não fornecem evidências substanciais sobre o alinhamento ou desalinhamento do modelo”, escreveu a empresa em sua avaliação.
Esse histórico deixa os avaliadores com uma pergunta básica: Por que desta vez deveria ser diferente?
“É certamente possível que o Dario e o Sam tenham apenas mudado de ideia, e que vão ser muito abertos sobre isso”, disse Gleave. “Mas a propriedade intelectual dessas empresas é tão incrivelmente valiosa para elas, e acho que elas vão, por padrão, ser muito cuidadosas sobre o que pode ser compartilhado.”
Vários pesquisadores que conversaram com o TechCrunch pediram uma estrutura transparente com a qual todos concordem publicamente. Parte da estrutura, diz Steidley, deveria envolver padrões para os tipos de auditores nos quais as empresas podem confiar, para que não tentem contornar o problema buscando avaliadores que não sejam qualificados ou não estejam interessados em avaliar o risco mais preocupante.
Henry Papadatos, diretor executivo da Safer AI, diz que o problema, mesmo com uma estrutura pública, é que medidas voluntárias sempre dependem da boa vontade de uma empresa.
“Idealmente, teríamos uma boa regulamentação exigindo isso... porque então as empresas não podem mudar de ideia amanhã se tiverem uma grande crise de relações públicas”, disse Papadatos ao TechCrunch, observando que este também é um bom meio de pressionar todas as empresas a aderirem às regras, e não apenas as mais dispostas.
Nem todos aderiram. Até agora, Meta, SpaceXAI e Google DeepMind não se comprometeram a incorporar avaliadores terceirizados, embora o CEO da DeepMind, Demis Hassabis, tenha proposto um órgão de normas da indústria separado para testar de forma independente modelos de fronteira. Google, OpenAI e Anthropic também vêm discutindo planos de segurança de IA em caráter privado há semanas.
Algumas leis já estão se formando em torno da ideia de avaliadores terceirizados. O projeto SB 53 da Califórnia, sancionado no ano passado, exige que grandes desenvolvedores de IA de fronteira publiquem estruturas de segurança e relatem incidentes críticos de segurança. Uma nova lei, o SB 813, sancionada este mês, cria uma estrutura para “organizações de verificação independente” reconhecidas pelo estado com expertise em avaliar riscos de IA.
Na Europa, a Lei de IA da UE exige que os desenvolvedores de fronteira conduzam e documentem avaliações de modelos e testes contraditórios, além de relatarem incidentes graves. O Escritório de IA da UE também pode conduzir suas próprias avaliações e nomear especialistas independentes.
Por enquanto, a lei permanece menos abrangente do que o que Amodei está propondo, deixando os laboratórios de fronteira amplamente responsáveis por decidir quanta fiscalização independente eles aceitarão. Papadatos disse que a autorregulação voluntária é melhor do que nada, mas, no fim das contas, as empresas não podem exigir a liberdade de controlar suas próprias regras de segurança e, ao mesmo tempo, pedir ao público que confie que as estão seguindo.
“Não se pode ter as duas coisas — ter zero responsabilidade externa e depois dizer: ‘Vou apenas ter minhas próprias regras flexíveis’”, disse Papadatos.
