A Anthropic está permitindo que os pesquisadores da METR olhem sob o capô com acesso de nível de funcionário

A Anthropic está concedendo acesso de nível de funcionário a seis pesquisadores da METR, uma organização sem fins lucrativos que testa modelos avançados de inteligência artificial, para avaliar de forma independente os modelos, as práticas de segurança e o gerenciamento de riscos da Anthropic, informou a empresa em uma postagem no blog na quinta-feira.

O acordo ocorre em um momento em que incidentes de agentes de IA agindo fora de suas instruções têm sido divulgados a cada uma ou duas semanas desde o final de agosto. Os incidentes intensificaram os pedidos por verificações independentes nas empresas de IA.

“Queremos prestar contas publicamente sobre as decisões que estamos tomando”, disse a Anthropic na postagem do blog. “Nosso objetivo é diminuir a lacuna entre o que os avaliadores entendem sobre os sistemas de uma empresa de IA de ponta e o que a própria empresa entende.”

Sob o novo acordo, a equipe da METR recebeu laptops da empresa emitidos pela Anthropic, espaço de escritório e acesso a ferramentas internas praticamente equiparados ao que as próprias equipes de avaliação de risco da Anthropic utilizam. “Os funcionários da Anthropic são incentivados a compartilhar informações com eles exatamente como fariam com um colega de trabalho focado em riscos de alinhamento”, afirmou a empresa.

A Anthropic comparou o acordo ao setor bancário, de forma semelhante a como os reguladores posicionam examinadores residentes dentro dos maiores bancos. 

A METR publicará suas próprias avaliações sobre os riscos, incidentes e práticas da Anthropic, e a empresa abriu mão do direito de bloqueá-las.

“A Anthropic não pode vetar a publicação, mas podemos exigir que eles tarjem informações se elas se enquadrarem em categorias restritas e predefinidas”, disse a empresa, tais como dados de clientes, qualquer informação protegida por sigilo profissional entre advogado e cliente, ou relacionada a informações sobre as arquiteturas de seus modelos. “A METR tem liberdade para caracterizar publicamente nossas tarjas e dizer se acredita que elas foram justificadas, desde que o faça sem revelar a informação tarjada”, acrescentou a Anthropic.

A METR é a única avaliadora até o momento no topo de um sistema de três níveis que a Anthropic está construindo. Os avaliadores no nível inferior, como a organização sem fins lucrativos de biosegurança SecureBio, realizam análises restritas e exigem a aprovação da Anthropic para publicar. O nível intermediário obtém mais informações e pode publicar sem aprovação, enquanto o nível superior acrescenta o acesso de nível de funcionário da METR. 

O anúncio de quinta-feira cumpre uma promessa que o CEO da Anthropic, Dario Amodei, fez em um artigo em setembro, no qual propôs integrar avaliadores externos dentro dos laboratórios de IA como um primeiro passo para desacelerar o desenvolvimento da tecnologia. A OpenAI rapidamente prometeu o mesmo, e ambas as empresas, juntamente com Google, Meta, Nvidia e xAI, assinaram desde então um acordo na Casa Branca comprometendo-se com a revisão independente.