O primeiro avaliador embutido da Anthropic é… a Accenture?

Os planos de Dario Amodei de colocar avaliadores de segurança terceirizados dentro de laboratórios de IA estão tomando forma: a Anthropic afirmou que funcionários da gigante de consultoria tecnológica Accenture começarão a trabalhar dentro da empresa para examinar seus modelos e sua equipe.

Em uma publicação em blog, a Anthropic afirmou que a Faculty, uma empresa adquirida pela Accenture em janeiro para atuar como sua divisão de IA, começará a “avaliar e realizar testes de estresse (red-teaming) em modelos, conduzir avaliações de alinhamento e testar as salvaguardas dos modelos”. Ambas as empresas esperam investir pelo menos US$ 1 bilhão no projeto ao longo dos próximos cinco anos.

A escolha da Accenture surpreendeu muitos observadores de IA — e os mercados, onde as ações da consultoria dispararam 8% após o fechamento do pregão. A discussão em torno de avaliadores embutidos que surgiu a partir da postagem no blog de Amodei tem se concentrado em organizações de pesquisa em segurança de IA como METR, Redwood Research e Apollo Research. Isso é particularmente verdadeiro na Anthropic, que coloca a segurança e o alinhamento da IA no centro de sua missão.

A Anthropic afirmou que mais avaliadores serão anunciados nas próximas semanas e que está em conversas com o METR e outras organizações sem fins lucrativos sobre como “conduzir projetos-piloto de elementos de avaliação embutida usando seus próprios financiamentos”.

Embora a Accenture não seja conhecida por seu trabalho na ponta da lança da pesquisa de aprendizado profundo, a Anthropic apontou a experiência prática da empresa na implantação de IA para grandes corporações e agências governamentais como uma vantagem fundamental. Ela também é, como uma grande empresa de capital aberto anterior à revolução da IA, funcionalmente mais independente da Anthropic e do ecossistema complexo em torno do laboratório de IA.

O laboratório observou que ainda não existem padrões para o acesso ou comunicações dos avaliadores e que espera que sua abordagem evolua ao longo do tempo. Embora as avaliações externas já sejam uma parte importante do processo de lançamento de novos grandes modelos de linguagem, incidentes recentes elevaram os riscos: agentes de IA implantados pela OpenAI e pela Anthropic invadiram sites externos sem disparar alarmes dentro dos laboratórios.

Alguns críticos que pedem uma abordagem mais responsável para a construção de inteligência artificial veem o plano de Amodei para a auto-regulamentação da indústria de IA como um plano para se esquivar da responsabilidade pelo comportamento inadequado dos modelos de IA. A Anthropic insiste que esses avaliadores “não reduzem nossa responsabilidade, mas ajudam a torná-la mais verificável. A segurança de nossos modelos continua sendo nossa responsabilidade”.