Apostando com nossas vidas: pesquisador da Anthropic pede demissão e alerta contra IA autoaperfeiçoável

Um pesquisador da Anthropic pediu demissão devido ao receio de que o desenvolvimento descontrolado de modelos de IA autoaperfeiçoáveis acabe matando todos nós.

Jacob Coxon, um pesquisador que afirmou em uma publicação em rede social na terça-feira à noite que passou os últimos três anos trabalhando em pesquisas de pré-treinamento na OpenAI e na Anthropic, acusou as empresas de falharem em agir com responsabilidade. Ele disse que as pessoas que correm para construir essa tecnologia “acreditam sinceramente que ela pode matar todos nós até o final da década”.

“Elas estão correndo direto para a superinteligência autoaperfeiçoável e apostando com as nossas vidas”, escreveu Coxon em uma sequência de posts no X.

Coxon se junta a um coro crescente na indústria que pede uma desaceleração antes que a tecnologia de IA aprenda a se aperfeiçoar — um marco que muitos acreditam que encerrará o controle humano sobre a IA. 

A demissão pública ocorre em meio a uma pressão crescente de legisladores e insiders da indústria para desacelerar o desenvolvimento de IA, após vários incidentes envolvendo agentes de IA que escaparam de seus ambientes isolados (sandboxes) e acessaram a internet aberta.

Os mais sérios até agora foram sistemas da OpenAI violando os servidores da Hugging Face, um evento que, segundo pesquisadores, continua mal compreendido, devido em parte à natureza limitada das investigações independentes sobre o incidente. Por volta da mesma época, os agentes de IA da Anthropic também alcançaram sistemas fora de seus ambientes de teste após falhas de configuração em avaliações de segurança conduzidas por terceiros darem a eles caminhos inadvertidos para a internet.

A Anthropic não respondeu imediatamente a um pedido de comentário sobre a demissão.

Aqui está o restante do aviso e apelo à ação de Coxon: 

Não subestimem o poder desta tecnologia. Em breve, estes serão sistemas superinteligentes capazes de hackear qualquer coisa, revolucionar qualquer área da noite para o dia e adquirir poder e recursos reais. Todos nós testemunhamos o progresso em cada um desses domínios, e o progresso não está diminuindo o ritmo.

As pessoas que estão construindo a IA acreditam sinceramente que ela pode matar todos nós até o final da década. Isso não é uma manobra de marketing. Se é que há algo, muitos executivos e pesquisadores seniores atenuam suas palavras na imprensa para parecerem sensatos — mas eu ouço essas mesmas pessoas expressarem medo em conversas privadas. Nenhuma outra atividade humana representa este nível de perigo.

Uma resposta comum é: “se eles realmente acreditam nisso, por que ainda estão construindo?”. Na OpenAI, muitos não internalizaram profundamente os riscos civilizacionais. Na Anthropic, os riscos são bem compreendidos, mas eles estão presos em uma corrida para chegar lá primeiro — eles acreditam que mais ninguém agirá com responsabilidade, então precisam fazer isso por conta própria, apesar do risco.

Aceitar esta corrida e entrar no “fim de jogo” é uma aposta arrogante que não deveria ser lançada a partir do Slack de uma empresa privada. Tentar acelerar o alinhamento exigiria uma confiança extraordinária de que não existem trajetórias melhores disponíveis.

Estou otimista quanto ao potencial de cooperação. Disparos de advertência como o ataque à Hugging Face tornaram os acordos de ritmo entre os laboratórios dos EUA mais viáveis. Sinto que não estamos no caminho certo para evitar uma corrida global, o que pode exigir ações custosas, como uma proibição temporária do aprimoramento das capacidades dos modelos.

Se você é um pesquisador de laboratório, eu o insto a considerar como serão realmente os próximos anos. Você quer iniciar uma execução de RL (aprendizado por reforço) superinteligente sem uma compreensão rigorosa da mente dela? Você deveria abaixar a cabeça porque “isso vai acontecer de qualquer maneira” — ou aproveitar este momento para clamar por condições diferentes?

Um dos colegas de Coxon na Anthropic, Evan Hubinger, ecoou o sentimento, dizendo que sua equipe “acredita sinceramente que a IA pode matar todos os humanos!”. No entanto, ele ponderou seu argumento ao dizer que a probabilidade é superior a 10% na próxima década e admitiu que a Anthropic não “tem um plano para resolver o alinhamento para a superinteligência e não está claramente no caminho para isso”.

Um relatório recente da Guidelight AI Standards, uma organização que promove práticas seguras de desenvolvimento de IA de ponta, constatou que poucos dos principais laboratórios de IA publicaram planos de resposta de contenção para desligar uma IA que tente subverter o controle humano.

Em suas postagens nas redes sociais, Hubinger acrescentou que o risco dos modelos atuais é baixo, mas o temor se agrava com a “superinteligência surgindo do autoaperfeiçoamento recursivo”, o que está “acontecendo mais rápido do que pensávamos”.

Enquanto metade da indústria de IA acredita que esse tipo de autoaperfeiçoamento levará à ruína da humanidade, a outra metade espera que ele eventualmente nos ajude a resolver todos os problemas aparentemente improváveis que os defensores da IA dizem que ela um dia eliminará — o câncer, a mudança climática e até mesmo a paz mundial.

Anthropic e OpenAI não são as únicas empresas a perseguirem ativamente o autoaperfeiçoamento recursivo. Uma onda de startups foi lançada este ano, contando com fundadores de prestígio e cheques gordos, para serem as primeiras a alcançar esse objetivo. A Ricursive Intelligence captou US$ 335 milhões a uma avaliação de US$ 4 bilhões em fevereiro; três meses depois, a Recursive Superintelligence captou US$ 650 milhões a uma avaliação de US$ 4 bilhões; e o veterano do Google DeepMind Jeff Dean lançou a Discovery Loop no mês passado.

“A criação de loops de autoaperfeiçoamento recursivo — ou seja, um sistema de IA capaz de construir a próxima geração de sistema de IA, que por sua vez pode construir uma IA ainda mais poderosa, que pode construir uma IA mais potente, e assim por diante —, é a candidata mais provável para o momento em que perderemos o controle”, disse à TechCrunch Connor Leahy, diretor executivo nos EUA da organização sem fins lucrativos de segurança em IA ControlAI. “É muito difícil imaginar conseguir desligar isso antes que seja tarde demais.”

Legislações recentes surgiram nos EUA e no Reino Unido para proibir o desenvolvimento e a implantação da superinteligência. Na semana passada, o senador Bernie Sanders (independente de Vermont) e o deputado Greg Casar (democrata do Texas) apresentaram a Lei de Proibição da Superinteligência Artificial (Ban Artificial Superintelligence Act) e, na terça-feira, o deputado trabalhista britânico Alex Sobel apresentou o Projeto de Lei de Segurança da Superinteligência Artificial no Parlamento.

Leahy, que atuou como consultor em ambos os projetos de lei, observou que a legislação do Reino Unido aponta o autoaperfeiçoamento recursivo como um precursor da superinteligência que “deve ser regulamentado e evitado”.

“A superinteligência não é uma ferramenta”, disse Leahy. “Ela nem mesmo é uma arma. Ela é um adversário.”