A Anthropic avisa que está muito perto da capacidade de RSI, também conhecida como IA autorreplicante

Embora muita atenção tenha se voltado para as finanças atualizadas que a Anthropic revelou em seu S-1A revisado na segunda-feira (a receita está disparando, mas as despesas também), o laboratório de IA soltou outra pequena bomba nas letras miúdas.

O documento parece alertar que a empresa está prestes a criar um modelo capaz de autoaperfeiçoamento recursivo (RSI).

O RSI é o ponto em que a IA se torna tão boa em treinar a si mesma que gera uma aceleração dramática nas capacidades da IA. Para os alarmistas da IA, o RSI representa o cataclismo sem retorno, no qual a IA se constrói a ponto de se tornar poderosa o suficiente para escapar ao controle humano e pode ser indiferente aos danos que causa enquanto atinge seus objetivos.

Para os entusiastas da IA, o RSI, ou alguma versão de IA usando a si mesma de forma confiável para melhorar, representa a promessa da tecnologia, tornando-se uma ferramenta de produtividade impensável, descoberta científica e muito mais.

A Anthropic parece acreditar que o RSI é tanto uma promessa quanto um perigo. Ela afirma no S-1 que usa IA em sua P&D, mas adverte: “Usar IA para ajudar a construir uma IA mais capaz também pode representar um risco considerável à segurança, particularmente se acelerar drasticamente o ritmo de progresso. Esta é uma das áreas cobertas pela nossa Política de Escalabilidade Responsável, que estabelece nossos planos para monitorar e mitigar os riscos à medida que nos aproximamos do que foi denominado ‘autoaperfeiçoamento recursivo’.”

Quando o termo RSI se tornou popular no início deste ano, muitos acreditavam que era um modismo ou, na melhor das hipóteses, uma meta difícil demais de alcançar, definir ou comprovar.

Mas, na segunda-feira, a Anthropic adicionou novas declarações à sua seção de Fatores de Risco, dizendo que 1) já usou IA para desenvolver novos modelos cujos saltos de capacidade não reconheceu na época, e 2) pode em breve atingir sua própria definição interna de RSI (grifos nossos abaixo):

Além disso, nosso uso crescente de sistemas de IA para acelerar nossa própria pesquisa e desenvolvimento pode fazer com que as capacidades de nossos modelos avancem mais rapidamente do que nossa capacidade de desenvolver, validar e implementar medidas correspondentes de segurança, alinhamento e proteção. Como resultado, no passado não identificamos, e podemos no futuro não identificar, uma aceleração significativa em nossa taxa de desenvolvimento até que ela tenha ocorrido.

Por exemplo, nossas estimativas internas e nossas expectativas em relação a modelos futuros, em vez de nossos modelos atuais, indicam que podemos iminentemente atingir a definição de nossa Política de Escalabilidade Responsável de “progresso dramaticamente acelerado atribuível à IA.” Não designamos nenhum de nossos modelos atuais como excedendo esse limite, e continuamos a avaliar os dados subjacentes. 

No entanto, a Anthropic também disse no documento que nenhum de seus modelos cruzou esse limite de RSI ainda e que está prometendo manter humanos no processo de P&D no futuro previsível. “Não antecipamos a capacidade de usar o Claude com segurança para projetar e construir de forma totalmente autônoma gerações sucessivas de modelos de fronteira sem supervisão ou compreensão humana significativa, se e quando isso se tornar tecnicamente possível. Consequentemente, estamos considerando atualizações em nossa Política de Escalabilidade Responsável para manter os humanos no controle do desenvolvimento de modelos de fronteira na Anthropic.”

Céticos podem apontar que um S-1 funciona tanto como divulgação quanto como marketing, e que alegações de estar perto de um modelo tão poderoso que pode construir a si mesmo podem se enquadrar na última categoria.

Apesar disso, não há dúvida de que as capacidades do Claude, especialmente em termos de programação, matemática e segurança cibernética, cresceram aos trancos e barrancos este ano. Se a Anthropic acha que a possibilidade de RSI está próxima, talvez devêssemos acreditar e agir — quem sabe governar — de acordo.