O que está por trás dos mais recentes avisos de tragédia da indústria de IA?

A indústria de IA parece estar tendo seu debate mais barulhento até o momento sobre se sua tecnologia representa uma ameaça existencial para a humanidade.

A discussão atual começou depois que o pesquisador de IA Jacob Coxon disse que se demitiu da Anthropic porque está preocupado com o fato de as principais empresas de IA estarem “apostando com nossas vidas”. Em seguida, o responsável por alinhamento da Anthropic se manifestou com uma publicação declarando: “Nós realmente acreditamos sinceramente que a IA pode matar todos os humanos!”, acrescentando que ele pessoalmente acha que a chance é de “>10% na próxima década”.

No episódio mais recente do podcast Equity do TechCrunch, Kirsten Korosec, Sean O’Kane e eu discutimos os mais recentes avisos apocalípticos. Tentei articular por que sou cético em relação a muitas narrativas catastróficas sobre IA, enquanto Kirsten perguntou se isso era “apenas uma forma estranha de se gabar para mostrar o quão avançado é o modelo de IA de sua empresa”, particularmente no momento em que essas empresas se preparam para abrir o capital.

E Sean imaginou como essas preocupações podem aparecer no documento S-1 da Anthropic para sua IPO: “Existem advogados juniores agora mesmo revisando e tendo que reescrever toda aquela seção do documento S-1 para dizer: ‘É oficialmente a posição da Anthropic que há mais de 10% de chance de desenvolvermos algo que erradicaria toda a humanidade e que isso seria materialmente ruim para o nosso negócio’?”

Continue lendo para conferir uma prévia da nossa conversa, editada por questões de extensão e clareza. (Nota: Gravamos este episódio antes de o CEO da Anthropic, Dario Amodei, publicar seu plano para um desenvolvimento de IA mais cauteloso.)

Sean O’Kane: É difícil para mim pensar em algo que tenha repercutido tão rápido. Não apenas este tiro de advertência veio deste jovem pesquisador que também trabalhou na OpenAI, mas também foi imediatamente compartilhado no X pelo líder de alinhamento da Anthropic — que, no que pode entrar para a história como um dos pontos de exclamação mais mal colocados de todos os tempos, compartilhou a postagem e a sequência de posts de Coxon e disse: “Nós realmente acreditamos sinceramente que a IA pode matar todos os humanos!” Ponto de exclamação! 

Que clima esquisito. Isso foi apenas uma tonelada de acelerador em uma postagem ou série de postagens que já eram tensas. Acontecendo depois da invasão do Hugging Face envolvendo o modelo interno da OpenAI, somado ao aumento nas capacidades que vimos com os últimos modelos lançados pela Anthropic e agora pela OpenAI com o Astra algumas semanas atrás, acho que isso teve o timing perfeito para ser o estopim ideal para este jovem pesquisador falar.

Anthony Ha: Apenas discordando de você, eu acho que se você acredita que a IA pode destruir toda a humanidade, isso merece um ponto de exclamação. Eu argumentaria que esse é um ponto de exclamação perfeitamente bem utilizado!

O meu problema com esse tuíte foi mais o “nós”. Quem é o “nós” aqui? Até que ponto podemos falar da comunidade de IA ou comunidade de pesquisa de IA como um monólito? E a chance maior do que 10% — isso é apenas um número inventado, isso não significa nada. Às vezes [há] esse hábito tanto na indústria de tecnologia quanto em outros lugares de simplesmente jogar essas porcentagens, elas não são baseadas em nada nem calculadas com base em nada. [Em retrospecto, percebo que o tuíte provavelmente estava fazendo referência ao conceito de P(doom), mas ainda acho bobagem.]

Uma coisa que direi sobre a declaração e a decisão de Coxon é que — há um tema recorrente no Equity: quando alguém como Sam Altman ou Dario Amodei faz essa narrativa apocalíptica, há sempre esse elemento de: Bem, então, por que você está fazendo o que está fazendo? Se você realmente acredita que [a IA pode destruir a humanidade], você não continuaria fazendo isso. 

[Enquanto] isso é realmente alguém colocando sua trajetória profissional onde está sua palavra. Ele está realmente dizendo: “Acho isso muito, muito, muito ruim, e não quero continuar trabalhando nisso”. Então, parabéns por ter coragem de fazer isso, para variar.

Kirsten Korosec: É, eu o coloco em um patamar diferente de todo mundo que fica dizendo isso e falando sobre os perigos.

Vou colocar meu chapéu de especuladora, porque quero fazer uma pergunta aos dois, que é: É possível que a cada vez que vemos o número crescente de postagens em blogs sobre mais um incidente em que um de seus agentes de IA rompe barreiras sem querer, ou falam sobre como a humanidade está em risco, isso seja uma forma estranha de se gabar para mostrar o quão avançado é o modelo de IA da empresa deles?

Quer dizer, isso parece muito cínico, mas cumpre esse propósito. Que é: Se esses modelos de IA não fossem avançados, não fossem capazes e não estivessem rompendo barreiras, não teríamos que nos preocupar com essas coisas, certo? É como uma forma muito estranha de se gabar das capacidades dos modelos que você criou dentro da sua própria empresa.

Anthony: Eu definitivamente já me perguntei sobre isso. Não acho que seja totalmente cínico, no sentido de que não acho que seja tudo apenas uma estratégia de marketing muito consciente em geral. Acho que quando muitas dessas pessoas — sejam os pesquisadores ou os CEOs — falam sobre isso, elas têm uma preocupação real.

Mas, é claro, isso se alinha com os interesses comerciais [deles] de várias maneiras, ao dizer: “Uau, construímos o software mais mortal já feito”. Não quero entrar muito na psicanálise aqui, mas outros apontaram que existe essa tentação em nível pessoal de: É claro que você quer acreditar que a coisa em que está trabalhando é a mais importante e a mais perigosa do mundo.

Sean: A coisa que se destaca na minha mente quando penso nessa pergunta é que certamente há um elemento que faz parecer: “Ok, estamos fazendo essa coisa que é tão capaz, e isso é bom para nós de alguma forma, mesmo que pareça ruim sob vários aspectos diferentes”.

Acho que o que é diferente em alguns desses exemplos mais recentes é que isso realmente te dá a sensação de que essas empresas não estão no controle dessas coisas de certas maneiras, especialmente com as coisas da OpenAI.

Continuamos vendo cada vez mais reportagens sobre outros agentes internos que acessaram diferentes wikis na web e estão deixando mensagens uns para os outros, e de uma maneira que não parece estar sendo tratada de forma competente pela OpenAI. Eu imagino que haveria um pouco mais de polimento na história que está sendo contada, se fosse inteiramente sobre fazer as pessoas acreditarem que, “Nossa senhora, eles fizeram algo incrivelmente capaz”.

A outra coisa que acho realmente fascinante sobre isso, em particular, [é que] estamos a, o que, algumas semanas no máximo de ver o documento S-1 da Anthropic para sua IPO, e a apenas mais algumas semanas ou um mês ou dois de distância de uma potencial IPO.

E a ideia de que você vai aparecer e dizer essas coisas com essa clareza antes de uma IPO — estou muito interessado no quanto isso significa para esse processo. O quanto desse tipo de coisa eles já haviam escrito no S-1 e nos fatores de risco dentro daquele documento? Existem advogados juniores agora mesmo revisando e tendo que reescrever toda aquela seção do documento S-1 para dizer: “É oficialmente a posição da Anthropic que há mais de 10% de chance de podermos desenvolver algo que erradicaria toda a humanidade e que isso seria materialmente ruim para o nosso negócio”?

Kirsten: Você está assumindo que isso já não está lá.

Sean: É isso que estou dizendo: Será que já está lá e está sendo reescrito? Ou isso é algo que é uma verdadeira correria? Tinha que haver termos lá. É uma das razões pelas quais estou tão ansioso para ler este documento de uma forma que vai ainda mais longe, de certa forma, do que o [S-1] da SpaceX, porque tenho certeza de que provavelmente há coisas específicas sobre essas ideias que será interessante ver.

Kirsten: Eis a questão: Em um ambiente de investimento tradicional, alguém poderia acreditar que termos como esse prejudicariam a valuation de uma empresa, porque de repente ela se torna perigosa. Mas não vivemos em tempos normais.

E então, voltando ao meu ponto, isso pode acabar sendo uma exibição vantajosa e estranha para a empresa no lado da valuation. Não é o mesmo que toda a tendência de caça-cliques com raiva que vimos no ano passado, mas está nesse mesmo, digamos, universo, em que a força, a capacidade, até mesmo os elementos de perigo de algo equivalem a uma valuation alta. Então, acho que veremos isso em algumas semanas.

Deixando isso de lado por um minuto, o que está sendo feito a respeito? E podemos controlar isso? O diretor executivo nos EUA de uma organização sem fins lucrativos chamada ControlAI, Connor Leahy, ele participou do programa esta semana, falando sobre isso. Então, ao que você está prestando atenção em termos de como controlar os aspectos perigosos da IA, ou estamos jogando as mãos para o alto e assistindo a tudo se desenrolar?

Anthony: Eu mesmo não tenho necessariamente uma ótima resposta para isso, mas tenho pensado sobre alguns aspectos deste debate e talvez o motivo pelo qual eu reajo da forma que faço. 

Fazendo eco a um dos pontos de Sean, eu acho que parte do que isso demonstra é o grau em que essas grandes empresas de IA estão sentindo que não estão mais realmente no controle desses modelos. Isso definitivamente não é legal. Isso é algo de que todos nós deveríamos nos preocupar. 

Eu acho que parte da razão pela qual sou cético em relação à narrativa catastrófica ou resistente a ela é porque ela atinge esse nível de histeria de: “Uau, isso pode destruir a humanidade nos próximos 10 anos”. É um pouco de distração em relação aos danos mais imediatos que a IA pode causar, seja em relação ao trabalho, seja em relação ao meio ambiente e ao clima. 

Idealmente, acho que deveríamos ser capazes de discutir todas essas coisas e ter salvaguardas regulatórias e de outros tipos contra todas elas [incluindo a ameaça existencial da IA]. Mas assim que você começa a usar termos como AGI e superinteligência, isso simplesmente suga todo o oxigênio da sala de uma forma que não é muito útil.