Sam Altman e o debate sobre a deceleração da IA

O CEO da OpenAI, Sam Altman, disse recentemente que pode ser hora de “dosar o ritmo do desenvolvimento de IA” para que a sociedade possa “se blindar contra alguns desses novos níveis de capacidade”.

No episódio mais recente do podcast Equity, do TechCrunch, Kirsten Korosec, Sean O’Kane e eu discutimos como os comentários de Altman provavelmente foram motivados por uma invasão recente em que um agente da OpenAI violou os sistemas da Hugging Face. Sean observou que, embora uma invasão realizada por um agente de IA seja inédita, a invasão em si não foi “nada tão avançado assim”.

“Foi mais como o pessoal do Nixon invadindo o caso Watergate do que alguma operação cibernética super sigilosa, porque não precisava ser, e não recebeu instruções para ser”, disse Sean. “Com sorte, isso é um sinal de que essas empresas vão levar isso adiante e ser mais cuidadosas com esse tipo de coisa.”

Os comentários de Altman também me deram a oportunidade de refletir sobre a utilidade de todo esse debate entre aceleração e desaceleração, porque (sim, estou prestes a me citar) a abordagem “meio que sugere que existe apenas um caminho” e “tudo o que nos resta decidir — na medida em que podemos decidir algo — é: aceleramos ou desaceleramos?”

Continue lendo para conferir uma prévia da nossa conversa, editada por questões de extensão e clareza.

Sean O’Kane: Talvez a gente tenha finalmente chegado a um ponto de inflexão por aqui. Acho que um grande impulsionador disso tem que ser o que discutimos na semana passada, com um dos modelos da OpenAI invadindo os dados da Hugging Face e aparentemente violando algumas outras coisas pela internet também.

[Altman] não está pedindo uma pausa, como vimos algumas pessoas na indústria de tecnologia tentarem fazer no passado. Ele foi muito cuidadoso com as palavras ao dizer: “Dosem o ritmo”. E vamos ver como isso se sustenta. Qualquer cautela que vemos alguns desses laboratórios demonstrarem costuma ser revertida quando os incentivos os pressionam a retomar a todo vapor. Então continuo cético, que grande surpresa.

Kirsten Korosec: Agora, preciso dizer o seguinte — [Altman] pode ter sido cuidadoso com as palavras, mas a OpenAI e a Anthropic [apoiaram] uma petição que reflete justamente o que ele mencionou.

E concordo com você, acho que muito disso foi fortemente motivado pela Hugging Face. Provavelmente assustou a ele e, com certeza, a muita gente na indústria. O aspecto difícil aqui é: como equilibrar as coisas, ou como a OpenAI equilibra a necessidade de continuar gerando receita, captando recursos ou fazendo um IPO bem-sucedido, e o tal “ritmo de desenvolvimento”.

Não sei se eles conseguem fazer isso. Vou ficar curiosa para ver se dão conta de ambas as frentes.

Anthony Ha: Uma das coisas com as quais tenho matutado é também esta questão: a aceleração versus a desaceleração é a estrutura correta para pensarmos nisso? Porque ela meio que sugere que existe apenas um caminho e estamos todos presos nele. Tudo o que podemos decidir — na medida em que podemos decidir algo — é: nós aceleramos ou nós desaceleramos? Em vez de — de novo, vou esticar bastante essa metáfora —, será que construímos barreiras de proteção diferentes? Será que escolhemos caminhos diferentes?

Sou muito resistente a essa estrutura. Em vez de dizer: “Ok, se não estamos satisfeitos com o que os modelos estão fazendo agora, o que mais podemos fazer? Uma desaceleração, uma pausa, uma paralisação são as únicas opções?” E eu acho que não são.

Uma coisa que eu queria enfatizar novamente, porque tem sido muito interessante ver o nível de alarme em torno disso — essa sensação de “e se tivermos esses agentes e modelos autônomos por aí invadindo uns aos outros, tentando evitar invasões, e tudo simplesmente sair do nosso controle”, gerando todos esses debates mais amplos sobre alinhamento sobre os quais a Rebecca Bellan escreveu um artigo excelente.

Mas vale a pena voltar a um dos pontos sobre os quais também escrevemos no TechCrunch: essa invasão específica — sim, foi causada por um modelo da OpenAI, mas parece que eles simplesmente não protegeram o site de testes adequadamente. Em teoria, esse modelo não deveria ter conseguido ficar online. Agora, é claro, se você tem uma IA poderosa desalinhada, os riscos desse erro humano aumentam drasticamente. Mas tudo começa pelo simples fato de que eles não protegeram as coisas do jeito que deveriam.

Sean: Acho que faz todo o sentido. Seu ponto é muito pertinente no sentido de que não devemos pensar nisso apenas de forma linear e sobre as coisas estarem acelerando ou desacelerando. Há muito que poderia e deveria ser dito sobre o quão responsáveis essas empresas estão sendo. O Lorenzo, um dos nossos colegas, também escreveu um artigo muito bom analisando o quão séria os pesquisadores de segurança que acompanham esse assunto acham que a invasão realmente foi. De fato, parece que, em ambos os lados dessa invasão, havia medidas que provavelmente deveriam ter sido tomadas e que a teriam evitado.

E uma das coisas que achei mais interessantes nessa história foi que alguns pesquisadores apontaram que o que esse modelo fez não era nada novo ou avançado. A forma como ele pensou em tentar invadir foi muito humana — sem querer antropomorfizar — e também foi muito barulhenta e bagunçada, sem tentar esconder seus rastros. Foi mais parecido com o pessoal do Nixon invadindo o Watergate do que com uma operação cibernética realmente furtiva, porque não precisava ser, e não recebeu instruções para ser.

Isso deveria ter sido mais facilmente evitável. E, tomara, este seja um sinal de que essas empresas vão levar isso adiante e ser mais cuidadosas com esse tipo de coisa.

Vou dizer outra coisa sobre o [debate] aceleração versus dessaceleração. Não sei se essa é a motivação, mas você mencionou o IPO, Kirsten. Acho inteligente da parte do Altman conseguir aproveitar essa vantagem que eles têm agora, que é o fato de a [OpenAI] não ir para o mercado no mês que vem, nem daqui a dois meses. Ele até levantou a ideia de abrir o capital em 2027 e que eles apenas protocolaram o registro confidencial para terem a opção pronta quando estiverem preparados.

Portanto, se você acredita em tudo isso, ele tem a capacidade de falar com essa propriedade de um jeito que a Anthropic não consegue, porque a Anthropic já está conversando com vários banqueiros, caminhando para um IPO mais de curto prazo e, por isso, está mais limitada no que pode dizer, em como deve falar sobre isso e em como o mercado vai reagir a isso.