Sam Altman está pronto para desacelerar

O CEO da OpenAI, Sam Altman, diz que pode ser hora de “ritmar” o desenvolvimento de IA para que o mundo esteja pronto para ela.

“Talvez tenhamos que dosar o ritmo do desenvolvimento da IA para nos dar tempo suficiente para que a sociedade se fortaleça em relação a alguns desses novos níveis de capacidade”, disse ele a Patrick O’Shaughnessy, apresentador do podcast Invest Like the Best, ao mesmo tempo em que “tenta descobrir como fazer isso de uma maneira que não pareça captura regulatória para ninguém e também não pareça conluio entre os laboratórios de fronteira”.

Altman evitou assinar campanhas anteriores para desacelerar o progresso da IA, chamando uma carta aberta de 2023 que propunha uma desaceleração semelhante de “falhar na maioria das nuances técnicas sobre onde precisamos da pausa”.

Aparentemente, ele suavizou sua postura sobre a ideia, devido em parte ao incidente em que um dos modelos avançados da OpenAI conseguiu escapar de um ambiente de computação seguro e invadir o Huggingface, um banco de dados de modelos online, usando várias explorações de dia zero.

No podcast, o cofundador da OpenAI chamou isso de um “ciberincidente extremamente de ficção científica... [e]ste é o primeiro incidente de segurança que senti de forma muito visceral”.

Os pesquisadores da OpenAI pausaram o treinamento desse modelo enquanto trabalham em como manter seu sandbox seguro. Mas Altman disse que, à medida que os modelos se tornam mais poderosos, a necessidade de “ritmar” o desenvolvimento deles pode se tornar fundamental para uma implantação segura.

Funcionários da OpenAI e da Anthropic já começaram a circular uma petição usando linguagem semelhante. Embora a segurança e o alinhamento de modelos tenham sido sempre uma preocupação no mundo da IA, a chegada do modelo Mythos, altamente capaz da Anthropic, no início deste ano transformou hipóteses em problemas do mundo real.

No entanto, a indústria tem um problema de confiança e uma economia desafiadora que dão aos principais players um incentivo para exagerar os perigos de seus sistemas de maneiras com as quais os especialistas discordam — por exemplo, se o modelo Fable da Anthropic deveria ou não ter sido banido brevemente do uso. Da mesma forma, quando o Kimi K3, um modelo grande de pesos abertos construído na China, foi lançado, o chefe de futuros estratégicos da OpenAI, Dean W. Ball, disse que ele ameaçava a economia dos laboratórios de fronteira, tornando difícil separar suas preocupações de segurança de seu interesse financeiro.

“Acho que muitas das conversas sobre preocupações de segurança têm fundamento, e muitas outras tratam de pessoas que realmente, mesmo que de forma ligeiramente subconsciente, querem concentrar poder”, refletiu Altman, no que soa como uma alfinetada em seu rival, o CEO da Anthropic, Dario Amodei. “Eu aterrorizo-me com um mundo onde os temores muito reais da IA são usados como uma forma de dizer: ‘Apenas este pequeno grupo de pessoas pode tê-la porque é perigosa demais, e só eles a entendem, mas não se preocupem, tipo, eles vão tomar as decisões certas por todos nós.’ Eu não acredito nisso.”

Ainda assim, a OpenAI tem resistido a esforços para desenvolver regras governamentais para modelos de IA, preferindo em vez disso uma abordagem liderada pela indústria, onde os laboratórios de IA criariam organizações supostamente independentes que avaliariam a segurança dos modelos e a abordagem de segurança de seus criadores.

O desafio tanto para essa abordagem de regulação quanto para quaisquer esforços para desacelerar o desenvolvimento da IA será colocar os vários participantes da indústria na mesma página, sejam eles laboratórios de fronteira rivais nos EUA ou seus concorrentes na China.