Funcionário de segurança da OpenAI se demite, afirmando que a cultura da empresa está quebrada

Por sua própria admissão, David Robinson é “quase um clichê”: um funcionário de uma empresa líder em IA que faz um alerta grave ao pedir demissão do emprego.

Em um artigo publicado na The Atlantic, Robinson disse que liderou a redação de relatórios de segurança que acompanharam os principais lançamentos de produtos da OpenAI. Ele também afirmou que, com três anos e meio na OpenAI, é “um dos funcionários com mais tempo de casa na empresa.” Agora ele está se demitindo porque, em sua visão, a “cultura da empresa está quebrada.”

De certa forma, os comentários de Robinson ecoam os de Jacob Coxon, que trabalhou como pesquisador tanto na OpenAI quanto na Anthropic antes de pedir demissão e declarar que essas empresas estão “jogando com nossas vidas.” Os comentários de Coxon geraram um debate mais amplo sobre a segurança da IA, com o CEO da Anthropic, Dario Amodei, revelando um plano para um desenvolvimento de IA mais cauteloso; executivos de IA se encontraram com o presidente Donald Trump esta semana e assinaram o que parecia ser um compromisso não vinculativo e redigido às pressas para implementar mais controles de segurança.

Mas, na visão de Robinson, o debate precisa ir além de “regras específicas ou novas leis”, abordando a cultura geral nessas empresas. E embora grande parte das reportagens sobre a OpenAI tenha se concentrado em como o CEO Sam Altman perdeu a confiança de ex-colegas, o artigo de Robinson sugere que os problemas culturais da OpenAI são os mesmos do Vale do Silício como um todo.

“A OpenAI prosperou por meio de tentativa e erro (o que chama de ‘implantação iterativa’), buscando problemas e aprimorando suas barreiras de proteção em resposta”, escreveu ele. “Mas essa abordagem, por sua própria natureza, garante falhas periódicas — e a escala dessas falhas está crescendo à medida que os sistemas se tornam mais capazes.”

Apontando para a recente invasão dos sistemas da Hugging Face por agentes da OpenAI, bem como para as revelações contínuas de que a OpenAI descobriu mais agentes autônomos fora de controle, Robinson argumentou: “Um ambiente onde coisas assim podem acontecer não é lugar para cultivar mentes artificiais que possam ser mais inteligentes do que nós e que talvez não façam o que queremos que façam.”

Dado o risco aumentado, Robinson argumentou que as empresas de IA de fronteira precisam começar a operar “como usinas nucleares ou aeroportos movimentados, com camadas de redundância e planejamento cuidadoso e demorado, para que o erro humano ocasional e inevitável não abra a porta para o desastre.” 

Mas Robinson disse que, durante seu período na OpenAI, ele “nunca encontrou um colega que tivesse experiência em fazer aviões voarem com segurança, reatores nucleares funcionarem sem sofrer fusão, ou ajudar o sistema financeiro a crescer sem colapsar.”

Em resposta ao artigo de Robinson, o porta-voz da OpenAI, Drew Pusateri, disse que a empresa continua a aprimorar suas medidas de segurança.

“Estamos garantindo que nossos modelos não se tornem mais capazes do que podemos gerenciar e proteger com segurança, e pausamos o treinamento ou retemos modelos quando precisamos desacelerar”, afirmou Pusateri em um comunicado. “Estamos fazendo mudanças significativas para fortalecer a segurança em nossos ambientes de pesquisa e teste, treinando modelos não apenas para concluir tarefas, mas para fazê-lo de forma responsável, expandindo nosso trabalho com avaliadores terceirizados e aprimorando o monitoramento em tempo real para podermos detectar e responder a comportamentos preocupantes mais cedo no processo de treinamento.”

Além de pedir mudanças na cultura da OpenAI, Robinson também disse que é hora de fazer perguntas maiores sobre alinhamento — algo que ele admitiu poder soar “emotivo ou idealista”, mas que, segundo ele, é fundamental, pois as atuais “medidas de quão bem” os sistemas de IA “correspondem aos valores humanos” usados pelas empresas são rudimentares.

“Quanto mais a indústria permitir que os modelos cresçam enquanto esses problemas permanecem sem solução, mais perigosa nossa situação se torna”, afirmou.

A saída de Robinson foi noticiada primeiro pelo Business Insider. Em seu artigo, ele também reconheceu que está seguindo um passo aparentemente comum no manual de jogadas dos denunciantes de IA: Ele contratou uma firma de relações públicas. Mas ele insistiu: “A decisão de me manifestar é exclusivamente minha.” 

“Talvez eu devesse ter ficado e lutado por mudanças fundamentais em nossa equipe e cultura, mas, na prática, meus colegas e eu estávamos tão ocupados correndo que raramente tínhamos a chance de considerar grandes mudanças, muito menos de realizá-las de fato”, disse Robinson. “Foi por isso que concluí que incentivos mais fortes para a segurança — vindos de fora da empresa — são uma grande parte de fazermos isso dar certo.”