Pesquisadores de segurança demitidos da OpenAI contestam acusações de má conduta e alertam sobre efeito inibidor

Jasmine Wang, Tomek Korbak e Mikita Balesni, os três pesquisadores de segurança que a OpenAI demitiu na semana passada, publicaram uma carta aberta negando as alegações da empresa de que teriam manipulado mal informações confidenciais fora dos procedimentos estabelecidos pela empresa, e alertaram que sua demissão sinaliza um efeito inibidor que terá repercussões em toda a cultura corporativa.

“Ficamos preocupados com o fato de que as comunicações internas e externas sobre a nossa demissão deixaram nossos ex-colegas com medo de falar e agir de maneiras que, até a semana passada, eram parte integrante do trabalho na OpenAI”, escreveram os pesquisadores na quinta-feira em uma carta aberta ao Comitê de Segurança e Proteção, ao Grupo Consultivo de Segurança e ao Conselho Consultivo de Missão da OpenAI. 

Os pesquisadores foram demitidos na semana passada após supostamente compartilharem informações confidenciais da empresa com uma organização terceirizada de segurança em IA. A OpenAI afirmou que eles violaram as políticas da empresa ao “acessarem e manipularem informações confidenciais da empresa.”

“A IA não é uma tecnologia normal, e a OpenAI não é uma empresa normal”, escreveram Wang, Korbak e Balesni. “Aqueles de nós que trabalham com segurança veem riscos antes de qualquer outra pessoa, e contamos com uma colaboração estreita com especialistas externos para descobrir como combatê-los. A liberdade para fazer isso sem medo, e para ter procedimentos internos bem definidos que permitam este trabalho, é em si um mecanismo de segurança essencial.”

Eles afirmam que a demissão representa uma mudança mais ampla na cultura da OpenAI, uma cultura que costumava encorajar os trabalhadores a “levantar preocupações de segurança e discordar abertamente”. Eles disseram que os funcionários agora estão “sem saber qual é a sua situação” quando um comportamento que supostamente era normal há um mês agora repentinamente se torna motivo de demissão. 

“Dadas as significativas preocupações de segurança em torno do desenvolvimento da IA, os funcionários não devem trabalhar em um ambiente onde o medo e regras pouco claras atrapalhem o trabalho de segurança em IA e enfraqueçam a responsabilização de terceiros”, escreveram. “Demissões como a nossa, executadas e comunicadas de forma tão abrupta, estão esfriando a cultura aberta que a OpenAI tanto prezou no passado.”

Na carta, os três negaram envolvimento em um vazamento para The Information sobre arquiteturas menos monitoráveis nos modelos mais recentes da OpenAI que tornam o raciocínio em cadeia de pensamento mais difícil de monitorar. Eles também negaram ter se envolvido com partes externas fora dos mandatos de seus cargos. 

A OpenAI não respondeu formalmente à carta aberta, mas compartilhou com o TechCrunch um memorando interno atribuído a um líder de pesquisa, elogiando as contribuições dos três pesquisadores para a segurança da IA e negando que eles tenham sido demitidos em retaliação.

“Quero deixar muito claro que essas decisões não foram sobre levantar preocupações de segurança ou se manifestar”, diz o memorando. “Sempre encorajamos isso e sempre encorajaremos. Não demitimos funcionários por levantarem preocupações.”

Separadamente, um porta-voz da OpenAI disse ao TechCrunch que os três foram demitidos após uma investigação revelar um “padrão de má conduta” em “clara violação de nossas políticas de manuseio inadequado de informações de pesquisa”, que vai além do compartilhamento de informações com um grupo externo de avaliação de IA.

A OpenAI não abordou diretamente as perguntas do TechCrunch sobre quais políticas específicas os pesquisadores supostamente violaram, as circunstâncias de suas demissões ou como a empresa protege os funcionários que levantam preocupações de segurança e colaboram com avaliadores externos.

As demissões alimentaram especulações sobre suas circunstâncias, particularmente enquanto a OpenAI enfrenta escrutínio sobre recentes incidentes de segurança envolvendo agentes autônomos e vazamentos sobre seus modelos.

A carta também aborda a resposta dos pesquisadores ao incidente do Hugging Face, no qual um enxame de agentes escapou de sua sandbox e invadiu sistemas externos. A carta afirma que o incidente e a investigação foram “sem precedentes”, o que significa que “as políticas internas estavam sendo desenvolvidas em tempo real”. Devido à natureza sensível da investigação, Korbak acreditava estar agindo dentro das políticas e normas da OpenAI ao se comunicar de perto com avaliadores externos de segurança para construir confiança, de acordo com a carta. 

Ao mesmo tempo, Balesni também estava trabalhando internamente para resolver o crescente problema de monitorabilidade da IA, um esforço que os pesquisadores dizem em sua carta que “só pode ser bem-sucedido por meio de ampla comunicação com partes externas”. De acordo com a carta, Balesni coordenou-se com membros do conselho e executivos da OpenAI e foi apoiado por eles durante todo o seu trabalho.

“Durante todo o processo, Mikita conversou com sua linha de subordinação e teve o cuidado de remover detalhes confidenciais dos materiais antes de compartilhá-los”, diz a carta. “Ele agiu de boa-fé e dentro das normas da empresa vigentes na época.”

Em uma thread separada no X, Wang explicou mais detalhes sobre sua própria demissão, explicando que a OpenAI lhe disse que ela havia sido demitida porque acessou o e-mail de um executivo.

“A OpenAI delegou esse acesso a mim para recrutamento”, escreveu ela. “Quando não precisei mais dele, pedi ao TI que o removisse. Eles não atenderam ao meu pedido, eu não consegui removê-lo sozinha e a caixa de entrada foi combinada de forma indistinguível no aplicativo de correio do meu celular. Quando abri um e-mail confidencial por engano, avisei o executivo minutos depois e pedi ao TI novamente. Nada disso foi escondido.”

Wang continuou dizendo que os motivos por trás das demissões “não fazem sentido” e que ela e seus colegas “não são os primeiros a serem forçados a sair da OpenAI sob circunstâncias suspeitas”.

Os pesquisadores apelaram à OpenAI para cumprir seus compromissos públicos de incorporar auditores de segurança terceirizados dentro da organização, preservar a monitorabilidade de modelos de fronteira e “continuar a apoiar uma cultura aberta e transparente de diálogo entre pesquisadores de segurança e o restante do ecossistema de segurança”.

A OpenAI concorda com as recomendações deles, de acordo com o memorando.

“A menos que os funcionários se posicionem agora contra esse tipo de manobra, receio que não sejamos os últimos”, disse Wang. “A mensagem para todos que ainda estão na OpenAI é clara: levantem preocupações ou trabalhem de perto com grupos de segurança externos, e vocês podem ser os próximos, sem que o motivo lhes seja explicado. Não é possível construir IAG com segurança se as pessoas mais próximas aos riscos têm medo de falar.”

Este artigo foi atualizado com mais informações da OpenAI.