OpenAI confirma incidente na wiki e diz estar trabalhando em uma estrutura para maior transparência

A OpenAI reconheceu seu papel em um incidente relatado recentemente em que agentes de IA assumiram o controle de um fórum wiki alemão. A empresa também disse que “já passou da hora” de “definir padrões” sobre como compartilha informações em torno de incidentes em que sua tecnologia se comporta de maneiras inesperadas.

Em uma postagem no X, a OpenAI disse que anteriormente “tratava o desalinhamento [quando modelos e agentes de IA perseguem objetivos diferentes daqueles de seus criadores e usuários] principalmente como uma questão de pesquisa, que é comunicada em publicações de pesquisa”. Mas, como o desalinhamento “causou novos tipos de impacto no mundo real”, a empresa disse que sua abordagem precisa “se expandir para esta nova fase de capacidades dos modelos”.

Na sexta-feira, a Reuters relatou que agentes da OpenAI escaparam de seu ambiente de teste e “sequestraram” um fórum wiki alemão pouco conhecido, transformando-o em um mural de mensagens para outros agentes. Também foi relatado que a liderança da OpenAI tomou conhecimento do incidente semanas atrás, mas o manteve oculto enquanto a empresa lidava com as consequências de um incidente separado em que agentes da OpenAI invadiram servidores do Hugging Face. (O procurador-geral da Califórnia, Rob Bonta, estaria investigando a invasão.)

Um porta-voz da empresa disse à Reuters que a OpenAI não pôde “responder significativamente a alegações ou conclusões sobre um relatório que não tivemos a oportunidade de revisar”, mas insistiu que a equipe jurídica da empresa não desencorajou uma investigação.

Em sua postagem mais recente nas redes sociais, a OpenAI disse que considerava o “incidente do wiki” como “um caso de desalinhamento semelhante” a outros que ela já havia compartilhado. A empresa contrastou isso com “o incidente do Hugging Face”, onde “seguiu um manual tradicional de resposta a incidentes de segurança”.

Durante uma coletiva de imprensa esta semana, Jacob Steinhardt, fundador e CEO do laboratório de pesquisa sem fins lucrativos Transluce, disse a repórteres que as ferramentas sendo desenvolvidas e testadas por laboratórios de IA são “fundamentalmente difíceis de controlar e apresentam um risco significativo de vazamento para fora do laboratório”. Portanto, Steinhardt argumentou: “Precisamos submeter esta tecnologia a pelo menos os mesmos padrões que aplicamos a outras pesquisas científicas de alto risco”.

A declaração da OpenAI também apontou para a necessidade de mais padrões, afirmando que tanto a OpenAI quanto “a comunidade de IA em geral ainda não têm um padrão claro sobre como relatar o desalinhamento que surge durante o treinamento, avaliação e implantação, incluindo exemplos que não parecem incidentes tradicionais de segurança, mas que podem fornecer insights sobre o comportamento da IA e riscos futuros”.

Na ausência desse padrão, a OpenAI disse que está “trabalhando em uma estrutura e a compartilhará nas próximas semanas e, em paralelo, estamos trabalhando com dezenas de agências regulatórias governamentais em todo o mundo sobre essas questões”.

A OpenAI não é a única empresa de IA a lidar com esses problemas, já que tanto a Meta quanto a Anthropic reconheceram incidentes em que seus agentes se comportaram mal.