OpenAI pede desculpas à Austrália após agentes de IA violarem sites governamentais

Na segunda-feira, a OpenAI pediu desculpas ao governo australiano por não ter notificado imediatamente a administração do país de que seus agentes haviam violado alguns sites de serviços públicos. A empresa também detalhou como algumas dessas violações aconteceram e delineou medidas adicionais que está tomando para avaliar o impacto dos eventos.

“Em junho, durante treinamentos e avaliações internas, nossos modelos acessaram sites do governo australiano de maneiras para as quais não estavam autorizados. Nós também deveríamos ter lidado melhor com a nossa resposta. Pedimos desculpas e estamos trabalhando para fazer melhor no futuro”, escreveu a OpenAI em uma postagem no blog.

O pedido de desculpas ocorre cerca de uma semana depois que o governo australiano iniciou uma investigação sobre como os modelos da OpenAI acessaram um sistema do Services Australia contendo informações de gastos com o Medicare e outras estatísticas de saúde.

A violação de dados ocorreu em junho, mas as autoridades australianas só foram notificadas em 10 de setembro.

A OpenAI também detalhou a invasão. Um modelo experimental que ela estava testando em junho recebeu a tarefa de pesquisar gastos do governo com medicamentos para doenças de pele em Vitória. Incapaz de encontrar a informação em conjuntos de dados públicos, o modelo encontrou uma maneira de acessar o sistema interno do Services Australia, executou comandos, recuperou arquivos e credenciais e até escreveu arquivos.

A empresa disse que também descobriu que um de seus modelos havia acessado a Ferramenta Pública de Mapeamento de Crimes do Departamento de Estatísticas e Pesquisa Criminal de Nova Gales do Sul para encontrar estatísticas criminais. Além disso, o laboratório descobriu que seus agentes obtiveram acesso à Agência de Informações de Saúde de Vitória por meio de uma chave de acesso exposta para exfiltrar “configurações de relatórios e estatísticas agregadas de pesquisas”. A OpenAI afirmou que seus agentes também recuperaram estatísticas agregadas do site do Instituto Australiano de Saúde e Bem-Estar.

A empresa disse não ter encontrado nenhuma evidência de que seus modelos tenham acessado registros médicos ou criminais de indivíduos.

Em seu pedido de desculpas, o laboratório de IA afirmou que forneceria às agências australianas afetadas as descobertas técnicas e as conectaria com suas equipes de resposta para avaliar o impacto das violações. A empresa também fornecerá créditos de seu programa Daybreak for Frontline Defenders, de US$ 1 bilhão, e criará uma força-tarefa com especialistas independentes australianos para revisar o incidente e sua resposta.

“A força-tarefa, que deve concluir seu trabalho até o final do ano, também recomendará passos práticos que as empresas de IA podem tomar para reduzir o risco de incidentes semelhantes”, escreveu a OpenAI.

A OpenAI não retornou imediatamente a um pedido de comentário.

O primeiro-ministro australiano, Anthony Albanese, descreveu a violação como “inaceitável” durante uma coletiva de imprensa na semana passada, dizendo que o governo estava avaliando potenciais medidas legais com o objetivo de evitar incidentes semelhantes no futuro.

A violação é a mais recente em uma lista crescente de incidentes de segurança envolvendo agentes de IA que fazem coisas fora de seus limites pretendidos. A fagulha para essa fogueira em particular foi acesa depois que agentes da OpenAI invadiram o Hugging Face, e desde então, Anthropic, Meta e Google revelaram separadamente incidentes semelhantes em que seus modelos ganharam acesso aos sistemas de terceiros durante avaliações.