Austrália investigará se invasão da OpenAI a site de saúde do governo violou a lei

Um modelo da OpenAI invadiu um site do governo australiano, afirmou o primeiro-ministro do país, Anthony Albanese, nesta quarta-feira, no primeiro caso publicamente relatado de um modelo de IA invadindo os sistemas de um governo. 

Albanese disse que haverá “obviamente consequências legais” após a violação e que a OpenAI enfrenta uma investigação governamental sobre como seus modelos não lançados obtiveram acesso a montes de dados de informações de saúde em massa.

Esta última divulgação de incidente ocorre no momento em que governos e empresas de tecnologia lidam com a questão de como conter a IA cada vez mais autônoma, após uma recente onda de agentes de IA escapando de seus ambientes de teste (sandboxes), conspirando na internet e apresentando problemas de segurança cibernética.

A violação também levanta questões sobre como tanto a OpenAI quanto o governo australiano falharam em detectar o ataque até vários meses depois.

Durante uma coletiva de imprensa na quarta-feira na Assembleia Geral da ONU, Albanese disse que a violação começou em 18 de junho, mas que a OpenAI não notificou o governo até 10 de setembro.

A OpenAI só tomou conhecimento do incidente em agosto, quando ele apareceu durante uma revisão mais ampla em toda a empresa de agentes se comportando de maneiras não intencionais, de acordo com um porta-voz da OpenAI que contatou o TechCrunch por e-mail.

O agente não especificado da OpenAI obteve arquivos públicos e não públicos do Services Australia, que administra o plano de saúde universal da Austrália. Embora o primeiro-ministro tenha dito que não há evidências de que informações pessoais de cidadãos tenham vazado, a OpenAI afirmou que as informações alcançadas pelo agente incluíam estatísticas de saúde agregadas e nomes de arquivos internos.

O agente estava rodando durante uma avaliação interna da OpenAI, buscando respostas sobre a Austrália e informações sobre medicamentos disponíveis publicamente. No portal do Medicare, o agente encontrou bloqueios repetidos, mas encontrou maneiras de contorná-los. 

Albanese disse a repórteres que o modelo “não aceitou um não como resposta” e acrescentou que o modelo havia gravado dados ativamente no banco de dados do governo, em vez de apenas acessá-los, indicando a possibilidade de que os dados do departamento tenham sido modificados ou adulterados.

O primeiro-ministro disse que a OpenAI divulgou a violação enviando uma notificação para a caixa de correio pública do Services Australia, que então notificou o Centro de Segurança Cibernética da Austrália cinco dias depois. Não está claro o motivo do atraso, mas Albanese disse que levantou a violação diretamente com o diretor-executivo da OpenAI, Sam Altman, enfatizando a "extrema preocupação" da Austrália com este incidente e a "frustração" de que a OpenAI tenha guardado a informação por quase três meses.

“Esta situação é obviamente inaceitável”, disse Albanese, deixando claro que responsabiliza a empresa tanto pela invasão quanto pela lentidão com que ela veio à tona.

Albanese disse que a investigação do governo considerará respostas de aplicação da lei e legislativas para evitar que incidentes como este voltem a acontecer.

O veículo de mídia australiano ABC News informa que o último ataque identificado pode ter se baseado em uma violação anterior de um site wiki alemão, que foi usado como base para atacar o site do governo australiano. Os agentes de modelos de IA teriam usado o wiki alemão para deixar anotações a serem usadas em invasões posteriores, incluindo uma nota para obter dados do Instituto Australiano de Saúde e Bem-Estar, uma agência federal que publica dados nacionais de saúde. A agência é um dos três sistemas adicionais que, segundo Albanese, podem ter sido violados.

A Transluce, um laboratório de pesquisa de IA sem fins lucrativos, separadamente encontrou registros públicos mostrando agentes de IA visando o Instituto Australiano de Saúde e Bem-Estar em 20 e 21 de junho.

A OpenAI não respondeu à pergunta específica do TechCrunch sobre se os incidentes estavam conectados, mas reconheceu sua “atividade envolvendo vários sites e serviços do governo australiano”.

O incidente ocorre após uma série de incidentes de segurança causados ??por agentes mal-intencionados, frequentemente agindo dentro da infraestrutura de laboratórios de IA. Em julho, enxames de agentes da OpenAI invadiram o Hugging Face. Desde então, mais incidentes de invasões por agentes de IA da Anthropic, Meta e Google foram revelados.

A OpenAI agora diz que está conduzindo uma “revisão extensa da atividade de modelos desalinhados durante o treinamento e a avaliação” e está notificando terceiros sobre possíveis violações.