Alucinação de IA quase desencadeia operação militar dos EUA

Aeronaves militares já estavam no ar nesta primavera quando autoridades dos EUA fizeram uma descoberta alarmante: a inteligência que impulsionava uma operação armada contra uma embarcação chinesa havia sido alucinado por um chatbot de IA. A operação foi cancelada no último minuto, evitando por pouco um potencial conflito com a China, informou a CNN na sexta-feira.

O episódio ressalta uma crescente preocupação entre autoridades militares e especialistas externos: à medida que os tomadores de decisão dependem mais fortemente da IA, os erros que esses sistemas produzem podem subir na cadeia de comando antes de serem questionados.

O relatório de inteligência, que circulou durante a guerra com o Irã, dizia que a embarcação estava transportando componentes para um programa de armas nucleares.

A inteligência falsa teve origem em um analista do Comando de Operações Especiais que consultou um chatbot de IA para sintetizar dados de código aberto com inteligência de sinais classificados. O chatbot identificou incorretamente o manifesto de carga do navio. O analista então usou a ferramenta pela segunda vez para formatar as conclusões errôneas em um resumo com aparência oficial, que foi distribuído por canais de comando.

O quase-acidente ocorre no momento em que os militares dos EUA correm para integrar a IA para acelerar a tomada de decisões e manter sua vantagem sobre a China. O Pentágono descreveu a IA como geradora de uma vantagem significativa em acelerar sua cadeia de abate para que os comandantes possam responder no momento certo. Mas a mesma velocidade que torna a IA atraente também pode permitir alucinações com supervisão humana insuficiente.

“É importante que os militares entendam a incerteza inerente aos LLMs”, disse Jake Steckler, pesquisador do GovAI e veterano do Exército dos EUA, em uma resposta por escrito ao TechCrunch. “Mas é especialmente crítico para quaisquer decisões que possam levar ao uso da força, como alvejamento, análise de inteligência ou planejamento operacional. Há consequências de vida ou morte para essas decisões.” 

Ainda assim, diz Steckler, o incidente deve servir como um chamado para adicionar mais salvaguardas à IA, e não como um motivo para evitá-la. “Essas ferramentas podem ser úteis nos contextos certos e com as salvaguardas adequadas em vigor”, disse ele. “Mas priorizar a velocidade de adoção acima de tudo provavelmente levará a incidentes que farão com que os militares apenas percam a confiança nesses sistemas, o que no final só vai atrasar a adoção.”