Nova técnica de raciocínio da OpenAI alarma especialistas em segurança de IA

O novo modelo Astra da OpenAI usará uma técnica de raciocínio chamada “profundidade recorrente” que permite que ele opere fora do pensamento sequencial que caracteriza a maioria dos modelos de raciocínio, noticiou o The Information na terça-feira. Essa técnica, também chamada de “recorrência opaca”, provavelmente tornará a cadeia de pensamento do modelo mais difícil de monitorar — e isso deixou especialistas em segurança de IA alarmados.

Embora o uso da técnica pelo Astra seja limitado, segundo relatos, seu surgimento ainda gerou preocupações significativas entre especialistas em segurança de IA.

“Estou extremamente preocupado com a notícia de que o Astra usa recorrência opaca”, escreveu o CEO da Redwood, Buck Shlegeris, em uma publicação após a divulgação da notícia. “Não sei se o Astra tem uma cadeia de pensamento muito menos monitorável do que os modelos anteriores. Mas se a OpenAI levar essa técnica adiante, ela terá a opção de aumentar massivamente a recorrência e destruir totalmente a monitorabilidade da cadeia de pensamento.”

O defensor de longa data da segurança de IA Zvi Mowshowitz também se manifestou e escreveu que leis podem ser necessárias para evitar uma “corrida para o fundo do poço” entre os laboratórios de IA. 

“A técnica é brincar com fogo, arriscando um tabu que a OpenAI e a Anthropic lutaram para estabelecer e pelo qual trabalhamos duro para manter a fidelidade e a monitorabilidade da cadeia de pensamento pelo maior tempo possível”, escreveu Mowshowitz. “Um uso mais intensivo dessas técnicas provavelmente danificaria a monitorabilidade.”

Sob circunstâncias normais, a cadeia de pensamento de um modelo de raciocínio fornece as etapas sequenciais tomadas pelo modelo enquanto ele tenta resolver um problema. Embora a representação seja imperfeita, ela ainda serve como uma ferramenta valiosa para monitorar mau comportamento ou desalinhamento. No caso da recente atividade de agente autônomo da OpenAI, os registros da cadeia de pensamento foram uma ferramenta importante para descobrir por que os agentes se comportaram da maneira que o fizeram.

Na recorrência opaca, o modelo adota uma abordagem menos linear, processando a mesma consulta várias vezes em um loop. O resultado deixa menos rastros legíveis, contornando efetivamente um registro convencional de cadeia de pensamento.

Crucialmente, o uso da técnica pelo Astra parece ser limitado. A cadeia de pensamento do modelo ainda deve ser legível, e a empresa rejeitou qualquer sugestão de que mudaria para o “neuralese”. A OpenAI já anunciou planos para sistemas extensivos de monitoramento da cadeia de pensamento como parte de seus planos de segurança voltados para o futuro.

Em uma publicação no X, o cientista-chefe da OpenAI, Jakub Pachocki, enfatizou o compromisso do laboratório com cadeias de pensamento legíveis. “A OpenAI tem trabalhado para preservar e utilizar o monitoramento da cadeia de pensamento desde nossos primeiros modelos de raciocínio”, escreveu Pachocki. “É um objetivo central do nosso programa de pesquisa atual.

Todos os modelos de IA fazem alguma quantidade de raciocínio opaco, e poucos pesquisadores tomam os registros da cadeia de pensamento como uma representação direta do raciocínio de um modelo. Ainda assim, essas ressalvas não dissipam a preocupação de que a recorrência opaca possa tornar o raciocínio da IA mais difícil de monitorar, particularmente à medida que seu uso cresce em diferentes modelos. Em uma reportagem de acompanhamento na quarta-feira de manhã, o The Information relatou que tanto a Anthropic quanto o Google DeepMind já estavam discutindo a técnica.

Em uma publicação respondendo à notícia, o cientista-chefe da Redwood Research, Ryan Greenblatt, disse que o raciocínio opaco poderia facilmente escalar mais rápido do que o raciocínio convencional da cadeia de pensamento, removendo efetivamente todo o raciocínio dos canais visíveis.

“Minha maior preocupação é que uma progressão natural a partir daqui envolva a ampliação do raciocínio opaco a ponto de o modelo raciocinar inteira ou quase inteiramente no espaço latente”, escreveu Greenblatt. “Espero que não seja tarde demais para evitar as arquiteturas mais preocupantes e que a OpenAI pare por aqui.”