OpenAI adiciona um proeminente apocalíptico da IA ao seu conselho de administração

Paul Christiano, um influente pesquisador de inteligência artificial focado em manter os sistemas de IA alinhados aos interesses humanos e sob controle humano, está se juntando ao conselho da Fundação OpenAI, informou o laboratório de fronteira nesta quarta-feira.

“Agora acredito que há um risco real de que a rápida aceleração nas capacidades da IA leve a uma perda de controle catastrófica e irreversível em um futuro muito próximo”, escreveu Christiano em uma postagem nas redes sociais. “Não acho que a indústria de IA em geral, incluindo a OpenAI, esteja atualmente no caminho certo para reduzir esse risco a um nível aceitável. Estou me juntando porque acredito que, se a OpenAI estiver à altura da situação, poderemos reduzir significativamente o risco.”

Christiano escreveu que o uso de modelos de IA para treinar sistemas de IA subsequentes pode resultar em uma explosão de capacidades que seus criadores não conseguem controlar.

Ele se junta ao conselho no momento em que a OpenAI enfrenta um escrutínio renovado sobre seus procedimentos de segurança, após uma série de incidentes em que agentes de IA romperam restrições e penetraram em sistemas de computador externos sem o conhecimento dos pesquisadores da OpenAI. Na terça-feira, o pesquisador da Anthropic Jacob Coxon renunciou ao seu cargo para chamar a atenção para o que ele considera um desenvolvimento de IA irresponsável — e parece ter funcionado.

Christiano integrará o Comitê de Segurança e Proteção do conselho, liderado pelo professor da Universidade Carnegie Mellon Zico Kolter. O comitê tem a palavra final sobre se a OpenAI lança novos modelos, como o Astra, que foi implantado na semana passada. Kolter não comentou publicamente sobre os recentes incidentes de segurança. A OpenAI não respondeu ao pedido do TechCrunch sobre a perspectiva de Kolter em relação à abordagem da empresa sobre segurança após esses incidentes.

Christiano é uma das pessoas por trás do aprendizado por reforço (RL) a partir de feedback humano, uma técnica fundamental para treinar grandes modelos de linguagem que ele desenvolveu enquanto trabalhava na OpenAI. Ele deixou o laboratório em 2021, fundando posteriormente o Alignment Research Center para se concentrar em como determinar se um modelo de IA pode representar uma ameaça aos seus criadores humanos.

“Atualmente, treinamos nossos agentes de IA com aprendizado por reforço para obterem o máximo de recompensa possível”, escreveu ele na quarta-feira. “Há muito tempo parece teoricamente possível que isso possa motivar agentes de IA a minar o controle humano, buscar poder e recursos, e cobrir seus rastros em busca de objetivos desalinhados correlacionados com a recompensa. Evidências públicas de incidentes recentes sugerem que isso não é apenas uma possibilidade teórica.”

Em algum momento de 2024, Christiano passou a ter vínculos com o Instituto de Segurança de IA do governo dos EUA, que mais tarde se tornou o Centro de Padrões e Inovação em IA. Lá, ele desempenha um papel no esforço em grande parte oculto do governo dos EUA para avaliar modelos de IA de fronteira antes de seu lançamento.

De acordo com o anúncio do laboratório de fronteira, Christiano continuará assessorando o governo enquanto atua em seu novo cargo como membro do conselho, mas se declarará impedido em assuntos da OpenAI e avaliações de modelos. No entanto, isso dificilmente dissipará as preocupações generalizadas sobre a influência da indústria de IA na formulação de políticas.