OpenAI supostamente abandona modelo por preocupações de segurança
A OpenAI planejava lançar mais um modelo de IA no próximo mês, mas decidiu cancelar o lançamento devido a preocupações com a segurança.
O The Wall Street Journal informa que o Astra 6.1 estava programado para ser lançado já nos próximos dias. No entanto, o modelo “apresentou níveis mais altos de enganação” do que os modelos anteriores e exibiu comportamento inseguro, escreve o Journal.
Saachi Jain, chefe de sistemas de segurança da OpenAI, disse ao WSJ que o modelo teve um desempenho ruim nos testes de alinhamento, uma medida de quão bem o programa adere à intenção humana.
O TechCrunch entrou em contato com a OpenAI para obter mais informações e atualizará o artigo caso haja uma resposta.
O Astra foi lançado no início deste mês e aclamado pela OpenAI como seu modelo mais poderoso até o momento.
Questões sobre segurança têm assolado a indústria de IA nos últimos meses — desde o incidente da Hugging Face, no qual um agente da OpenAI escapou de seu ambiente isolado (sandbox) e invadiu várias empresas diferentes. Desde esse incidente, foi revelado que mais modelos — incluindo o Claude da Anthropic e o Gemini do Google — exibiram comportamento semelhante.
A torrente de notícias preocupantes tem, ironicamente, ajudado a empurrar a discussão sobre políticas nos EUA em direção a um resultado desejado pelos principais laboratórios de IA: a instituição de novos padrões da indústria para a segurança de IA e, potencialmente, uma desaceleração da própria indústria.
Empresas como a OpenAI e a Anthropic afirmam que a preocupação aqui é a segurança, embora outra motivação potencial apontada por críticos seja a de que isso pode consolidar a posição na indústria dessas empresas em detrimento de firmas com menos recursos.
