A OpenAI diz que desacelerou o desenvolvimento do modelo Astra devido a preocupações com a segurança
A OpenAI disse na sexta-feira que suspendeu o trabalho em alguns aspectos de seu próximo modelo, o Astra, após uma revisão interna constatar que ele havia feito avanços significativos em programação autônoma (agentic coding) e segurança cibernética — o suficiente para gerar preocupações sobre suas capacidades.
A OpenAI afirmou em uma postagem no blog na sexta-feira que este modelo, que ainda está em desenvolvimento, atingiu seu "limiar crítico de segurança cibernética", o que significa que ele poderia identificar e realizar de forma independente ataques cibernéticos contra sistemas do mundo real tradicionalmente bem protegidos. Sob a "Estrutura de Preparação" (Preparedness Framework) da empresa, criada em 2023, isso acionou salvaguardas adicionais.
“Embora continuemos avaliando e medindo o desempenho deste modelo, nossas avaliações preliminares indicam um desempenho forte o suficiente para que não possamos descartar o nível de capacidade Crítica neste momento”, escreveu a OpenAI. “O Astra é um modelo futuro e não esteve envolvido na exploração do Hugging Face.”
A divulgação destaca um momento incomum no setor caótico e ainda nascente de laboratórios de IA de ponta. Empresas de todos os setores retêm produtos devido a riscos potenciais, incluindo preocupações com segurança e cibersegurança. Mas raramente anunciam essas decisões publicamente quando se trata de um produto que ainda está em desenvolvimento.
Nesse caso, a OpenAI já está sob escrutínio depois que um modelo diferente, ainda não lançado, invadiu os sistemas da Hugging Face durante testes internos — o primeiro incidente verificável de um laboratório de IA perdendo o controle de seu modelo. Desde então, a OpenAI e outros laboratórios de IA, como a Anthropic, divulgaram outros incidentes nos quais modelos de IA romperam seus ambientes de teste isolados (sandboxes) e representaram ameaças durante testes de segurança cibernética.
A sequência de casos — parece haver uma nova divulgação todos os dias agora — provocou reações variadas de especialistas em segurança cibernética, legisladores e dos próprios laboratórios de IA. Alguns expressam medo e pedem uma supervisão mais rigorosa. Mas também há um pouco de ostentação. Em certos círculos, qualquer laboratório de IA com um modelo que possua esse tipo de capacidade será visto como um avanço impressionante.
A OpenAI afirmou que estava compartilhando essas informações porque acredita que “é importante ser transparente com o público e com as comunidades de segurança sobre essa potencial mudança nas capacidades.”
O laboratório de IA disse que também está tomando medidas, incluindo a implementação de controles de segurança mais rígidos e a interrupção temporária de atividades internas envolvendo o Astra que não atendam a essas barreiras de proteção reforçadas. A OpenAI afirmou que está trabalhando com órgãos governamentais relevantes e “organizações selecionadas de segurança em IA” para testar as capacidades deste modelo.
