Como o governo decidiu que o modelo de fronteira da OpenAI era seguro para lançamento?

A OpenAI está lançando seu LLM avançado mais recente, o Sol, para amplo acesso público. O Sol é considerado pelo menos equivalente ao Fable, da Anthropic, um modelo cujas capacidades (ou propriedade) estressaram tanto a Casa Branca que ele foi brevemente banido do acesso público.

Então, como esses modelos obtiveram a aprovação para lançamento? Resposta curta: Ninguém tem certeza.

“Francamente, eu não tenho visibilidade sobre esses processos exatos, então sim, não sinto que tenho informações suficientes para dizer se eles são adequados ou não”, disse ao TechCrunch Mina Narayanan, analista sênior de pesquisa do Centro de Segurança e Tecnologia Emergente de Georgetown. “A Anthropic disse que estava em conversas com o governo, que desenvolveu um classificador para detectar tentativas de violação (jailbreak) e que implementou estratégias de defesa em profundidade para evitar futuras violações, mas exatamente como foi esse diálogo entre o governo, a Anthropic e a OpenAI não está claro.”

Dean W. Ball, ex-assessor de políticas de Trump que agora trabalha para a OpenAI, escreveu em sua newsletter no mês passado que “ninguém sabe quais são os requisitos para obter uma licença”.

Andy Konwinski, cientista da computação que cofundou a Databricks, a Perplexity e o Laude Institute, disse que nunca falou com ninguém que entenda o processo, nem mesmo funcionários de laboratórios de fronteira. “Isso é um problema existencial”, ele diz ao TechCrunch. “Segurança ou não, trata-se de quem tem o poder de tomar decisões — quem faz a portaria e decide sobre as permissões?”

Dezoito meses após o governo Trump, ainda há pouca clareza sobre como avançar, apesar — ou, como alguns críticos alegam, por causa — das figuras da indústria que definem as políticas. No mês passado, após semanas de conflitos internos, foi publicada uma ordem executiva estabelecendo um roteiro para avaliar modelos de fronteira, mas os detalhes ainda precisam ser preenchidos, além do que não existirá. “Não haverá um FDA para a inteligência artificial”, disse ao Financial Times Sriram Krishnan, ex-sócio da Andreessen Horowitz que atuou como conselheiro sênior para IA na Casa Branca até o mês passado.

Notavelmente, ainda não há um acordo sobre que tipos de modelos exigem escrutínio do governo, ou qual agência ou agências devem realizar essas avaliações. Por enquanto, o Centro de Padrões e Inovação em IA do Departamento de Comércio parece estar assumindo a liderança, mas a ordem executiva instrui seis agências de gabinete a determinarem um processo final até o início de agosto. O que surgiu no meio tempo é, na melhor das hipóteses, improvisado.

O CEO da OpenAI, Sam Altman, disse à CNBC que o processo envolveu conversas com autoridades como o secretário de Comércio Howard Lutnick, o secretário do Tesouro Scott Bessent e o diretor nacional de segurança cibernética dos EUA, Sean Cairncross, mas não está claro quem foram os especialistas que testaram os modelos ou como eles fizeram isso. A OpenAI recusou-se a compartilhar detalhes sobre o processo do governo com o TechCrunch, mas apontou para os resultados de várias avaliações externas por organizações como o U.K. AISI, SecureBio e Irregular no cartão de segurança do modelo mais recente.

Assim como no lançamento do Fable da Anthropic, a OpenAI apresentou uma prévia do modelo para o governo e usuários selecionados antes do lançamento mais amplo, mas não sabemos quem foram todos esses usuários ou como eles foram escolhidos. Em uma postagem no blog no final de junho, a empresa disse que “não acreditamos que esse tipo de processo de acesso governamental deva se tornar o padrão de longo prazo”, afirmando que trabalharia com o governo para desenvolver um caminho diferente para o futuro.

O pano de fundo dessas conversas, no entanto, inclui relatos de que Altman teria oferecido até 5% do patrimônio líquido da OpenAI para as chamadas “Contas Trump” da administração, bem como o papel do presidente da OpenAI, Greg Brockman, como o maior doador publicamente conhecido para a operação política de meio de mandato de Trump. É difícil para observadores externos separar essas atividades da abordagem aparentemente mais branda do governo para regular o Sol.

Por outro lado, o Fable da Anthropic foi brevemente retirado do acesso mais amplo quando o governo dos EUA proibiu seu uso por cidadãos estrangeiros, em parte devido a preocupações reais sobre usuários que violavam o modelo para acessar capacidades de hacking e em parte devido a conflitos de personalidade entre a Anthropic e a administração Trump. A ameaça de uma proibição de exportação também pode ter levado a OpenAI a cooperar mais com as solicitações (desconhecidas) do governo.

Do ponto de vista da indústria, uma abordagem de regulação sem interferência direta pode ser boa, mas uma que dependa de conexões pessoais com funcionários da administração gera incerteza e incentivos ruins.

Konwinski disse ao TechCrunch que se preocupa com o fato de que os verdadeiros especialistas nesta tecnologia — “pesquisadores de segurança, pesquisadores de alinhamento, pesquisadores de interpretabilidade, mas também pessoas de dados e pessoas de toda a pilha tecnológica” — não estão desempenhando um papel suficiente no processo de lançamento de modelos.

Konwinski argumenta que um “comum aberto” é a melhor maneira de realmente equilibrar segurança e inovação. Ele aponta para órgãos como o FDA, o NIH ou os laboratórios nacionais, que reúnem pesquisadores, autoridades governamentais e empresas privadas para alcançar um consenso sobre questões de segurança.

Parte disso se resume aos incentivos do capitalismo que motivaram os pesquisadores de IA por mais de uma década e que se desenrolaram no tribunal durante o processo judicial de Elon Musk contestando a estrutura corporativa da OpenAI. Ball aponta que a natureza do negócio de IA exige que as empresas recuperem grande parte de seus custos de treinamento logo após o lançamento de seus modelos e quando estão mais à frente da concorrência.

“Mesmo que suas intenções sejam boas, existem obrigações legais muito claras e responsabilidade fiduciária que estão embutidas diretamente nos procedimentos operacionais”, aponta Konwinski.

Ball, em sua postagem, argumentou que o caminho a seguir dependerá de organizações terceirizadas de auditoria, licenciadas pelo governo, que avaliarão a abordagem dos laboratórios de fronteira em relação à segurança. Konwinski também está otimista quanto a novos formatos institucionais, como organizações de pesquisa focadas, que poderiam ajudar especialistas mais desinteressados do mundo acadêmico e sem fins lucrativos a acessar e avaliar modelos de fronteira.

Por enquanto, o sigilo em torno do desenvolvimento da IA não vai desaparecer, mas também semeará desafios políticos para uma indústria que os americanos vêem cada vez mais com ceticismo. “Não há a sensação de que pessoas responsáveis estão impulsionando essas mudanças”, disse na semana passada o professor de ciência da computação da Universidade de Wisconsin-Madison, Remzi Arpaci-Dusseau, na conferência Open Frontier.

No mesmo evento, David Siegel, o cientista da computação que fundou a Two Sigma, um dos fundos de hedge quantitativos de maior sucesso, pediu aos participantes que “imaginassem uma situação, que eu acho que seria muito ruim, [onde] um pequeno número de empresas controla a tecnologia; o governo, em seus laboratórios secretos, está avaliando se a tecnologia é ou não adequada para uso; e o público em geral e a comunidade científica realmente não têm acesso a nada disso”.

Parece que não precisamos imaginar.