O clone de Jev da OpenAI pode ajudar o laboratório de fronteira a deter seus agentes em enxame

Um dos anúncios mais intrigantes no evento Dev Day da OpenAI na terça-feira veio em um comentário à parte do CEO Sam Altman, que revelou a nova “Decisions API” (API de Decisões) da empresa.

A API aparentemente fornece funcionalidade semelhante ao Jev, um modelo lançado pela TypeSafe AI no início deste mês que foi explicitamente projetado para automação de software. Uma espécie de classificador superpotente construído sobre um LLM, onde os desenvolvedores podem dar ao Jev um conjunto de escolhas que ele emite como probabilidades de forma barata e em alta velocidade.

A Decisions API da OpenAI parece ser o mesmo tipo de produto. No evento, Altman descreveu a API como uma maneira de dar ao modelo Luna do laboratório um conjunto predefinido de opções para escolher, como categorias nas quais classificar uma imagem ou diferentes comportamentos de agentes.

“Ao focar o modelo nessa escolha, podemos torná-lo extremamente rápido, mantendo capacidades como compreensão de imagem, amplo suporte a idiomas e proteções de segurança”, disse Altman.

A TypeSafe não respondeu às perguntas do TechCrunch sobre o novo produto, mas o CEO Diogo Almeida, um ex-engenheiro da OpenAI que co-inventou o aprendizado por reforço, brincou no X sobre o início das guerras dos clones.

Ele acrescentou que o interesse da OpenAI pode ser “um sinal... de que construir de uma forma compatível com o Sistema 1 é o futuro”. (“Sistema 1” é o termo técnico da TypeSafe para pensamento rápido e intuitivo, versus “Sistema 2”, que ela aplica ao raciocínio deliberado).

O subtexto aqui é que os LLMs como os conhecemos não são a solução certa para muitos softwares porque são comparativamente lentos e caros. Os desenvolvedores têm usado o Jev para complementar os LLMs e, ao fazê-lo, descobriram que eles são mais rápidos e baratos.

Não está claro quão semelhante a Decisions API será em relação ao Jev, já que a OpenAI a lançou como uma prévia limitada e, até agora, o TechCrunch não viu desenvolvedores testando-a exaustivamente. No entanto, há claramente interesse, de acordo com as conversas no X.

A Decisions API não é a única API semelhante ao Jev na internet — outras startups estão lançando modelos semelhantes; a OpenAI não será a última gigante da tecnologia a produzir um. Uma pergunta fundamental é quão bem calibradas serão as saídas de cada um desses modelos de decisão em relação à vida real.

Almeida diz que o diferencial de sua empresa são os dados sintéticos que ela cria para gerar resultados estatisticamente úteis.

“Rápido e barato é muito fácil, sabe”, disse Almeida ao TechCrunch na semana passada. “Se você quer que seja realmente rápido e barato, use dados, certo? A inteligência é a parte difícil, e minha estrela-guia é sempre empurrar a curva de Pareto de inteligência por dólar.”

Após apenas algumas semanas, parece claro que esses modelos têm um futuro pela frente, e uma aplicação provável é o monitoramento e a segurança de agentes de IA. Uma das novas medidas de segurança da OpenAI, após uma série de incidentes em que seus agentes se comportaram mal na internet aberta, é usar um modelo separado para vigiar ações ruins com um “custo computacional significativo”.

Shapor Naghibzadeh, um profissional de segurança cibernética de longa data que lidera a startup QueryStory, acha que um modelo como o Jev poderia tornar isso possível de forma muito mais barata.

Ele construiu uma demonstração para um hackathon realizado no último fim de semana que usa o Jev para verificar cada ação de um agente em relação à tarefa que lhe foi dada, bloqueando ações que ele tinha alta confiança de que eram ruins, sinalizando outras para revisão e permitindo o restante.

Em teoria, tal monitoramento poderia ter parado o incidente do Hugging Face — e esse tipo de monitoramento custa US$ 2,94 com o Jev, versus US$ 372 com um LLM de fronteira.

Uma observação fundamental é que o Jev é, indiscutivelmente, barato o suficiente para rodar em cada ação de agente, o que oferece uma camada de revisão que pode melhorar a confiabilidade dos agentes em geral. É o tipo de coisa que a TypeSafe esperava alcançar — e agora a OpenAI também viu o valor.