OpenAI disponibiliza amplamente seu concorrente do Jev com o acirramento da concorrência de modelos de decisão

A OpenAI disponibilizou seu modelo Decisions API amplamente para os usuários pela primeira vez, entrando no mercado de inteligência rápida e barata que recentemente transformou a TypeSafe, uma startup fundada por um ex-pesquisador do laboratório de vanguarda, em uma empresa avaliada em 7,6 bilhões de dólares.

O modelo Jev da TypeSafe criou uma categoria para modelos de aprendizado profundo que atuam como superclassificadores: dado um conjunto de opções, eles podem fazer escolhas rapidamente e oferecer uma taxa de confiança em sua decisão. Desenvolvedores de software rapidamente descobriram que esses modelos de decisão ou do Sistema 1 podiam substituir LLMs em uma variedade de fluxos de trabalho, operando de forma mais rápida e a um custo dramaticamente menor.

Nikunj Handa, líder de produtos para as APIs da OpenAI, disse ao TechCrunch que seus colegas viram o Jev e disseram “uau, nós temos tipo um milhão de casos de uso para isso.” A equipe de Handa trabalhou rapidamente para oferecer sua própria versão: em vez de construir um modelo de decisão especificamente calibrado, a equipe pegou o ChatGPT Luna e o reconfigurou para acelerar a inferência e reduzir o custo.

“O grande avanço com a Decisions API tem sido a velocidade, reduzindo as coisas de um a três segundos para 100, 120, 180 milissegundos,” disse Handa. “No futuro, podemos ter algum tipo de treinamento específico para tornar nossos modelos ainda melhores dessas maneiras. Mas agora, é apenas o bom e velho Luna que dá conta do recado.”

Anunciada no dia do desenvolvedor da empresa em 29 de setembro, a Decisions API ficou disponível para todos os clientes na quinta-feira. A OpenAI adicionou novas modalidades de voz e visuais à versão pública e trabalhou para garantir menor latência em regiões ao redor do mundo, direcionando seus recursos de inferência geograficamente.

Em testes iniciais com clientes como Box, Datadog, Ramp e Speak, os engenheiros usaram a API para substituir as LLMs da OpenAI com maior rendimento. Andrew Hsu, CTO da Speak, que cria tutores de idiomas de IA, disse que a Decisions API permitiu à empresa reduzir o tempo entre as ações de 1,4 segundo para 0,13 segundo. A OpenAI também usou o produto para melhorar a capacidade de resposta do assistente de voz Dots.

Ainda assim, não está exatamente claro o que torna um bom modelo de decisão, além de “funcionar para você” — a otimização entre inteligência, custo, calibração e velocidade parece diferir dependendo da carga de trabalho. O CEO da TypeSafe, Diogo Almeida, desconfia de benchmarks e insta as pessoas a testarem os modelos em seus próprios trabalhos, mas até a TypeSafe divulgou seus próprios rankings na semana passada junto com o lançamento de seu modelo Jev mais recente, que inclui novos recursos, como suporte a imagens e declarações de condição inteligente (smart-if).

Benchmarks públicos como o AIM System One Index e o Artificial Analysis Decision Index tendem a favorecer o D1 Ultra, um novo modelo de decisão que a Liquid lançou na semana passada, e o Elephant-1 da Base Lab. O modelo Jev mais recente continua competitivo em ambos os índices, na sétima e terceira posições, com o modelo de decisão da OpenAI caindo para a oitava e décima quarta posições, respectivamente. No entanto, as ofertas da TypeSafe são, por enquanto, as mais consultadas no OpenRouter.

O benchmark Jev mais divertido, no entanto, é o JevMan, um benchmark onde modelos de decisão jogam PacMan; o modelo Jev mais recente lidera esse ranking. Felix Wunderlich, diretor de crescimento da Opper AI, que criou o benchmark, disse que o jogo clássico “é um teste interessante devido ao seu fluxo incessante de decisões rápidas e de alto risco. Em cada cruzamento, o modelo deve decidir para onde ir em algumas centenas de milissegundos.”

Onde o modelo da OpenAI, que é indiscutivelmente mais capaz, pode ter uma vantagem é na multimodalidade — para classificação de imagens, “o Luna é extremamente poderoso e tem apresentado calibrações melhores”, disse Handa ao TechCrunch, acrescentando que os clientes da OpenAI querem que a Decisions API seja mais flexível também no uso de imagens como saídas.

Handa também viu novos aumentos na velocidade permitindo novos casos de uso: “Podemos chegar a algo como, sabe, 60 milissegundos e, então, você poderia imaginar uma chamada de API como para cada quadro individual em um vídeo?”

À medida que essas ofertas se tornam mais rápidas e baratas, podemos esperar que elas façam jus ao homônimo de Jev, um economista que explicou como usar um recurso de forma mais eficiente o torna mais onipresente. Ou, como Handa vê, haverá um conjunto crescente de “casos de uso malucos” que estavam escondidos à vista de todos até que os modelos de decisão os revelassem.