Um novo tipo de modelo de IA de um inventor do ChatGPT está empolgando desenvolvedores

O ChatGPT partiu o coração de Diogo Almeida…

Almeida foi um pesquisador da OpenAI que ajudou a construir o chatbot e depois a inventar o aprendizado por reforço com feedback humano (RLHF), a técnica de treinamento de modelos talvez mais responsável pela nossa era atual da inteligência artificial. Mas, apesar de suas capacidades, ele ficou decepcionado.

“Temos um gênio na garrafa e, no entanto, ele não é útil”, disse Almeida ao TechCrunch. “Venho batalhando contra esse problema desde então. Demorei um pouco para chegar à conclusão: o problema é que estamos otimizando para a linguagem humana... Somos super bons em linguagem humana há quatro anos, mas ela não é útil para automação porque os computadores falam uma língua diferente.”

Dois anos atrás, Almeida deixou a OpenAI para fundar a TypeSafe AI, uma startup que tenta resolver esse problema. Esta semana, a empresa lançou um novo modelo baseado em transformadores, o Jev, que não é um grande modelo de linguagem (LLM). Ele não gera texto, mas produz probabilidades, ou o que a empresa chama de “decisões calibradas”.

Evitar a linguagem traz algumas vantagens: torna o modelo incrivelmente barato e rápido e, como os usuários definem as saídas com antecedência, ele não pode alucinar. Seus tokens de saída são gratuitos, e os tokens de entrada são cobrados por bilhão, não por milhão.

Os desenvolvedores estão demonstrando grande interesse no produto; a empresa perdeu brevemente a capacidade de atender usuários por meio de sua API devido à altíssima demanda. O Jev parece ser mais útil para a automação de software. Até o momento, os desenvolvedores de software o veem como uma forma mais barata e robusta de incorporar inteligência em seus códigos.

Por exemplo, Pranit Sharma, engenheiro de software da Vercel, empresa que cria infraestrutura para agentes, disse que sua empresa usou o ChatGPT Luna 5.6 da OpenAI para executar um classificador que revisava comandos em busca de segurança. Quando a Vercel substituiu o Luna da OpenAI pelo Jev, obteve resultados de cinco a 18 vezes mais rápidos e com maior precisão.

Outro desenvolvedor, o CTO da Bryo AI Nikhil Mudholkar, testou o Jev em comparação com o Gemini para classificar e-mails comerciais. Em seu teste, o Gemini foi ligeiramente mais preciso, mas de 10 a 20 vezes mais caro. O que mais chamou a atenção de Mudholkar foram as pontuações de confiança do Jev — “é o único que devolve uma probabilidade real, o que o torna ideal para automatizar fluxos de trabalho!!”

Além de substituir os LLMs em certos casos de uso, o novo modelo também pode aprimorá-los, agindo como um filtro inteligente contra comportamentos inadequados. Usar agentes para monitorar agentes pode rapidamente se tornar caro, mas usar o Jev para isso, argumenta Almeida, faz sentido. Ele vê os usuários implantando o Jev para rastrear rastros de agentes LLM e evitar fugas de controle (*jailbreaks*).

“No fim das contas, ele transfere um pouco do problema da alucinação para o usuário”, explicou Armin Ronacher, CTO da Earendil, que desenvolve o framework de modelos de código aberto Pi. “O usuário precisa dizer: 'Ok, se isso voltar com apenas 50% de probabilidade, talvez seja cara ou coroa e eu desconsidero. Mas se for 95%, com certeza, então posso fazer algo com isso'.”

Outro uso potencial para o Jev é o roteamento de modelos, disse Ronacher. Prever se uma determinada carga de trabalho requer um modelo específico seria útil, mas usar um LLM para essa função seria caro. O baixo custo e a velocidade do Jev tornam esse tipo de triagem em tempo real possível.

E essa é a esperança de Almeida. O modelo recebeu o nome de William Stanley Jevons, o economista do século XIX cujo paradoxo homônimo descreve como a queda no custo de uma mercadoria pode levar a um uso cada vez maior dela. Nesse caso, a queda no custo da inteligência deve levar à sua implantação generalizada.

“Acreditamos que haverá software inteligente por toda parte de uma forma emergente e distribuída... muito mais parecida com a internet primitiva do que, você sabe, com os mega-aplicativos que as pessoas estão tentando construir agora”, disse Almeida.

Almeida faz questão de não revelar detalhes sobre a arquitetura do modelo, que observadores externos suspeitam ser construída sobre um LLM de pesos abertos. A empresa se refere ao Jev como um “modelo de Sistema 1”, focado na intuição em vez do raciocínio, e focado especificamente na tarefa certa. Almeida diz que o Jev é treinado exclusivamente com dados sintéticos usando uma técnica que ele chama de “aprendizado por reforço a partir de decisões calibradas”.

“Fizemos uma aposta inicial de que criaríamos todos os nossos dados, e essa tem sido uma das melhores apostas que já fiz na minha vida — melhor do que o nosso lançamento, na minha opinião, melhor do que o RLHF”, disse ele ao TechCrunch. “Metade da [nossa empresa] é um laboratório que basicamente domina todo esse subcampo de dados sintéticos estatisticamente bem compreendidos, e essa é a alegria da minha vida agora.”

Por enquanto, o Jev está sozinho como esse tipo de modelo, mas Ronacher espera que concorrentes comecem a surgir agora que sua utilidade é evidente.

“Dveríamos ter percebido isso antes de muitas maneiras, mas presumivelmente, como os LLMs são tão baratos e subsidiados, muitas vezes você ainda não precisa ser criativo”, disse ele.

A própria TypeSafe construirá mais versões do modelo, em novas modalidades. Quando perguntado se a TypeSafe é um laboratório de fronteira, Almeida respondeu: “o principal produto dos laboratórios de fronteira é o medo ou o *hype*. Eu gostaria que nosso principal produto fosse a inteligência... [mas nós] não somos um laboratório no sentido de, você sabe, apostar em riqueza infinita, ou uma religião, ou construir Deus em um data center, ou seja lá qual for a moda de hoje.”