A Vals, apoiada pela Andreessen Horowitz, busca se tornar o padrão ouro para avaliação comparativa de IA

A criação de benchmarks se tornou a norma da indústria para que as empresas de IA validem as capacidades de seus modelos e, quando as métricas pendem a seu favor, se destacar dos concorrentes e anunciar sua superioridade. Em outras palavras, bons benchmarks quase sempre significam boa divulgação.

Infelizmente, as empresas também descobriram como enganar os sistemas de benchmarking legados — muitos dos quais são mais antigos e não foram construídos para medir as capacidades dos modelos modernos.

A Vals, uma startup fundada em 2024, diz que tem a missão de consertar esse sistema altamente imperfeito. Em menos de dois anos, a empresa se estabeleceu como uma presença notável na indústria de tecnologia e, no ano passado, conseguiu garantir uma rodada semente liderada pela 8VC e pela Bloomberg Beta. Então, no mês passado, após um período de rápido crescimento, ela captou US$ 40 milhões em uma rodada da série A liderada pela Andreessen Horowitz.

Rayan Krishnan, o cofundador de 25 anos da empresa, foi estagiário na Palantir e, como aluno de graduação em Stanford, trabalhou para a Microsoft e para o laboratório de inteligência artificial da universidade, muito elogiado. Krishnan diz que a Vals nasceu de suas próprias observações sobre como o benchmarking estava ficando para trás em relação aos avanços da indústria que foi projetada para medir.

“Estávamos vendo vários modelos novos e muito capazes chegarem ao mercado rapidamente, e os benchmarks acadêmicos [não estavam] acompanhando esse avanço de fronteira”, compartilha Krishnan. Com a IA sendo integrada a todas as partes da sociedade, os benchmarks deveriam realmente existir para verificar se os modelos podem fazer o que as empresas anunciam que eles podem fazer, disse Krishnan.

Na semana passada, o jovem fundador me mostrou o escritório de dois andares de sua empresa na Folsom Street, em São Francisco — um prédio antigo de tijolos que, um século atrás, serviu como local de uma grande cervejaria. Em vez de uma produção industrial de cerveja, a estrutura histórica agora abriga várias startups diferentes que buscam moldar o futuro da indústria de tecnologia.

“Historicamente, acho que a avaliação tem sido feita para avaliar a inteligência de uma maneira muito abstrata”, me diz Krishnan. “Tipo, os modelos sabem informações suficientes para conseguir passar em um teste do tipo exame da ordem?”

É aqui que a Vals busca se diferenciar. Embora muitos sistemas de benchmarking ofereçam testes que estão publicamente disponíveis (o que pode permitir que uma empresa treine seu modelo contra esses testes, o que, poderei dizer, seria trapacear em seu exame), a Vals não divulga publicamente seus materiais de teste específicos. Em vez de medir o conhecimento geral de um modelo de IA, a Vals também avalia os modelos com base na capacidade de concluir tarefas complexas associadas a indústrias específicas, como direito, finanças e programação.

“O que estamos fazendo é realmente observar quais são os impactos reais dos modelos”, disse Krishnan. “Eles conseguem realizar trabalhos que produzem um produto da mesma qualidade que um humano em todos os domínios?”

A ideia é verificar não apenas os resultados positivos, mas também os negativos, diz ele. A esperança é analisar como, “se esses modelos ficassem soltos no mundo, quais seriam as implicações negativas”.

As capacidades que a Vals está medindo estão crescendo. Além de indústrias mais tradicionais, a startup continua avançando em terrenos mais exclusivos. “Temos um benchmark sobre autoaperfeiçoamento recursivo. Estamos fazendo alguns trabalhos em saúde mental, cibersegurança, biossegurança e até mesmo no direito dos conflitos armados para ensinar os modelos a entender como aplicar a Convenção de Genebra”, compartilha Krishnan.

As empresas pagam à Vals para testar seus modelos, o que pode ser um conceito estranho de entender. Por que uma empresa pagaria para saber que seu modelo não está tendo um bom desempenho? Mas ter uma medição eficaz ajuda as empresas a solucionar problemas e melhorar com o tempo. Krishnan compara seu modelo de receita a como um estudante pode pagar ao College Board para fazer o SAT.

Por sua vez, essas avaliações estão se tornando fatores-chave de tomada de decisão para empresas que desejam adquirir novos modelos de IA.

A startup revelou recentemente que sua receita atual é oito vezes maior do que no ano passado. Sua equipe também está crescendo. A Vals, que começou o ano com apenas oito pessoas, já triplicou para uma equipe de 25. Krishnan disse que, à medida que a startup cresce, o plano é mudar para um escritório significativamente maior, bem como trazer de 10 a 15 pessoas adicionais. A empresa também lançou recentemente um programa focado em fornecer avaliações de modelos para agências federais.

Krishnan vê o sistema de benchmarking de sua empresa como o futuro de como as empresas de IA pensam sobre o crescimento de seus negócios e o estabelecimento da confiança pública.

“As empresas de IA estão começando a abrir capital. A SpaceX abriu capital. A Anthropic está programada para o final deste ano. Suspeito que a OpenAI abrirá o capital em breve. Acho que, à medida que os modelos de IA se tornarem uma parte central da economia e forem difundidos de forma mais ampla, os tipos de benchmarks e avaliações que fazemos vão impulsionar seu uso e ser uma parte central de como essas empresas enviam relatórios públicos ou falam sobre os investimentos futuros que vão fazer em IA”, disse ele.