A promissora startup francesa ZML lança produto gratuito para acelerar a inferência em diversos chips de IA

Os dias de domínio de mercado sem precedentes da Nvidia não acabaram, mas concorrentes e alternativas estão surgindo de todas as direções.

ZML, uma promissora startup francesa de IA endossada pelo vencedor do Prêmio Turing Yann LeCun, lançou um software de desempenho de inferência que permite que uma variedade de grandes modelos de linguagem de código aberto rodem em uma variedade de chips — incluindo os da Nvidia, AMD, TPU do Google, Apple Metal e Intel Arc.

Com o ZML/LLMD, o servidor de inferência de LLM recém-lançado, a ambição da empresa é quebrar os silos existentes e disponibilizar diferentes chips para casos de uso de IA em sua velocidade máxima disponível, e às vezes mais rápido, disse o fundador da ZML, Steeve Morin, ao TechCrunch.

À medida que a IA se integra ao nosso trabalho e à vida cotidiana, otimizando a inferência — ou seja, o processamento de prompts — tem superado o treinamento de modelos em importância, mas muitas vezes parece irregular nos bastidores, com barreiras de software e arquitetura que levam à fidelização do fornecedor (vendor lock-in), disse Morin.

A promessa de alcançar desempenho máximo em uma variedade de chips é uma proeza tecnológica, mas também pode ser um disruptor de mercado, em meio a temores crescentes sobre os custos relacionados à IA.

A ZML espera fornecer às empresas e nuvens a opção de usar uma mistura de chips, alguns dos quais podem ser menos custosos ou consumir menos energia. “A ideia é devolver às pessoas o poder de criar seu próprio sistema e obter ganhos reais de eficiência que permitam que a [IA] seja disseminada”, disse Morin.

Esse suporte de software pode ajudar novas fabricantes de chips de IA, muitas das quais por acaso são da Europa, observou Morin, citando Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. Mas, mais do que sua região de origem, o que importa para ele é que a ZML possa trabalhar com elas em “coisas que não foram feitas antes em nenhum lugar do mundo”.

Isso não significa que Morin esteja pessimista em relação à Nvidia. Ele não está, em parte devido ao seu fornecimento existente. Ele disse ao TechCrunch que a ZML tem um bom relacionamento com a gigante de chips de IA, que tem se preparado para o crescimento da inferência.

A inferência tem sido uma área de investimento tão intensa que a tendência foi aclamada como a “corrida do ouro da inferência”. Portanto, a ZML tem concorrentes como a Baseten, avaliada recentemente em US$ 13 bilhões; a Inferact, dos criadores do projeto de código aberto vLLM; bem como a RadixArk, a empresa comercial por trás do SGLang.

Tanto o vLLM quanto o SGLang concorrem parcialmente com o LLMD, mas as ambições de Morin para a ZML cobrem um espectro mais amplo. “Chegamos ao ponto em que estamos co-projetando silício”, disse ele. Ele também creditou a enxuta equipe de 20 pessoas da ZML como o motivo pelo qual a startup sediada em Paris tem conseguido avançar rapidamente, com mais lançamentos planejados.

Também ajudou o fato de essa pequena equipe estar bem financiada para o seu tamanho. Graças ao seu histórico como vice-presidente de engenharia do Zenly, que o Snapchat adquiriu por nove dígitos em 2017, Morin arrecadou US$ 20 milhões de firmas de capital de risco, incluindo 20VC de Harry Stebbings, >commit, AALVC, Drysdale Ventures, Kima Ventures de Xavier Niel, Kindred Capital, LocalGlobe e Puzzle Ventures.

Ao contrário do primeiro projeto público da ZML, a estrutura de ML focada em inferência lançada em 2024 e atualizada em março, o ZML/LLMD não é de código aberto. Mas está sendo lançado como um produto gratuito com o objetivo de aprender sobre o uso. “Prefiro medir e [depois gerar receita] onde for mais eficaz, sem prejudicar meu crescimento estupidamente por ter sido ganancioso desde o início”, disse Morin.

É muito cedo para dizer quando o ZML/LLMD poderá se tornar um produto pago e como será sua adoção. Mas a tabela de capitalização (cap table) da startup confirma que outros fundadores estão prestando atenção, incluindo o fundador do Dagger e do Docker, Solomon Hykes, Clément Delangue e Julien Chaumond do Hugging Face, bem como LeCun, agora na AMI Labs. Isso também reforça o argumento de que as startups de IA da Europa agora podem construir a partir de casa. “Eu não poderia fazer a ZML em nenhum outro lugar senão em Paris”, disse Morin.