Por que os primeiros financiadores de GPUs estão migrando para chips de inferência em um acordo de 400 milhões de dólares

A General Compute, uma startup de nuvem de inferência de IA, conseguiu um empréstimo de US$ 400 milhões da Upper90, uma empresa de investimentos em tecnologia. Pode ser o primeiro acordo a usar chips específicos para inferência como garantia — chips construídos para executar modelos de IA já treinados de forma rápida e eficiente, em vez dos chips mais caros usados para construir os modelos em primeiro lugar.

O financiamento é o sinal mais recente de que os mercados estão respondendo às preocupações com o preço de ferramentas e tokens de IA, recorrendo a infraestruturas que executam modelos de código aberto de forma mais barata do que os LLMs mais recentes de laboratórios de vanguarda.

Fundada pelo CEO Finn Puklowski e pelo CTO Jason Goodison, a General Compute captou uma rodada semente de US$ 15 milhões em maio para construir uma neoclusão de inferência em torno do silício da SambaNova, uma fabricante de chips apoiada pela Intel. (As neoclusões são construídas especificamente para cargas de trabalho de IA, ao contrário da infraestrutura de uso geral oferecida por hiperscaladores tradicionais como AWS ou Azure.)

Os chips SN50 da empresa foram projetados para inferência. Eles são eficientes em termos energéticos e não exigem sistemas caros de refrigeração a água, o que significa que podem ser implantados mais rapidamente do que as GPUs em uma variedade maior de data centers. A General Compute afirma que os novos chips fornecerão uma inferência 16 vezes mais rápida do que as nuvens baseadas em GPU.

O desafio é conseguir uma grande quantidade desses chips, especialmente quando você é uma empresa totalmente nova.

O cofundador e CEO da Upper90, Billy Libby, ex-operador quantitativo do Goldman Sachs, tinha um plano para isso: em 2021, sua empresa financiou compras de GPU pela Crusoe, a startup de data centers focada em energia, no que ele acredita ter sido o primeiro empréstimo garantido pelo valor de chips avançados.

Os credores tradicionais evitavam tais acordos na época devido aos riscos e incertezas em torno da depreciação da GPU. Mas, à medida que a CoreWeave transformou empréstimos garantidos por chips em um modelo de negócios e, posteriormente, na base de uma oferta pública inicial (IPO) estrondosa, esse tipo de financiamento se tornou comum.

“Quando financiamos GPUs da Nvidia como o primeiro grupo a fazer isso, o mercado era ineficiente”, disse Libby ao TechCrunch. “Pusemos montar algo como um participante inicial e meio que sermos compensados pelo risco.”

Agora que as GPUs são comparativamente bem compreendidas e talvez sobrecompradas, a Upper90 está recorrendo a empresas como a General Compute para surfar a próxima onda do boom da IA. “Acreditamos que os modelos de código aberto serão importantes, e fomos procurar um player no ano passado que atuasse em inferência”, disse Libby. “Nem todo mundo precisa de um supercomputador, mas todos precisam de inferência e IA.”

Essa tese vem se fortalecendo, com empresas que fornecem acesso a modelos abertos, como OpenRouter e Fireworks, levantando novas rodadas com avaliações gigantescas. Novos modelos como o K3 do Kimi provaram competir com os lançamentos mais recentes da Anthropic e da OpenAI em benchmarks de codificação. E novas fabricantes de chips, como Groq e Cerebras, atraíram o interesse tanto de adquirentes quanto dos mercados públicos.

A capacidade da General Compute de acessar chips fora do ecossistema da Nvidia importa pelo mesmo motivo. A TensorWave, outra empresa de infraestrutura de IA, está fazendo uma aposta semelhante em uma parceria com a AMD. À medida que mais alternativas à Nvidia surgem, os provedores de computação que não estão presos a acordos com a Nvidia podem ter vantagem em fornecer inferência com custo eficiente.

“Há um monte de chips começando a escalar que têm um [custo total de propriedade] incrível, ou que podem operar muito mais rápido do que a Nvidia, mas não há muitos compradores para eles”, disse Puklowski. “Ao se unir à Upper90, isso não é apenas ‘uma startup legal que conseguiu dinheiro para comprar computação’. Tipo, este é o primeiro sinal de capital se organizando e da fragmentação do domínio monopolista da Nvidia.”