Kog is going deeper to squeeze more inference out of GPUs
A corrida por uma inferência de IA mais rápida está a todo vapor, e os mercados receberam a Cerebras e seus chips especializados de braços abertos em sua estreia na OPI em maio. Mas a startup francesa Kog está apostando que ainda há muito mais desempenho a ser extraído das GPUs convencionais.
A startup chegou à página principal do Hacker News em maio com uma prévia técnica voltada para provar que “a decodificação de requisição única extremamente rápida é possível nas GPUs padrão de data center que as empresas já possuem” — como as GPUs AMD MI300X e Nvidia H200 que ela usou em sua demonstração.
Alguns ficaram desapontados ao saber que isso não se estendia às GPUs de nossos laptops, mas outros viram o potencial. Com a velocidade e os custos de inferência sendo atualmente um gargalo crítico, a promessa da Kog de desbloquear novos recursos em hardware existente por meio de otimização de software atraiu mais do que apenas curiosos. “Tivemos 200 leads de negócios concretos”, disse o CEO Gaël Delalleau ao TechCrunch.
Com base no feedback inicial, o fundador solo espera que a engenharia de software seja o primeiro caso de uso. Usuários veteranos do Claude Code estão bem cientes de que às vezes precisam esperar horas para obter resultados. A própria Anthropic entende que a velocidade vale dinheiro e cobra um preço multiplicado pelo Modo Rápido do Claude.
A Kog espera atrair clientes desmotivados por esses atrasos, geralmente porque dependem de fluxos de trabalho de IA para tarefas profissionais. Mas a startup também tem parceiros de design que permitem aos usuários gerar jogos e aplicativos com um comando, e para os quais um resultado mais rápido, graças ao Kog Inference Engine (KIE), significaria mais receita, afirmou Delalleau.
A empresa percebe que este mercado ainda não está totalmente maduro. Ao observar a demanda, a Kog aprendeu que seus clientes em potencial não estão preparados para realizar o ajuste fino de modelos pequenos. “E é por isso que, desde o lançamento, temos nos focado totalmente em acelerar o desenvolvimento de modelos maiores para atender à demanda que temos visto.”
Isso deixa a Kog com um enorme salto a dar para cumprir sua promessa de “inferência de LLM 30 vezes mais rápida”. Sua demonstração mostrou uns impressionantes 3.000 tokens por segundo (TPS) por requisição — mas com um modelo pequeno feito sob medida com apenas cerca de 2 bilhões de parâmetros, o agora de código aberto Laneformer 2B.
Contradizendo os céticos, Delalleau está confiante de que a mesma abordagem pode funcionar tão bem com LLMs, cujo tamanho pode ser um desafio para os chips de inferência. “As GPUs têm um futuro brilhante”, disse ele. Para o CEO da Kog, a ideia de que elas não são adequadas para decodificação tornou-se um equívoco; as GPUs mais recentes possuem largura de banda de memória cada vez maior, que só está esperando para ser explorada.
A Kog não está sozinha ao pensar que a otimização de software pode ajudar as GPUs a fazerem mais do que o especificado de fábrica. A ZML, também da França, lançou um software independente de hardware que contorna o CUDA da Nvidia para suportar inferência rápida em chips concorrentes. Mas Delalleau disse que a Kog se parece mais com o laboratório Hazy Research da Universidade de Stanford, com um foco ainda mais profundo na aceleração de GPU.
O próprio Delalleau não é um pesquisador, e sua primeira startup, a Stribe (veterana do TechCrunch50 de 2009), não tem nada a ver com a nova, além de seu ex-co-fundador que virou capitalista de risco, Kamel Zeroual, cuja firma Varsity VC co-liderou a rodada seed da Kog. Mas o foco profundo da startup vem de sua trajetória única.
Tendo estudado física do estado sólido na École Polytechnique da França, ele passou a trabalhar com segurança cibernética ofensiva — também conhecida como *white hat hacking* (hacking ético). Segundo Delalleau, isso moldou a mentalidade que ele agora incentiva sua equipe a adotar. Do lado da ciência, “há essa mentalidade de entender as leis da física e as leis da GPU para tirar o máximo proveito delas”.
Quanto ao hacking, o quatro vezes finalista do torneio CTF da DEFCON disse que isso o ensinou “a fazer engenharia reversa de coisas em um nível muito baixo — até linguagem assembly e código binário — para entender como funciona e tentar usá-lo para atingir um objetivo para o qual ele não foi necessariamente projetado”.
O lado negativo dessa abordagem é que ela é muito prática e consome muito tempo. “Para cada nova GPU, dedicaremos várias semanas ou até meses para realmente mergulhar nos detalhes e realizar pesquisas de engenharia de GPU nesse hardware.” Com uma equipe de 11 pessoas, isso impõe um limite ao número de chips com os quais a Kog pode trabalhar, pelo menos em um futuro próximo.
A longo prazo, a Kog espera alimentar sua metodologia em pipelines baseados em agentes que permitirão dar suporte a mais chips e modelos. À medida que a Europa busca construir sua própria capacidade nessas duas frentes, isso pode adicionar impulsos de soberania para a startup, que já é apoiada pela Scaleway e respaldada pela Bpifrance e pelo programa French Tech 2030 da França.
Por enquanto, no entanto, a Kog precisa provar ao mundo que sua abordagem funciona em LLMs. Isso também será fundamental para garantir mais financiamento. “Assim que implementarmos nosso primeiro grande modelo a 10x de velocidade, o que eu acho que será em setembro, poderemos começar a demonstrar a tração dos clientes e, a partir daí, levantar nossa Série A”, disse Delalleau.
