A Amazon está dando seu maior tiro na Nvidia até agora com a nova ferramenta de desenvolvimento TorchNeuron

Na segunda-feira, a Amazon Web Services lançou uma ferramenta chamada TorchNeuron que permite a startups de inteligência artificial migrar facilmente seus aplicativos de IA para o chip de IA da Amazon, o Trainium. Com isso, a Amazon também desfere um golpe direto na vantagem de software que ajudou a Nvidia a se tornar a escolha de hardware padrão para aplicativos de IA e impulsionou sua ascensão como a provedora de hardware de IA preferida.

O TorchNeuron funciona com o PyTorch, um kit de ferramentas gratuito e de código aberto que os desenvolvedores usam para criar, treinar e executar modelos de IA. Ele permite que aplicativos de IA escritos com o PyTorch sejam executados no Trainium alterando apenas uma linha de configuração, de acordo com a Amazon — sem necessidade de reescrita de código.

A Amazon afirma que cerca de 85% dos aplicativos de IA são escritos com o PyTorch. O Facebook o desenvolveu originalmente, mas, desde 2022, ele faz parte da Linux Foundation, que mantém projetos de código aberto. A Nvidia passou anos garantindo que seu software CUDA — a infraestrutura de software que permite que os aplicativos sejam executados em GPUs da Nvidia e em seu outro hardware — suporte perfeitamente aplicativos de IA escritos com o PyTorch. Como resultado, o hardware da Nvidia está agora profundamente integrado ao kit de ferramentas, essencialmente por padrão.

O TorchNeuron foi adaptado a partir do PyTorch, portanto, os desenvolvedores que conhecem o PyTorch já sabem como usá-lo. A Amazon não é a primeira empresa a tentar levar seus chips facilmente para a plataforma. Os usuários do PyTorch também podem portar seus aplicativos para GPUs da AMD ou até mesmo para os chips da Apple com uma simples alteração de configuração.

No entanto, a Amazon argumenta que portar para o Trainium não é apenas fácil; também dá às startups de IA acesso a toda a nuvem da Amazon. Sem surpresa, a AWS afirma que esta é uma escolha melhor para as startups do que usar "neoclubes" de nuvem, muitos dos quais estão vinculados à Nvidia e ao seu hardware, como Coreweave, Nebius e Firmus.

“Vocês estão construindo na AWS. Não estão apostando em um provedor de computação de propósito único e lutando para construir todo o resto ao redor dele”, disse Colin Brace, vice-presidente de Software de Tecnologia na AWS Annapurna Labs (a unidade que fabrica os chips personalizados da Amazon) ao TechCrunch por e-mail. “Na AWS”, continuou ele, “a infraestrutura para ir do protótipo à produção já está lá, permitindo que um fundador aja rapidamente e escale quando precisar.”

A AWS diz que, como o mesmo chip lida tanto com o treinamento (ensinar o modelo de IA) quanto com a inferência (colocar o modelo finalizado para funcionar, como ao responder à pergunta de um usuário), e está fortemente integrado à infraestrutura de nuvem de que as startups precisam, sua nuvem lhes economizará dinheiro, mesmo que a AWS não ofereça o preço por token mais barato.

“O valor do Trainium é a relação preço-desempenho, além do fato de ser uma única plataforma tanto para treinamento quanto para inferência, o que melhora a economia em toda a carga de trabalho”, disse Brace. “Veja o Deepgram — eles migraram para o Trainium usando suporte nativo ao PyTorch e estão processando 70% mais áudio por dólar com precisão de nível de produção.” O Deepgram é um provedor de aplicativos de voz com IA, um concorrente da ElevenLabs.

Mas a Amazon não se contenta apenas em dar aos desenvolvedores de aplicativos PyTorch uma opção fácil para migrar para sua nuvem.

A Amazon também diz que está pressionando para que o PyTorch seja menos centralizado automaticamente na Nvidia, e contribuirá com o código para fazer isso para o projeto principal do PyTorch. Na postagem do blog anunciando a nova ferramenta, a empresa escreveu:

“A abordagem da Amazon vai além do seu próprio hardware. A empresa está contribuindo com alterações para o próprio PyTorch, trabalhando com a comunidade do PyTorch para remover o código que vincula o framework a chips específicos. O objetivo é tornar o PyTorch mais agnóstico em relação ao hardware para toda a comunidade de desenvolvedores, e não apenas para os usuários do Trainium.”

Embora essa tática seja indubitavelmente boa para aqueles que vendem serviços de hardware e nuvem que concorrem com a Nvidia, um dos objetivos do PyTorch é ocultar todas as dificuldades incômodas de fazer o código de IA rodar em hardware. Teremos que esperar para ver se afastar tanto a Nvidia dá aos desenvolvedores mais escolha e opções mais acessíveis, como a Amazon promete, ou apenas mais dores de cabeça de configuração.

De qualquer forma, se a Amazon conseguir desvincular profundamente o PyTorch da Nvidia, isso poderá ter ramificações muito maiores para a gigante das GPUs do que simplesmente lidar com concorrentes de chips. Como disse Brace: “A verdadeira história é remover a retenção (*lock-in*) que impedia os desenvolvedores de terem uma escolha real.”