O novo modelo de raciocínio da Salesforce e da Nvidia é tudo o que os laboratórios de IA deveriam temer

Um novo modelo de IA chamado Koa é um dos maiores anúncios da Salesforce esta semana em sua gigantesca conferência de tecnologia Dreamforce. O Koa é o primeiro modelo de raciocínio da empresa, construído sobre o modelo de peso aberto Nemotron da Nvidia. As duas empresas trabalharam juntas para realizar o pós-treinamento do Koa para se destacar em tarefas relacionadas a vendas, marketing e suporte ao cliente.

O Koa é um exemplo brilhante de como as necessidades de IA do mundo corporativo estão se distanciando do que os laboratórios de fronteira estão oferecendo. Laboratórios de IA proprietários preferem que as empresas enviem arquivos, códigos, comandos e feedbacks diretamente para seus modelos e agentes, e gastem milhões para fazer isso.

Mas, com o modelo, a Salesforce está oferecendo aos seus clientes corporativos:

• uma alternativa de peso aberto aos modelos de fronteira fechados
• um modelo treinado para realizar tarefas de trabalho específicas (em vez de resolver problemas matemáticos impossíveis)
• um modelo que não ingeriu nenhum dado real de clientes e, portanto, não pode vazá-los para terceiros
• um modelo que ajuda a reduzir os gastos com IA, já que usa menos tokens para realizar o mesmo trabalho
• um modelo que pode ser roteado automaticamente por meio de um “gateway” de IA, dependendo da necessidade
• e um modelo que segue todos os requisitos de dados e segurança do cliente incorporados na Salesforce

O Koa será fornecido como uma alternativa aos outros modelos que a Salesforce oferece em sua plataforma Agentforce, onde seus clientes criam agentes para lidar com tarefas rotineiras, como responder a perguntas de atendimento ao cliente ou agendar compromissos.

“Construímos muitos pequenos modelos de linguagem específicos para tarefas, que fazem parte do portfólio do Agentforce”, disse ao TechCrunch Jayesh Govindarajan, vice-presidente executivo de IA da Salesforce. “Mas o raciocínio sempre foi algo em que confiávamos nos provedores de modelos de fronteira. Até agora.”

Antes do Koa, se um agente precisasse raciocinar sobre uma tarefa longa ou de várias etapas, esses comandos eram direcionados a um modelo de fronteira como Claude ou ChatGPT por meio do gateway de IA do Agentforce (o sistema que decide qual modelo lida com cada solicitação).

“Um dos motivos pelos quais não havíamos feito isso antes — treinar nosso próprio modelo de fronteira de nível corporativo — sempre quisemos, mas o desafio sempre foi a falta de um modelo base pré-treinado para começar. Até o Nemotron aparecer, não havia nenhum modelo americano soberano pré-treinado que estivesse disponível, primeiro, e segundo, que fosse de última geração e, terceiro, que tivesse procedência de dados clara. Não fazemos ideia de com o que o Qwen é treinado”, disse Govindarajan, referindo-se ao popular modelo de peso aberto chinês produzido pela Alibaba.

Fazer o pós-treinamento de um modelo como este significa transformá-lo de um sistema de uso geral em um sistema versado em conhecimentos de vendas e suporte ao cliente e, para fazer isso, a Salesforce e a Nvidia não usaram nenhum dado real dos clientes da Salesforce. Em vez disso, criaram dados sintéticos que imitavam os padrões dos clientes.

“Na verdade, simulamos um ambiente de atendimento ao cliente com um profissional de atendimento ao cliente personagem, incluindo clientes furiosos que ligam para a central de atendimento, até um profissional de vendas que está tentando fechar um negócio”, descreveu Govindarajan.

O Koa tem como objetivo ser melhor nas tarefas de trabalho que os clientes da Salesforce querem que um agente execute — e mais barato, em termos de tokens consumidos — do que enviar essas mesmas tarefas para o Claude ou o ChatGPT.

Com o Nemotron, “temos uma arquitetura exclusiva para inferência ser eficiente em termos de tokens”, disse ao TechCrunch Kari Ann Briski, vice-presidente de Software de IA Generativa para Empresas da Nvidia. “É meio que a trifeta de coisas que você precisa ter: IA soberana, tempo até o primeiro token, raciocínio eficiente, para a tokenômica de tudo isso.”

No entanto, a Salesforce não está exatamente abandonando a Anthropic ou a OpenAI. Ela acabou de anunciar uma parceria com a Anthropic chamada Claudeforce que permite às empresas usar o Claude como sua interface de IA, enquanto seus dados permanecem no sistema de registros da Salesforce, protegidos por sua infraestrutura.