Box utiliza o Nemotron da Nvidia para o novo sistema de recuperação de conteúdo focado em agentes

Em sua conferência de desenvolvedores nesta quinta-feira, a Box apresentou um novo recurso que integrará o sistema de incorporação Nemotron, da Nvidia, ao núcleo de seu produto.

Chamado de Box Content Retrieval, o novo recurso permite que agentes respondam a consultas de forma muito mais eficaz, contando com os metadados incorporados criados pelo Nemotron. 

A Box afirma que o resultado para os usuários são consultas mais rápidas, precisas e menos custosas. A vice-presidente de software de IA generativa da Nvidia, Kari Briski, disse ao TechCrunch que espera que as consultas sejam respondidas quatro vezes mais rápido, com 20% menos erros e 90% menos tokens utilizados.

O sistema estará disponível para todos os clientes do plano Enterprise Advance da Box, com lançamento previsto para o início do ano que vem.

“Isso impulsiona drasticamente a relevância da nossa tecnologia de busca para agentes”, disse o CEO da Box, Aaron Levie. “Em vez de um agente ter que ler cada documento, podemos enviar trechos dos documentos que são mais relevantes para a consulta do usuário ou para qualquer tarefa que o agente esteja realizando.”

O recurso é uma implementação do projeto Nemotron Embed, da Nvidia, que oferece modelos de incorporação de pesos abertos para melhorar sistemas de recuperação automatizados. Grandes laboratórios frequentemente negligenciam esses modelos, que usam LLMs para pré-processar dados para que possam ser melhor utilizados por agentes. O setor tem sido o foco do projeto de modelos de código aberto da Nvidia, com seu recente lançamento do Nemotron em julho liderando o benchmark RTEB, que mede a qualidade de recuperação.

O sistema será mais útil quando emparelhado com agentes ativos, diz a Box, dando o exemplo de advogados, que supostamente conseguirão encontrar cláusulas e precedentes relevantes mais facilmente com o novo sistema. Como as incorporações do Nemotron vão além de simples palavras-chave para mapear conceitos subjacentes, uma ferramenta de busca pode trazer à tona temas jurídicos relacionados, mesmo quando diferentes termos ou linguagens são utilizados.

Embora os modelos Nemotron estejam disponíveis gratuitamente, o sistema também depende fortemente dos metadados e controles de permissão pré-existentes da Box, o que tornará desafiador recriá-lo do zero. “Provavelmente estamos compactando cinco tecnologias diferentes em uma única API simples”, disse Levie ao TechCrunch.