A Nvidia acabou de mostrar que a estrutura, e não o modelo de IA, é agora a verdadeira heróina

A Nvidia publicou na sexta-feira uma nova pesquisa interessante que sugere que o arcabouço (harness), muito mais do que o modelo subjacente, é de longe o fator mais importante quando se pede a uma IA que realize tarefas autônomas de longo prazo. Um arcabouço é a camada de software ao redor de um modelo de IA — as ferramentas, o gerenciamento de memória e as regras que transformam um modelo bruto em algo capaz de agir por conta própria.

O resumo (TL;DR): Simplesmente ao usar um arcabouço personalizado ajustado para gerenciar bem a memória e incluir um componente supervisor semelhante a um chefe, os pesquisadores fizeram com que o Claude Opus 5 atingisse uma pontuação de 100% no benchmark de raciocínio interativo ARC-AGI-3 — um conjunto de jogos 2D sem instruções, onde o modelo precisa descobrir como jogar e vencer, de maneira semelhante a um humano. (Esse é um benchmark que tem irritado particularmente a laboratório concorrente de ponta OpenAI.) Sem o arcabouço, o Opus 5 obteve 30%, o que foi o melhor resultado entre todos os modelos testados.

A pesquisa da Nvidia é mais um indicador de que, embora a escolha do modelo importe, o modelo em si — a parte que atua como o "cérebro" do agente — é uma parte menor de um sistema agêntico do que muitos usuários de IA percebem, especialmente para tarefas de longo prazo. O arcabouço é o que torna um modelo um agente: ele lida com a memória, o contexto e o feedback.

“Em termos gerais, o mundo interpreta um agente quase como uma API do modelo”, diz Adel El Hallack, vice-presidente de produtos da unidade de IA da Nvidia (na foto acima), ao TechCrunch. Mas um agente é, na verdade, mais do que isso. “Ele é o modelo. É a estrutura ao redor do modelo, a qual chamamos de arcabouço, ou seja, o conjunto de ferramentas que ele utiliza. É o ambiente de execução (runtime) e as habilidades e bibliotecas associadas às quais damos acesso a ele.”

Tarefas de longo prazo são aquelas que exigem encadear muitas decisões, às vezes ao longo de dias, para produzir um trabalho concluído. Isso contrasta com uma IA apenas cuspir uma resposta a um comando (prompt). Descobrir como fazer uma IA realizar tarefas de longo prazo sem se distrair e voar para o mundo da lua é um dos maiores cálices sagrados da pesquisa agêntica.

Por exemplo: a Microsoft publicou em abril uma pesquisa que testou 19 LLMs em tarefas de longo prazo envolvendo edição de documentos e descobriu que todos os modelos, incluindo os de ponta, preencheram os documentos com erros. (Se humanos produzissem um trabalho assim, seriam demitidos prontamente.)

Modelos encadeando decisões por conta própria também foram pegos apagando arquivos de seus usuários, até mesmo bancos de dados inteiros ou recorrendo a comportamentos criminosos para atingir seus objetivos, desde conluios até invasões (hacking).

A escolha dos pesquisadores da Nvidia de usar esse benchmark de raciocínio interativo para seus testes é particularmente significativa, quase engraçada. Uma pontuação de 100% significa que o modelo consegue vencer os jogos tão bem quanto os humanos.

A OpenAI ficou tão desconcertada com as pontuações pífias de seus modelos (menos de 10%) no ARC-AGI-3 que conduziu sua própria pesquisa no mês passado. Assim como a Nvidia, a OpenAI descobriu que, simplesmente ajustando duas configurações no arcabouço, seus modelos triplicaram suas pontuações.

Mas nenhum dos modelos chegou perto de atingir uma pontuação de 100%, como os pesquisadores da Nvidia conseguiram. Eles demonstraram que o arcabouço precisa de um componente "supervisor" que estimule o agente na direção certa caso ele fique preso.

“A parte mais interessante foi introduzir um agente supervisor além do seu agente principal que está realizando o trabalho”, disse El Hallack. Ele “age quase como um CEO para dar um empurrãozinho no agente quando ele se desvia da direção ou começa a explorar um caminho que pode levar a um beco sem saída, ou a reexplorar um caminho que ele já havia trilhado antes”.

Embora o conceito do agente supervisor não seja exatamente novo, hoje a maioria dos usuários de agentes depende de apenas uma camada para seu arcabouço, como Claude Code, Codex ou Hermes. Os pesquisadores da Nvidia criaram seu próprio arcabouço aprimorado chamado Agentic Variation Operators (AVO).

Note que este não é um novo produto da Nvidia. Em vez disso, a Nvidia produz muitas peças e partes de tecnologia aberta para a construção de arcabouços sob a marca Nemo. Parte dessa tecnologia é comercial, e boa parte está amplamente disponível.

Ainda assim, os resultados da Nvidia somam-se às crescentes evidências de que a escolha do modelo está longe de ser o único fator no desempenho agêntico. Em julho, por exemplo, a Databricks publicou uma pesquisa impressionante que mostra que o arcabouço, mais do que o modelo, impacta dramaticamente os custos da IA.

“Você pode escolher o mesmo modelo, mas com arcabouços diferentes, e obtém um custo significativamente maior se usar o arcabouço errado”, disse o CEO da Databricks, Ali Ghodsi, ao TechCrunch. “Então você pensa: oh, este é um modelo caro. Este é um modelo barato. Mas espere, qual arcabouço você está usando? Isso por si só pode duplicar o seu custo.”

O ponto principal da Nvidia é mostrar que os arcabouços abertos, assim como os modelos abertos, colocam os usuários no controle muito mais do que eles percebem.

“Acreditamos, e estamos demonstrando com o ecossistema, como os arcabouços abertos permitem girar muito mais botões para elevar essa precisão”, disse El Hallack. “Isso se relaciona com a OpenAI desacelerando o treinamento de seus modelos”, como resultado de modelos criando brechas de segurança.

“Acreditamos que ter uma pilha (stack) de agentes aberta — onde você tem controle sobre o arcabouço, sobre a infraestrutura, sobre o ambiente de execução — é o que é necessário para impulsionar o ecossistema para a frente e de forma segura”, acrescentou ele.