O modelo de mundo Genie 4 do Google adiciona áudio, mundos mais realistas e controle em tempo real

O Google DeepMind lançou seu mais novo modelo de mundo, o Genie 4, em versão preliminar de pesquisa na terça-feira. O modelo mais recente gera os mundos mais fotorrealistas e interativos até o momento, permitindo que os usuários digitem comandos no meio da simulação para alterar a cena. O modelo também gera áudio em tempo real que corresponde ao mundo simulado, incluindo músicas, ruídos ambientes e diálogos interativos.

O lançamento do Genie 4 ocorre alguns meses após a startup de vídeos de IA Runway lançar seu segundo modelo de mundo, o GWM Worlds 2, um modelo jogável que responde dinamicamente às entradas do usuário e inclui geração de áudio. Ao mesmo tempo, a indústria de modelos de mundo está começando a se consolidar. A World Labs, de Fei-Fei Li, está sendo adquirida pela AMD, a Amazon está em negociações para comprar a Decart e a Rivian acabou de adquirir a Third Dimension para trazer capacidades de simulação internamente para testes de direção autônoma. 

O Genie 4 é o movimento mais recente do Google para se manter à frente nesse campo concorrido. 

O Google lançou seu antecessor, o Genie 3, como uma versão preliminar de pesquisa há pouco mais de um ano. Além de ser muito mais fotorrealista e contar com áudio, o Genie 4 permite edições de formato livre, como alterar o clima ou o ângulo da câmera em tempo real ou adicionar novas pessoas ou objetos. Ele consegue manter uma cena consistente por até dois minutos, o dobro do limite de seu antecessor, e oferece melhor física e personagens mais humanos. 

O Gemini, modelo de IA do Google, também está mais profundamente integrado ao Genie 4, atuando como o diretor que planeja etapas e verifica quadros enquanto o Genie cria os visuais. Em um experimento de pesquisa vinculado ao Gemini Robotics, um modelo Gemini 4 Argon dividiu tarefas em etapas que o Genie 4 simulou em tempo real. O experimento demonstra uma forma possível de testar cenários de robôs em simulação antes que eles aconteçam no mundo real.

“O que veremos cada vez mais no futuro são esses modelos de mundo híbridos, onde você tem uma combinação do Gemini escrevendo código e texto, e o Genie absorvendo isso em tempo real e simulando a realidade em diferentes níveis de abstração”, afirmou Tejas Kulkarni, diretor de pesquisa do Google, durante uma coletiva. 

Assim como em outros modelos de mundo, os casos de uso comercial divulgados incluem jogos, aprendizado interativo e robótica. Um exemplo especulativo de aprendizado interativo seria entrar em uma pintura de uma cena histórica e conversar com os sujeitos da pintura sobre o evento retratado.

Mas os “testadores de confiança” — as pessoas que obtêm o primeiro acesso aos produtos de ponta do Google — estão apontando para um novo uso possível: a prototipagem de filmes.

“O aspecto em tempo real se torna mais valioso nas áreas onde manter um estado de fluxo no espaço criativo se torna incrivelmente útil”, disse Diego Rivas, engenheiro do Google DeepMind, durante uma coletiva de imprensa. “Por exemplo, na fase de ideação, na fase de criação de storyboards — sempre que você estiver precisando de uma ideação rápida.”

O Google também oferece o Veo, seu modelo de geração de vídeo por IA que cria clipes de alta definição com áudio sincronizado integrado a partir de comandos de texto, imagem ou vídeo — uma ferramenta que vem ganhando popularidade entre cineastas. 

Rivas acrescentou que os usuários poderiam, eventualmente, contar com o Gemini Omni, um modelo de linguagem grande multimodal capaz de gerar vídeo a partir de imagens, áudio e texto, para transformar esses protótipos em ativos criativos. Embora essas capacidades, segundo ele, ainda estejam um pouco distantes.  

Ao longo da coletiva, Rivas enfatizou que ainda é o início do Genie 4 e que ainda não está claro como será a experiência do produto de ponta a ponta. A equipe também reconheceu que o Genie 4 ainda tem falhas: detalhes e objetos podem se desvirtuar quanto mais tempo a simulação durar, e eles ainda não descobriram exatamente como garantir que o áudio seja preciso e que qualquer texto dentro do mundo seja legível. 

O Genie 4 já está disponível como uma versão preliminar de pesquisa para testadores de confiança. Nas próximas semanas, o modelo será disponibilizado para os assinantes do Google AI Ultra no Project Genie, a ferramenta de IA do Google para gerar mundos interativos a partir de textos ou imagens, e para parceiros de acesso antecipado da API Gemini e do Google AI Studio.