O novo modelo de voz da Block soa assustadoramente humano

A Block, de Jack Dorsey, lançou um novo modelo de voz vindo do laboratório de pesquisa da empresa que roda localmente e soa estranhamente humano, com expressões como risadas, pausas e choros. A empresa afirmou que o modelo, chamado Dessa, foi treinado totalmente com fala humana e uma única GPU da NVIDIA.

O Dessa é um modelo full-duplex, o que significa que ele pode falar e ouvir ao mesmo tempo, assim como o modelo GPT-Live lançado pela OpenAI no início deste ano. Normalmente, os modelos de fala são combinados com um grande modelo de linguagem para recuperação de conhecimento. A Block afirmou que o conhecimento do Dessa vem dos dados conversacionais que ele possui.

A Block afirmou que os modelos atuais podem soar nep?irodnes e irritantes porque possuem texto no pipeline que direciona a geração de fala. Muitos modelos como o ElevenLabs v4 ou o Fish Audio Drama 3 usam tags de voz para direcionar a emoção na geração de fala. A empresa de Dorsey afirma que a emoção é embutida em seu modelo. Não está claro se essa emoção está sendo controlada por algum tipo de tag.

“Interagir com a IA de voz atual pode ser simplesmente péssimo. Ela transforma sua voz em texto e descarta uma quantidade incrível de informações que o texto sozinho não consegue carregar. As IAs mais poderosas do mundo não conseguem ouvir como você se sente. Achamos isso ridículo, prejudicial à experiência e potencialmente perigoso”, disse a empresa em uma postagem no blog.

Os pesquisadores da empresa publicaram vários exemplos de conversas com o Dessa em que o agente apresentava diferentes vozes, cadências e emoções. Por exemplo, na conversa, o bot disse que estava cansado do trabalho e, nesse momento, sua voz soou cansada.

No exemplo abaixo, o bot falava sobre a pessoa estar deixando-o confortável, enquanto soava emocionado e quase prestes a chorar.

Outro exemplo mostra um membro da equipe da Block jogando um jogo com o assistente de voz.

A empresa afirmou que o modelo pode rodar localmente em um computador de uso pessoal, como um MacBook M4 Max ou superior. No entanto, não há acesso público ao Dessa no momento, e a Block fez uma chamada para que pesquisadores de segurança testem o modelo. Isso provavelmente serve para testar situações em que um agente de voz possa enganar pessoas do outro lado.

A Block atua no setor financeiro e na venda de soluções para pequenas empresas. O Square já usa IA de voz para gerenciar pedidos. No entanto, com seu próprio modelo de voz capaz de rodar no próprio dispositivo, a empresa poderá alimentar muito mais experiências para negócios e consumidores a um custo menor.