Underdog exibe modelo de fala de 32MB em nova demonstração

Empresas de IA em todo o mundo estão correndo para criar modelos maiores e melhores, mas o problema é que todas elas exigem uma quantidade massiva de poder de processamento. Por outro lado, alguns pesquisadores e startups estão criando modelos menores que podem rodar em dispositivos de ponta ("edge devices"), como seu telefone ou computador.

Uma dessas startups, a Underdog, lançou um jogo construído com seu novo modelo de voz chamado Woof, que tem apenas 32MB de tamanho.

O jogo apresenta uma sala com um tema retrô tecnológico, uma máquina de escrever e um monitor CRT. Há uma luminária de mesa, que faz barulho quando você clica no interruptor dela. A introdução avisa os usuários sobre provedores de nuvem “intrusivos” na cidade — ostensivamente uma alfinetada em modelos baseados em nuvem.

Você pode interagir com a máquina de escrever e com o sintonizador de música.

Você pode digitar qualquer coisa na máquina de escrever usando seu teclado, e o jogo repetirá em voz alta. Você também pode girar o sintonizador para gerar diferentes tipos de música.

Tudo isso funciona dentro do navegador por meio do modelo de geração de fala da Underdog, que, segundo a empresa, pode rodar na maioria dos dispositivos sem nenhuma conexão com a internet. O modelo tem 31 milhões de parâmetros e está aberto para qualquer um baixar.

Embora um modelo tão pequeno provavelmente não substitua os modelos maiores, ele ainda pode ser suficiente para impulsionar experiências de assistentes locais ou criar podcasts personalizados.

Esta demonstração surge semanas após a Underdog lançar o Bark, um modelo de conversão de fala em texto de 167 MB também projetado para rodar em dispositivos de borda para transcrição e ditado.

Sigil Wen, o fundador da Underdog, disse ao TechCrunch que começou a construir o aplicativo porque, em vez de usar anotadores como o Granola, ele queria construir seu próprio sistema com modelos de IA que pudessem rodar nos dispositivos dos usuários e permitir que eles fossem donos de seus próprios dados.

“Acho que seremos capazes de rodar a maioria dos modelos capazes de hoje nos dispositivos que você já possui em questão de meses. Nós apenas queremos treinar os melhores modelos abertos que são fabricados nos EUA, que são abertos, que são capazes e que permitem que as pessoas tenham IA privada”, disse ele, referindo-se ao seu manifesto.

Além dos dois modelos de voz mencionados acima, a Underdog também lançou um modelo de 27 bilhões de parâmetros que pode rodar em laptops, juntamente com um aplicativo em lista de espera que a empresa está posicionando como uma alternativa hospedada localmente ao Muse e ao Instinct.