Fish Audio capta 52 milhões de dólares em investimento semente para construir modelos de voz de IA para criadores e empresas

O mercado de modelos de voz gerados por IA é massivo. Casos de uso criativos exigem que os modelos de voz de IA sejam mais expressivos, enquanto empresas que buscam automatizar o suporte ao cliente e operações de vendas precisam que eles sejam mais controláveis.

A Fish Audio, sediada em Palo Alto, quer atender a todos esses casos de uso com sua biblioteca de mais de 15.000 controles de linguagem natural. Desde o seu lançamento no ano passado, a startup agora conta com mais de 8 milhões de pessoas usando as versões de código aberto ou hospedadas de seus modelos, e gera uma receita recorrente anual de US$ 21 milhões.

Para continuar impulsionando essa tração, a startup disse nesta terça-feira que capta US$ 52 milhões em uma rodada seed liderada por Coreline Ventures e Capital Today. A rodada de financiamento também contou com a participação de 359 Capital, Parable, Play Time, Alphalist Partners, Bayhouse Ventures, Carya Venture Partners e HF0.

A Fish Audio começou como um pequeno projeto do ex-pesquisador da NVIDIA Shijia Liao, que, frustrado com as vozes sintéticas semexpressão disponíveis no mercado, treinou um modelo de geração de voz em uma única GPU, que ele então disponibilizou como código aberto. O repositório Fish Speech no GitHub agora tem mais de 31.000 estrelas e é usado por desenvolvedores independentes, designers de jogos eletrônicos e criadores.

A empresa lançou cinco modelos no último ano: quatro modelos de geração de fala e um modelo de fala para texto. Ela disponibilizou três de seus modelos de geração de fala como código aberto, mas seu modelo mais recente, o S2.1 Pro, está disponível apenas por meio de sua API paga.

A Fish Audio oferece planos mensais pagos adequados para criadores e equipes que desbloqueiam um número definido de minutos de geração, além de recursos de clonagem de voz. A empresa também oferece uma versão corporativa de suas APIs e plataforma, e afirma que organizações como HeyGen e Sanas já a utilizam.

“Cada empresa tem casos de uso diferentes e preferências distintas. Por exemplo, empresas como a HeyGen, que usam nossas vozes para alimentar avatares de IA, querem realism nas vozes; um estúdio de jogos quer vozes expressivas para seus personagens; e empresas de agentes de voz como a LiveKit querem vozes mais naturais e de baixa latência que sejam expressivas o suficiente para chamadas”, disse Cao.

Uma das maneiras pelas quais a startup construiu sua biblioteca de vozes foi pedindo aos usuários que enviassem suas próprias vozes para o treinamento de seus modelos, compensando-os caso suas vozes fossem usadas. No entanto, isso gerou alguns problemas há alguns meses, pois alguns criadores alegaram que suas vozes foram enviadas para a Fish Audio sem o consentimento deles. A startup tinha um processo de remoção por DMCA em vigor para lidar com tais preocupações, mas as remoções em si levavam muito tempo.

A CEO e cofundadora da Fish Audio, Rissa Cao, disse ao TechCrunch que a empresa agora automatizou o processo de remoção. Os criadores podem enviar uma pequena amostra de voz ou um contrato para provar que uma voz enviada pertence a eles, e a voz será retirada da plataforma da startup em menos de três minutos, afirmou ela.

Ainda assim, isso não impede que alguém envie a voz de um artista sem o seu conhecimento. E até que o artista descubra, sua voz continuará sendo usada na plataforma, a menos que ele solicite a sua remoção.

Osuke Honda, sócio da Coreline Ventures, disse que um modelo impulsionado pela comunidade só funciona quando os criadores confiam na plataforma.

“Uma abordagem centrada na comunidade só pode se tornar uma vantagem duradoura se os criadores confiarem na plataforma. Isso significa que o consentimento, a transparência e a atribuição devem ser integrados ao produto, em vez de tratados como reflexos tardios. Acredito que a indústria precisa caminhar em direção à propriedade de voz verificada, termos de licenciamento claros, processos fáceis de denúncia e remoção e, eventualmente, modelos de divisão de receita em que os criadores se beneficiem financeiramente quando suas vozes forem licenciadas ou usadas comercialmente”, disse ele.

Cao disse que, quando a startup oferecia seu produto apenas como um projeto de código aberto com planos para criadores, ela operava de forma eficiente e não precisava de capital externo. Mas queria desenvolver modelos mais avançados e também atender a empresas à medida que o interesse dos investidores aumentava, o que a levou a buscar capital.

Olhando para o futuro, a Fish Audio planeja lançar um modelo de compreensão de áudio este ano. Ela também está desenvolvendo um modelo de fala para fala.

O mercado de geração de fala é concorrido, com empresas como ElevenLabs, WellSaid, Cartesia, Speechify, Async (anteriormente Podcastle) e Krisp disputando os orçamentos de criadores e empresas.

De acordo com Rico Mallozzi, sócio da 359 Capital, controles refinados para desenvolvedores e um treinamento de modelos com custo eficiente ajudarão a Fish Audio a competir melhor com os grandes laboratórios de IA.

“Acho que o que eles conseguiram construir, com modelos de ponta, com a equipe que têm, em comparação com alguns desses outros laboratórios ou empresas de IA bem financiados, é incrível. Isso mostra a acuidade técnica deles em diminuir a distância entre vozes com som artificial e vozes semelhantes às humanas”, disse Mallozzi ao TechCrunch em uma ligação.

A matéria foi atualizada para refletir que a empresa captou US$ 52 milhões na rodada seed.