Como modelos de decisão de IA podem mudar a moderação de conteúdo

À medida que os modelos de decisão se espalham pela indústria, uma empresa chamada Musubi tem uma nova ideia sobre como colocá-los para trabalhar: a moderação de conteúdo. Na terça-feira, a Musubi anunciou um modelo de decisão leve feito para moderação em tempo real chamado PolicyLM-1.7B, lançado com pesos abertos.

A ideia é pegar uma política de conteúdo escrita em inglês simples e aplicá-la a mensagens em menos de 50 milissegundos. O modelo da Musubi foi projetado para ter custo e velocidade semelhantes aos dos sistemas de classificação de IA que impulsionam a moderação na maioria das plataformas sociais — mas, por ter a flexibilidade de um LLM moderno, ele pode aplicar políticas complexas sem treinamento especial. Mais importante ainda, o modelo não precisará de novo treinamento quando a política mudar, permitindo que os criadores de políticas humanos façam quantas iterações precisarem.

Para Filip Jankovic, cofundador e diretor de IA da Musubi, isso oferece aos gerentes de plataforma uma maneira de rotular o conteúdo de forma proativa.

“As equipes de produto só querem entender melhor o que está acontecendo em sua plataforma, especialmente com o aumento exponencial da quantidade de conteúdo”, diz Jankovic. “Poder rotular tudo isso de uma maneira altamente escalável e personalizável é extremamente útil.”

Os modelos de decisão se tornaram um tema quente no mundo da IA desde o lançamento do Jev da TypeSafe AI em setembro, que foi seguido em pouco tempo por modelos de decisão concorrentes da OpenAI e da Amazon. Em vez de gerar texto, um modelo de decisão emite probabilidades de resultados, embora neste caso o modelo produza um julgamento binário: o conteúdo está na categoria ou não está. Ao limitar a saída do modelo a um conjunto de escolhas predeterminadas, os modelos de decisão conseguem rodar de forma mais rápida e barata do que os grandes modelos de linguagem, mantendo ainda a flexibilidade da arquitetura transformer.

Um caso de uso inicial é conter o mau comportamento de agentes de IA — portanto, é natural aplicar a mesma tecnologia ao mau comportamento humano.

Notavelmente, Jankovic diz que seu interesse em modelos de decisão é anterior ao Jev, remontando a um projeto de 2024 chamado GLiNER (Modelo Generalista para Reconhecimento de Entidades Nomeadas) que utilizava muitas das mesmas técnicas.

Ainda assim, a Musubi não tem receio da comparação. Se algo, a empresa está ansiosa para usar o novo interesse em modelos de decisão para dar destaque à moderação de conteúdo. “Se o Jev chamou sua atenção, o PolicyLM-1.7B é o mesmo tipo de modelo, treinado especificamente para moderação de conteúdo, que você mesmo pode executar”, diz o anúncio do produto.