Discord admite que erro em moderação por IA baniu injustamente usuários por imagens inofensivas
O Discord reconheceu que um bug em seu sistema de moderação por IA baniu erroneamente mais de 8.000 usuários nos últimos dois meses, após imagens inofensivas — incluindo planilhas, tabuleiros de xadrez, texturas de jogos, além de fundos transparentes brancos e cinzas — serem incorretamente sinalizadas como conteúdo prejudicial.
A empresa confirmou que o problema vinha afetando contas desde maio, com outros 200 usuários banidos durante o fim de semana antes de sua equipe identificar e corrigir o problema. Todas as contas afetadas estão atualmente em processo de restauração.
O incidente destaca um dos crescentes desafios em torno da moderação assistida por IA, visto que muitas plataformas dependem cada vez mais de sistemas automatizados para identificar material ilegal ou abusivo em grande escala.
Em uma sequência detalhada no X, o Discord explicou que seu sistema de segurança automatizado funciona comparando o conteúdo enviado com bancos de dados de material prejudicial conhecido. Embora a tecnologia seja projetada para capturar conteúdo ilegal, a empresa reconheceu que às vezes pode gerar falsos positivos. Um moderador humano revisa o conteúdo, mas um bug fez com que o sistema banisse imediatamente as contas afetadas.
“Estamos trabalhando em salvaguardas melhores para que isso não aconteça novamente”, escreveu a empresa.
Nossos sistemas sinalizam conteúdo comparando-o com material nocivo conhecido. Esse tipo de correspondência de similaridade pode produzir falsos positivos, e é por isso que um membro da nossa equipe de Confiança e Segurança sempre revisa o conteúdo sinalizado antes que qualquer ação seja tomada.
— Discord Support (@discord_support) 7 de julho de 2026
O comportamento pretendido é…
No X e no Reddit, usuários afirmaram ter sido permanentemente suspensos simplesmente por enviarem imagens contendo padrões de grades quadradas. Vários usuários especularam que as ferramentas de moderação de IA do Discord se tornaram cada vez mais sensíveis a padrões semelhantes a grades porque eles foram usados anteriormente em tentativas de ocultar ou disfarçar conteúdo impróprio e de exploração infantil de sistemas de detecção automatizados.
Os usuários afetados têm expressado frustração nas redes sociais, com alguns argumentando que banimentos permanentes de contas baseados exclusivamente em detecção automatizada podem ter consequências graves, particularmente para usuários que dependem do Discord para trabalho, comunidades de jogos ou conexões sociais de longa distância.
“Perder uma conta do Discord para algo tão injusto quanto isso pode ser extremamente devastador e afetar os usuários severamente, e todos os dias milhões de usuários são afetados por falsos banimentos de IA. Isso precisa parar”, escreveu um usuário do X.
Minha conta foi banida injustamente da sua plataforma devido a um bug no automod de IA que detectou minhas TEXTURAS DE JOGO como CSAM. Eu preciso da minha conta de volta, pois sou diretor de jogos e uso o Discord para toda a minha comunicação. Solicitei uma revisão da minha suspensão.@discord @discord_support pic.twitter.com/QfAkCIJo6S
— JDBRYANT ? TODAY (@jdbryantdev) 4 de julho de 2026
O Discord não está sozinho ao enfrentar problemas de moderação devido a sistemas automatizados. No ano passado, usuários do Instagram e de Grupos do Facebook relataram suspensões de contas generalizadas e sem explicação que muitos acreditavam terem sido causadas por sistemas de moderação de IA. Embora os usuários tenham apontado a automação como a provável culpada, a Meta nunca confirmou publicamente se os erros de IA foram os responsáveis. Agora, o Conselho de Supervisão da Meta está pressionando por maior transparência.
No ano passado, o Tumblr também enfrentou reclamações de usuários que disseram que suas contas haviam sido suspensas em massa sem explicações claras.
