A Meta agora alerta os pais se o adolescente discutiu suicídio ou automutilação com seu chatbot de IA
A Meta anunciou nesta quinta-feira que agora notificará os pais se o seu filho adolescente discutir suicídio ou automutilação com o chatbot Meta AI da empresa. A Meta diz que também está trabalhando na capacidade de contatar os serviços de emergência se as conversas de alguém sugerirem que ela possa correr o risco de se automutilar.
Estas mudanças ocorrem no momento em que a Meta e outras empresas de tecnologia enfrentam escrutínio de reguladores e pais sobre como os chatbots de IA respondem a usuários em crise, particularmente adolescentes — uma questão de responsabilidade que está moldando cada vez mais a forma como as empresas de IA projetam e comercializam seus produtos.
A Meta afirma ter construído um sistema de IA dedicado para identificar conversas em que um adolescente faz uma referência clara a se machucar.
“Entendemos quão angustiantes esses alertas podem ser para um pai ou mãe receber”, escreveu a Meta em uma postagem no blog. “É por isso que, à medida que continuamos a melhorar nossa detecção, todos os chats sinalizados por nossa IA serão revisados manualmente antes que um alerta seja enviado. Se a intenção de um adolescente for ambigua, preferiremos pecar pelo excesso de cautela e alertar os pais. Embora isso signifique que às vezes possamos notificar os pais quando pode não haver motivo real para preocupação, achamos que este é o ponto de partida certo e continuaremos monitorando para garantir que estamos no caminho certo.”
Esses alertas já estão ativos para os pais que usam a Supervisão dos Pais do Instagram nos EUA, Reino Unido, Austrália e Canadá, e serão lançados globalmente até o final do ano, diz a Meta.
Esta atualização se baseia nos alertas que a Meta já envia aos pais quando seus filhos adolescentes pesquisam repetidamente por termos relacionados a suicídio ou automutilação no Instagram. Ela também se baseia em um recurso que permite aos pais verem os tópicos que seu filho adolescente discutiu com a Meta AI na semana passada.
A Meta também anunciou que sua configuração de “Conteúdo Limitado” — que permite aos pais colocar seus filhos adolescentes em uma experiência mais restritiva no Instagram — agora também se aplica à Meta AI. A Meta AI já é treinada para evitar conversas sexuais ou românticas ou discussões relacionadas a álcool com adolescentes, e a configuração de Conteúdo Limitado expande essas salvaguardas fazendo com que o chatbot recuse uma gama mais ampla de comandos. A Meta não especificou o que esses comandos adicionais incluem, mas o TechCrunch pediu mais informações à empresa.
Além disso, a Meta diz que entrará em contato com os serviços de emergência se a conversa de alguém com a Meta AI, seja o usuário um adulto ou um adolescente, sugerir que alguém corre risco de suicídio. Vale a pena notar que a Meta já toma essa medida quando alguém publica algo no Facebook ou Instagram que sugere estar em risco, então isso estende essa mesma prática para conversas com seu chatbot.
