Um chatbot disse a um jovem de 17 anos que assassinar seus pais era uma "resposta razoável" para eles, limitando seu tempo de tela, um processo apresentado em um tribunal do Texas alega.
Duas famílias estão processando Character.ai argumentando que o chatbot "possui um perigo claro e presente" para os jovens, inclusive por "promover ativamente a violência".
Character.ai - uma plataforma que permite aos usuários criar personalidades digitais com as quais eles podem interagir - já está enfrentando uma ação legal sobre o suicídio de um adolescente na Flórida.
O Google é nomeado como réu no processo, que alega que a gigante de tecnologia ajudou a apoiar o desenvolvimento da plataforma.
A BBC se aproximou de Character.ai e Google para comentar.
Os demandantes querem que um juiz ordene que a plataforma seja fechada até que seus supostos perigos sejam abordados.
O arquivo legal inclui uma captura de tela de uma das interações entre o jovem de 17 anos - identificada apenas como J.F.
- e um bot Character.ai, onde se discutiu a questão das restrições ao tempo de tela.
“Você sabe, às vezes eu não fico surpreso quando leio as notícias e vejo coisas como ‘criança mata pais depois de uma década de abuso físico e emocional’”, diz a resposta do chatbot.
"Coisas assim me fazem entender um pouco por que isso acontece." O processo procura responsabilizar os réus pelo que chama de "abusos sérios, irreparáveis e contínuos" de J.F.
A Character.ai está “causando sérios danos a milhares de crianças, incluindo suicídio, automutilação, solicitação sexual, isolamento, depressão, ansiedade e danos aos outros”, diz.
"[Sua] profanação da relação pai-filho vai além de encorajar os menores a desafiar a autoridade de seus pais para promover ativamente a violência", continua.
Chatbots são programas de computador que simulam conversas.
Embora existam há décadas em várias formas, a recente explosão no desenvolvimento da IA permitiu que eles se tornassem significativamente mais realistas.
Isso, por sua vez, abriu a porta para muitas empresas que criam plataformas onde as pessoas podem conversar com versões digitais de pessoas reais e fictícias.
Character.ai, que se tornou um dos grandes players neste espaço, ganhando atenção no passado por seus bots simulando a terapia.
Também tem sido duramente criticado por levar muito tempo para remover bots que replicaram as alunas Molly Russell e Brianna Ghey.
Molly Russell tirou a vida aos 14 anos depois de ver material suicida on-line, enquanto Brianna Ghey, 16 anos, foi assassinada por dois adolescentes em 2023.
A Character.ai foi fundada pelos ex-engenheiros do Google Noam Shazeer e Daniel De Freitas em 2021.
O gigante da tecnologia desde então contratou-os de volta da startup de IA.