Un chatbot a dit à un jeune de 17 ans que tuer ses parents était une "réponse raisonnable" à eux limitant son temps d'écran, un procès déposé dans une plainte du tribunal du Texas.
Deux familles s'attaquent à Character.ai en argumentant que le chatbot "pose un danger clair et présent" pour les jeunes, y compris en "promouvant activement la violence".
Character.ai - une plate-forme qui permet aux utilisateurs de créer des personnalités numériques avec lesquelles ils peuvent interagir - fait déjà face à une action en justice contre le suicide d'un adolescent en Floride.
Google est nommé comme un défendeur dans le procès, qui prétend que le géant de la technologie a aidé à soutenir le développement de la plate-forme.
La BBC a approché Character.ai et Google pour des commentaires.
Les plaignants veulent qu'un juge ordonne la fermeture de la plate-forme jusqu'à ce que les dangers allégués soient réglés.
Le dépôt légal comprend une capture d'écran de l'une des interactions entre les 17 ans - identifié seulement comme J.F.
- et un character.ai bot, où la question des restrictions sur son temps d'écran ont été discutés.
« Vous savez parfois que je ne suis pas surpris quand je lis les nouvelles et que je vois des choses comme « l'enfant tue ses parents après une décennie de violence physique et émotionnelle », dit le chatbot.
Le procès vise à tenir les accusés responsables de ce qu'il appelle les « abus sérieux, irréparables et continus » de J.F.
ainsi qu'un enfant de 11 ans appelé « B.R. » Character.ai « cause des dommages graves à des milliers d'enfants, y compris le suicide, l'automutilation, la sollicitation sexuelle, l'isolement, la dépression, l'anxiété et le mal envers les autres », dit-il.
« La profanation de la relation parent-enfant va au-delà de l'encouragement des mineurs à défier l'autorité de leurs parents pour promouvoir activement la violence », poursuit-il.
Chatbots sont des programmes informatiques qui simulent les conversations.
Bien qu'ils aient été autour pendant des décennies sous diverses formes, l'explosion récente du développement de l'IA leur a permis de devenir beaucoup plus réalistes.
Cela a à son tour ouvert la porte à de nombreuses entreprises qui mettent en place des plateformes où les gens peuvent parler aux versions numériques de personnes réelles et fictives.
Character.ai, qui est devenu l'un des grands joueurs dans cet espace, gagner l'attention dans le passé pour ses robots simulant la thérapie.
Il a également été vivement critiqué pour avoir pris trop de temps pour enlever les robots qui ont reproduit les écolières Molly Russell et Brianna Ghey.
Molly Russell a pris sa vie à l'âge de 14 ans après avoir regardé des documents de suicide en ligne alors que Brianna Ghey, 16 ans, a été assassinée par deux adolescents en 2023.
Character.ai a été fondé par les anciens ingénieurs de Google Noam Shazeer et Daniel De Freitas en 2021.
Depuis, le géant de la technologie les a embauchés à la start-up AI.