Les versions Chatbot des adolescents Molly Russell et Brianna Ghey ont été trouvées sur Character.ai - une plateforme qui permet aux utilisateurs de créer des versions numériques de personnes.
Molly Russell a pris sa vie à l'âge de 14 ans après avoir regardé des documents de suicide en ligne alors que Brianna Ghey, 16 ans, a été assassinée par deux adolescents en 2023.
La fondation mise en place dans la mémoire de Molly Russells a dit que c'était fatigant et un échec absolument répréhensible de la modération.
La plate-forme est déjà poursuivie aux États-Unis par la mère d'un garçon de 14 ans qu'elle dit avoir pris sa propre vie après être devenue obsédée par un chatbot Character.ai.
Character.ai a dit à la BBC qu'elle prenait la sécurité au sérieux et a modéré les avatars créés à la fois proactivement et en réponse aux rapports des utilisateurs.
Nous avons une équipe dédiée Trust & Safety qui examine les rapports et prend des mesures conformément à nos politiques, a-t-il ajouté.
L'entreprise dit qu'elle a supprimé les chatbots, qui ont été générés par l'utilisateur, après leur avoir été alertés.
Andy Burrows, directeur général de la Fondation Molly Rose, a déclaré que la création des robots était une action fatigante qui va causer plus de chagrin à tous ceux qui connaissaient et aimaient Molly.
Il souligne de façon frappante pourquoi une réglementation plus stricte de l'IA et des plates-formes générées par l'utilisateur ne peut pas arriver assez tôt, a-t-il déclaré.
Esther Ghey, Brianna Gheys mère, a dit au Telegraph, qui a d'abord rapporté l'histoire, que c'était encore un autre exemple de comment manipulateur et dangereux le monde en ligne pourrait être.
Chatbots sont des programmes informatiques qui peuvent simuler la conversation humaine.
L'évolution rapide récente de l'intelligence artificielle (IA) les a conduits à devenir beaucoup plus sophistiqués et réalistes, ce qui a incité davantage d'entreprises à mettre en place des plates-formes où les utilisateurs peuvent créer des personnes numériques avec lesquelles interagir.
Character.ai - qui a été fondé par les anciens ingénieurs de Google Noam Shazeer et Daniel De Freitas - est une telle plate-forme.
Il a des conditions de service qui interdisent l'utilisation de la plateforme pour se faire passer pour une personne ou une entité et dans son centre de sécurité, l'entreprise dit que son principe directeur est que son produit ne devrait jamais produire de réponses susceptibles de nuire aux utilisateurs ou à d'autres.
Elle utilise des outils automatisés et des rapports d'utilisateurs pour identifier les utilisations qui enfreignent ses règles et elle crée également une équipe de confiance et de sécurité.
Mais il note qu'aucune AI n'est actuellement parfaite et que la sécurité dans l'IA est un espace en évolution.
Character.ai fait actuellement l'objet d'une action en justice intentée par Megan Garcia, une femme de Floride dont le fils de 14 ans, Sewell Setzer, a pris sa vie après être devenu obsédé par un avatar AI inspiré par un personnage de Game of Thrones.
D'après les transcriptions de leurs conversations dans Garcias tribunal dépose son fils a discuté de mettre fin à sa vie avec le chatbot.
Dans une conversation finale, Setzer a dit au chatbot qu'il rentrait chez lui - et cela l'a encouragé à le faire dès que possible.
Peu de temps après, il finit sa vie.
Character.ai a dit à CBS News qu'il avait des protections spécifiquement axées sur les comportements suicidaires et l'automutilation et qu'il allait introduire des dispositifs de sécurité plus stricts pour les moins de 18 ans de façon imminente.