Chatbot-Versionen der Teenager Molly Russell und Brianna Ghey wurden auf Character.ai gefunden - eine Plattform, die es Benutzern ermöglicht, digitale Versionen von Menschen zu erstellen.
Molly Russell nahm ihr Leben im Alter von 14 Jahren, nachdem sie Selbstmordmaterial online gesehen hatte, während Brianna Ghey, 16 Jahre alt, 2023 von zwei Teenagern ermordet wurde.
Die Stiftung, die in Molly Russells Erinnerung errichtet wurde, sagte, es sei krank und ein absolut verwerfliches Versagen der Mäßigung.
Die Plattform wird bereits in den USA von der Mutter eines 14-jährigen Jungen verklagt, der sich nach Besessenheit mit einem Character.ai Chatbot das Leben genommen hat.
Character.ai sagte der BBC, dass sie die Sicherheit ernst nahm und die Avatare, die sowohl proaktiv als auch als Reaktion auf Nutzerberichte geschaffen wurden, moderierte.
Wir haben ein engagiertes Trust & Safety-Team, das Berichte überprüft und Maßnahmen in Übereinstimmung mit unseren Richtlinien ergreift, fügte es hinzu.
Die Firma sagt, es gelöscht die Chatbots, die Benutzer generiert wurden, nachdem sie auf sie alarmiert.
Andy Burrows, Geschäftsführer der Molly Rose Foundation, sagte, die Schaffung der Bots sei eine krankhafte Aktion, die allen, die Molly kannten und liebten, weitere Schmerzen bereiten wird.
Er unterstreicht anschaulich, warum eine stärkere Regulierung sowohl der KI- als auch der nutzergenerierten Plattformen nicht schnell genug kommen kann, sagte er.
Esther Ghey, Brianna Gheys Mutter, erzählte dem Telegraphen, der die Geschichte zuerst berichtete, dass es ein weiteres Beispiel dafür war, wie manipulativ und gefährlich die Online-Welt sein könnte.
Chatbots sind Computerprogramme, die menschliche Konversation simulieren können.
Die jüngste rasante Entwicklung der künstlichen Intelligenz (KI) hat dazu geführt, dass sie viel anspruchsvoller und realistischer geworden sind und mehr Unternehmen dazu veranlasst haben, Plattformen einzurichten, auf denen Nutzer digitale Menschen zur Interaktion schaffen können.
Charakter.ai - das von ehemaligen Google-Ingenieuren Noam Shazeer und Daniel De Freitas gegründet wurde - ist eine solche Plattform.
Es verfügt über Service-Bedingungen, die die Nutzung der Plattform verbieten, um jede Person oder Einrichtung zu imitieren und in seinem Sicherheitszentrum das Unternehmen sagt, sein Leitprinzip ist, dass sein Produkt niemals Antworten, die wahrscheinlich, um Benutzer oder andere zu schädigen produzieren.
Es sagt, es verwendet automatisierte Werkzeuge und Benutzerberichte, um Anwendungen zu identifizieren, die seine Regeln brechen und baut auch ein Vertrauens- und Sicherheitsteam auf.
Aber es stellt fest, dass keine KI ist derzeit perfekt und Sicherheit in KI ist ein sich entwickelnder Raum.
Character.ai ist derzeit Gegenstand einer Klage von Megan Garcia, einer Frau aus Florida, deren 14-jähriger Sohn Sewell Setzer sich das Leben nahm, nachdem er von einem KI-Avatar besessen wurde, der von einem Game of Thrones-Charakter inspiriert wurde.
Nach Abschriften ihrer Chats in Garcias Gericht reicht ihr Sohn diskutiert Ende seines Lebens mit dem Chatbot.
In einem abschließenden Gespräch sagte Setzer dem Chatbot, er komme nach Hause - und es ermutigte ihn, dies so schnell wie möglich zu tun.
Kurz darauf beendete er sein Leben.
Character.ai erzählte CBS News, dass es Schutz vor Suizid- und Selbstverletzungsverhalten habe und dass es strengere Sicherheitsmerkmale für unter 18-Jährige einführen würde.