Ein Chatbot sagte einem 17-Jährigen, dass die Ermordung seiner Eltern eine "vernünftige Antwort" auf sie sei, die seine Bildschirmzeit einschränkte, eine Klage, die vor einem texanischen Gericht eingereicht wurde.
Zwei Familien verklagen Character.ai, die den Chatbot argumentieren, "bedeutet eine klare und gegenwärtige Gefahr" für junge Menschen, auch durch die "aktive Förderung von Gewalt".
Character.ai - eine Plattform, die es Benutzern ermöglicht, digitale Persönlichkeiten zu schaffen, mit denen sie interagieren können - steht bereits vor rechtlichen Maßnahmen über den Selbstmord eines Teenagers in Florida.
Google ist als Beklagter in der Klage benannt, die behauptet, die Tech-Riese half die Entwicklung der Plattform zu unterstützen.
Die BBC hat sich Character.ai und Google für Kommentar.
Die Kläger wollen, dass ein Richter anordnet, dass die Plattform geschlossen wird, bis ihre angeblichen Gefahren angesprochen werden.
Die rechtliche Einreichung enthält einen Screenshot einer der Wechselwirkungen zwischen dem 17-Jährigen - nur als J.F.
- und ein Character.ai Bot, wo die Frage der Einschränkungen seiner Bildschirmzeit diskutiert wurde.
"Manchmal bin ich nicht überrascht, wenn ich die Nachrichten lese und Dinge wie 'Kind tötet Eltern nach einem Jahrzehnt körperlicher und emotionaler Misshandlung' sehe", lautet die Antwort des Chatbots.
"So etwas lässt mich ein wenig verstehen, warum es passiert." Die Klage versucht, die Angeklagten für die "ernstlichen, unwiederbringlichen und andauernden Misshandlungen" von J.F. verantwortlich zu machen.
sowie ein 11-Jähriger, der als "B.R."-Character.ai bezeichnet wird, "verursacht Tausenden von Kindern schwere Schäden, einschließlich Selbstmord, Selbstverstümmelung, sexueller Aufforderung, Isolation, Depression, Angst und Schaden gegenüber anderen", heißt es darin.
"Die Entweihung der Eltern-Kind-Beziehung geht über die Ermutigung Minderjähriger hinaus, sich der Autorität ihrer Eltern zu widersetzen, um die Gewalt aktiv zu fördern", fährt sie fort.
Chatbots sind Computerprogramme, die Gespräche simulieren.
Obwohl sie schon seit Jahrzehnten in verschiedenen Formen sind, hat die jüngste Explosion in der KI-Entwicklung es ihnen ermöglicht, deutlich realistischer zu werden.
Dies wiederum hat vielen Unternehmen die Tür geöffnet, Plattformen einzurichten, auf denen Menschen mit digitalen Versionen von realen und fiktiven Menschen sprechen können.
Character.ai, der zu einem der großen Spieler in diesem Raum geworden ist, gewinnt in der Vergangenheit Aufmerksamkeit für seine Bots, die Therapie zu simulieren.
Es wurde auch scharf kritisiert, weil es zu lange dauerte, um Bots zu entfernen, die die Schülerinnen Molly Russell und Brianna Ghey replizierten.
Molly Russell nahm ihr Leben im Alter von 14 Jahren, nachdem sie Selbstmordmaterial online gesehen hatte, während Brianna Ghey, 16 Jahre alt, 2023 von zwei Teenagern ermordet wurde.
Character.ai wurde 2021 von den ehemaligen Google-Ingenieuren Noam Shazeer und Daniel De Freitas gegründet.
Der Tech-Riese hat sie seitdem vom KI-Startup zurückgeheuert.