Чатбот версии на тийнейджърите Моли Ръсел и Бриана Гей са намерени на Character.ai - платформа, която позволява на потребителите да създават цифрови версии на хора.
Моли Ръсел отне живота си на 14-годишна възраст, след като гледа материали за самоубийство онлайн, докато Бриана Гей, на 16 години, е убита от двама тийнейджъри през 2023 г.
Фондацията, създадена в паметта на Моли Ръселс, каза, че е отвратителна и напълно осъдителен провал на умереността.
Платформата вече е съдена в САЩ от майката на 14-годишно момче, което според нея е отнело живота му, след като е бил обсебен от чатбот на Character.ai.
Character.ai заяви пред BBC, че приема сериозно безопасността и модерира аватарите, които хората създават както проактивно, така и в отговор на потребителските доклади.
Разполагаме със специален екип за доверие и безопасност, който преглежда отчетите и предприема действия в съответствие с нашите политики, добави той.
Фирмата твърди, че е изтрила чатботовете, които са били генерирани от потребителите, след като са били предупредени за тях.
Анди Бъроуз, главен изпълнителен директор на фондация "Моли Роуз", каза, че създаването на ботовете е отвратително действие, което ще причини допълнителна сърдечна болка на всеки, който е познавал и обичал Моли.
Това ярко подчертава защо по-силното регулиране както на AI, така и на потребителски генерираните платформи не може да дойде достатъчно скоро, каза той.
Естер Гей, майката на Бриана Гейс, казва пред Telegraph, че това е още един пример за това колко манипулативен и опасен може да бъде онлайн светът.
Чатботовете са компютърни програми, които могат да симулират човешки разговор.
Скорошното бързо развитие на изкуствения интелект (AI) доведе до това те да станат много по-сложни и реалистични, което накара повече компании да създадат платформи, където потребителите могат да създават цифрови хора, с които да взаимодействат.
Character.ai - която е основана от бившите инженери на Google Noam Shazeer и Daniel De Freitas - е една такава платформа.
Тя има условия за обслужване, които забраняват използването на платформата, за да се представя за всяко лице или образувание и в нейния център за безопасност компанията казва, че нейният водещ принцип е, че нейният продукт никога не трябва да произвежда отговори, които е вероятно да навредят на потребителите или други.
Тя казва, че използва автоматизирани инструменти и потребителски отчети, за да идентифицира употреби, които нарушават нейните правила, а също така изгражда екип за доверие и безопасност.
Но отбелязва, че нито един AI в момента не е перфектен и безопасността в AI е развиващо се пространство.
Character.ai в момента е обект на съдебно дело, заведено от Меган Гарсия, жена от Флорида, чийто 14-годишен син, Сюъл Сетцер, се самоуби, след като стана обсебен от АИ аватар, вдъхновен от герой от Игра на тронове.
Според преписи от разговорите им в съда в Гарсия, синът й е обсъждал да сложи край на живота си с чатбота.
В един последен разговор Сетцер казва на чатбота, че се връща у дома - и това го насърчава да го направи възможно най-скоро.
Малко след това той слага край на живота си.
Character.ai заяви пред CBS News, че има защити, специално фокусирани върху самоубийствените и самонараняващи се поведения и че скоро ще въведе по-строги функции за безопасност за деца под 18-годишна възраст.