Чатботские версии подростков Молли Рассел и Брианны Гей были найдены на сайте Charom.ai - платформе, которая позволяет пользователям создавать цифровые версии людей.
Молли Расселла покончила с собой в возрасте 14 лет после просмотра материалов о самоубийстве в интернете, в то время как Брианна Гей, 16 лет, была убита двумя подростками в 2023 году.
Фундамент, созданный в памяти Молли Расселс, сказал, что он был заразным и совершенно предосудительным провалом умеренности.
Платформа уже подала иск в США матерью 14-летнего мальчика, который, по ее словам, покончил с собой после того, как стал одержимым персонажем.ай чатботом.
Персонаж.ай сказал Би-би-си, что он воспринимает безопасность серьезно и возглавляет людей, созданных аватарами, как инициативно, так и в ответ на отчеты пользователей.
Она добавила, что у нас есть специальная команда " Траст и безопасность ", которая рассматривает отчеты и принимает меры в соответствии с нашей политикой.
Фирма утверждает, что она удалила чатботы, которые были созданы пользователем, после того, как они были оповещены.
Энди Берроуз, руководитель Фонда Молли Роуз, сказал, что создание ботов было болезненным действием, которое причинит еще большую боль всем, кто знал и любил Молли.
Он сказал, что это ярко подчеркивает, почему более жесткое регулирование как ИИ, так и платформ, созданных пользователями, не может произойти достаточно быстро.
Эстер Гей, мать Брианна Гейс, рассказала телеграфу, который впервые сообщил эту историю, что это еще один пример того, насколько манипулирующим и опасным может быть интернет-мир.
Чатботы - это компьютерные программы, которые могут имитировать человеческий разговор.
Недавнее быстрое развитие искусственного интеллекта (АИ) привело к тому, что они стали гораздо более изощренными и реалистичными, что побудило большее число компаний создавать платформы, на которых пользователи могут создавать цифровых людей для взаимодействия.
Одной из таких платформ является персонаж.ай, который был основан бывшими инженерами Google Noam Shazeer и Daniel De Freitas.
Она имеет условия обслуживания, которые запрещают использование платформы для выставления себя за какого-либо физического или юридического лица, а в ее центре безопасности компания утверждает, что ее руководящий принцип заключается в том, что ее продукт никогда не должен давать ответов, которые могут нанести ущерб пользователям или другим лицам.
Он говорит, что использует автоматизированные инструменты и отчеты пользователей для выявления видов использования, которые нарушают его правила, а также создает команду доверия и безопасности.
Однако в нем отмечается, что в настоящее время ни одна ИИ не является идеальной и что безопасность в ИИ является развивающимся пространством.
В настоящее время персонаж.ай является предметом судебного иска, возбужденного Меган Гарсиа, женщиной из Флориды, чей 14-летний сын Сеуэлл Сетцер покончил с собой после того, как стал одержимым AI аватаром, вдохновлённым персонажем Игры престолов.
Согласно стенограммам их разговоров в суде Гарсияса, её сын обсуждал конец своей жизни с болтовней.
В последнем разговоре Сетцер сказал болтуну, что он возвращается домой, и это побудило его сделать это как можно скорее.
Вскоре после этого он закончил свою жизнь.
Персонаж.ай сообщил CBS News о том, что в нем предусмотрены меры защиты, конкретно направленные на суицидальное и самоповреждение, и что в ближайшем будущем он будет внедрять более строгие меры безопасности для лиц моложе 18 лет.