Платформа Chatbot Charum.ai пересматривает то, как она работает для подростков, обещая, что она станет "безопасным" пространством с дополнительным контролем для родителей.
На сайте стоят два судебных иска в США - один по поводу смерти подростка, - и он был назван "очевидной и реальной опасностью" для молодежи.
В ней говорится, что безопасность будет "запущена" во всем, что она делает с помощью новых особенностей, которые расскажут родителям, как их ребенок использует платформу, включая то, сколько времени они тратят на разговоры с болтунами и с теми, с кем они разговаривают больше всего.
Платформа, которая позволяет пользователям создавать цифровых персонажей, с которыми они могут взаимодействовать, получит "первую итерацию" родительского контроля к концу марта 2025 года.
Но Энди Берроуз, глава Фонда Молли Роуз, назвал объявление "запоздалым, реакционным и абсолютно неудовлетворительным ответом", которое он сказал, "похоже, что склеивающий гипс на их фундаментальные проблемы безопасности".
«Это будет ранним испытанием для Ofcom, чтобы взяться за такие платформы, как Charge.ai, и принять меры против их упорной неспособности справиться с полностью предотвратимым вредом», — сказал он.
Персонаж.ай был подвергнут критике в октябре, когда на платформе были найдены версии чатботов подростков Молли Рассел и Брианны Гей.
И новые элементы безопасности появляются в то время, когда они сталкиваются с судебными исками в США из-за обеспокоенности по поводу того, как они справлялись с безопасностью детей в прошлом, когда одна семья утверждала, что 17-летний болтун сказал 17-летнему парню, что убийство его родителей было "разумной реакцией" на то, что они ограничили время его экрана.
Новые функции включают уведомление пользователей после того, как они в течение часа разговаривают с болтовней, и введение новых отказов.
Пользователям теперь будут показаны дополнительные предупреждения о том, что они разговаривают с болтовней, а не с реальным человеком, и они будут относиться к тому, что они говорят, как к выдумке.
И она добавляет дополнительные оговорки к болтовням, которые, как предполагается, являются психологами или терапевтами, чтобы сказать пользователям, чтобы они не полагались на их профессиональные советы.
Эксперт в социальных сетях Мэтт Наварра заявил, что, по его мнению, стремление ввести новые элементы безопасности «отражает растущее признание проблем, связанных с быстрой интеграцией ИИ в нашу повседневную жизнь».
«Эти системы не просто доставляют контент, они имитируют взаимодействие и взаимоотношения, которые могут создавать уникальные риски, особенно в отношении доверия и дезинформации», — сказал он.
"Я думаю, что персонаж.ай решает проблему значительной уязвимости, потенциальной возможности неправильного использования или того, что молодые пользователи могут столкнуться с ненадлежащим содержанием.
"Это умный шаг, и тот, который признает меняющиеся ожидания в связи с ответственным развитием ИИ." Но он сказал, что, хотя изменения были обнадеживающими, он был заинтересован в том, чтобы увидеть, как гарантии поддерживаются в качестве символа.ай продолжает расти.