Chatbot plate-forme Character.ai est la refonte de la façon dont il fonctionne pour les adolescents, promettant qu'il deviendra un espace « sûr » avec des contrôles supplémentaires pour les parents.
Le site fait l'objet de deux procès aux États-Unis - l'un sur la mort d'un adolescent - et a été qualifié de « danger clair et présent » pour les jeunes.
Il dit que la sécurité sera maintenant « infusée » dans tout ce qu'elle fait à travers de nouvelles fonctionnalités qui indiqueront aux parents comment leur enfant utilise la plate-forme - y compris combien de temps ils passent à parler aux chatbots et ceux qu'ils parlent le plus.
La plateforme - qui permet aux utilisateurs de créer des personnalités numériques avec lesquelles ils peuvent interagir - obtiendra sa "première itération" des contrôles parentaux d'ici la fin mars 2025.
Mais Andy Burrows, directeur de la Fondation Molly Rose, a appelé l'annonce "une réponse tardive, réactive et totalement insatisfaisante" qu'il a dit "semble comme une correction de plâtre collant à leurs problèmes de sécurité fondamentaux".
"Ce sera un test précoce pour Ofcom de s'emparer de plates-formes comme Character.ai et de prendre des mesures contre leur incapacité persistante à s'attaquer à des dommages complètement évitables", a-t-il déclaré.
Character.ai a été critiqué en octobre quand les versions chatbot des adolescents Molly Russell et Brianna Ghey ont été trouvées sur la plateforme.
Et les nouvelles caractéristiques de sécurité viennent alors qu'il fait l'objet d'une action en justice aux États-Unis au sujet de préoccupations au sujet de la façon dont il a géré la sécurité des enfants dans le passé, une famille prétendant qu'un chatbot a dit à un adolescent de 17 ans que tuer ses parents était une « réponse raisonnable » à leur limiter son temps d'écran.
Les nouvelles fonctionnalités incluent donner aux utilisateurs une notification après qu'ils ont parlé à un chatbot pendant une heure, et introduire de nouveaux avertissements.
Les utilisateurs vont maintenant être montrés d'autres avertissements qu'ils parlent à un chatbot plutôt qu'à une personne réelle - et de traiter ce qu'il dit comme de la fiction.
Et il ajoute des avertissements supplémentaires aux chatbots qui prétendent être des psychologues ou des thérapeutes, pour dire aux utilisateurs de ne pas compter sur eux pour des conseils professionnels.
L'expert en médias sociaux Matt Navarra a déclaré qu'il croyait que la démarche visant à introduire de nouvelles caractéristiques de sécurité « reflétait une reconnaissance croissante des défis posés par l'intégration rapide de l'IA dans notre vie quotidienne ».
« Ces systèmes ne se contentent pas de fournir du contenu, ils simulent des interactions et des relations qui peuvent créer des risques uniques, particulièrement en ce qui concerne la confiance et la désinformation », a-t-il déclaré.
"Je pense que Character.ai s'attaque à une vulnérabilité importante, le potentiel d'abus ou pour les jeunes utilisateurs de rencontrer des contenus inappropriés.
« C'est un geste intelligent, et un geste qui reconnaît l'évolution des attentes autour d'un développement responsable de l'IA. » Mais il a dit que, pendant que les changements étaient encourageants, il était intéressé à voir comment les mesures de protection tiennent le rôle de Character.ai continue de s'accroître.