Chatbot plataforma Character.ai está revisando la forma en que funciona para los adolescentes, prometiendo que se convertirá en un espacio "seguro" con controles añadidos para los padres.
El sitio se enfrenta a dos demandas en los EE.UU. - una por la muerte de un adolescente - y ha sido marcado como un "peligro claro y presente" para los jóvenes.
Dice que la seguridad ahora será "infundida" en todo lo que hace a través de nuevas características que le dirán a los padres cómo su hijo está usando la plataforma, incluyendo cuánto tiempo están pasando hablando con los chatbots y con los que más hablan.
La plataforma - que permite a los usuarios crear personalidades digitales con las que pueden interactuar - obtendrá su "primera iteración" de los controles parentales a finales de marzo de 2025.
Pero Andy Burrows, jefe de la Fundación Molly Rose, llamó al anuncio "una respuesta tardía, reactiva y completamente insatisfactoria" que dijo "parece como un yeso pegado a sus problemas de seguridad fundamentales".
"Será una prueba temprana para que Ofcom se aferre a plataformas como Character.ai y tome medidas contra su persistente fracaso para hacer frente a un daño completamente evitable", dijo.
Character.ai fue criticado en octubre cuando las versiones chatbot de los adolescentes Molly Russell y Brianna Ghey fueron encontrados en la plataforma.
Y las nuevas características de seguridad vienen a medida que se enfrenta a una acción legal en los EE.UU. por las preocupaciones acerca de cómo ha manejado la seguridad infantil en el pasado, con una familia que afirma que un chatbot le dijo a un joven de 17 años que asesinar a sus padres era una "respuesta razonable" a la limitación de su tiempo de pantalla.
Las nuevas características incluyen dar a los usuarios una notificación después de que han estado hablando con un chatbot durante una hora, y la introducción de nuevos descargos de responsabilidad.
A los usuarios se les mostrarán nuevas advertencias de que están hablando con un chatbot en lugar de una persona real - y para tratar lo que dice como ficción.
Y está añadiendo descargos de responsabilidad adicionales a los chatbots que pretenden ser psicólogos o terapeutas, para decirle a los usuarios que no confíen en ellos para obtener asesoramiento profesional.
Matt Navarra, experto en medios sociales, dijo que cree que la iniciativa de introducir nuevas características de seguridad "refleja un creciente reconocimiento de los desafíos que plantea la rápida integración de la IA en nuestra vida cotidiana".
"Estos sistemas no solo están entregando contenido, sino que están simulando interacciones y relaciones que pueden crear riesgos únicos, particularmente en torno a la confianza y la desinformación", dijo.
"Creo que Character.ai está abordando una vulnerabilidad importante, el potencial de mal uso o para que los usuarios jóvenes encuentren contenido inapropiado.
"Es un movimiento inteligente, y uno que reconoce la evolución de las expectativas en torno al desarrollo responsable de IA".Pero dijo que mientras los cambios eran alentadores, estaba interesado en ver cómo las salvaguardias se mantienen como Character.ai sigue creciendo.