Las versiones de Chatbot de los adolescentes Molly Russell y Brianna Ghey se han encontrado en Character.ai - una plataforma que permite a los usuarios crear versiones digitales de las personas.
Molly Russell se quitó la vida a la edad de 14 años después de ver material suicida en línea, mientras Brianna Ghey, de 16 años, fue asesinada por dos adolescentes en 2023.
La fundación establecida en la memoria de Molly Russells dijo que era enfermizo y un fracaso totalmente reprensible de la moderación.
La plataforma ya está siendo demandada en los Estados Unidos por la madre de un niño de 14 años que, según ella, se quitó la vida después de obsesionarse con un chatbot de Character.ai.
Character.ai le dijo a la BBC que tomaba en serio la seguridad y moderaba a los avatares creados tanto proactivamente como en respuesta a los informes de los usuarios.
Tenemos un equipo dedicado de Confianza y Seguridad que revisa informes y toma medidas de acuerdo con nuestras políticas, agregó.
La firma dice que borró los chatbots, que fueron generados por el usuario, después de ser alertados a ellos.
Andy Burrows, director ejecutivo de la Fundación Molly Rose, dijo que la creación de los robots fue una acción enfermiza que causará más dolor a todos los que conocían y amaban a Molly.
Subraya vívidamente por qué una regulación más fuerte de las plataformas generadas por IA y por el usuario no puede venir lo suficientemente pronto, dijo.
Esther Ghey, la madre de Brianna Gheys, dijo al Telegraph, que primero informó la historia, que era otro ejemplo de lo manipulador y peligroso que podría ser el mundo en línea.
Chatbots son programas de computadora que pueden simular la conversación humana.
El rápido desarrollo reciente de la inteligencia artificial (AI) ha llevado a que se vuelvan mucho más sofisticados y realistas, lo que ha llevado a más empresas a crear plataformas en las que los usuarios puedan crear personas digitales con las que interactuar.
Character.ai - que fue fundada por los ingenieros de Google Noam Shazeer y Daniel De Freitas - es una de esas plataformas.
Tiene términos de servicio que prohíben el uso de la plataforma para hacerse pasar por cualquier persona o entidad y en su centro de seguridad la empresa dice que su principio rector es que su producto nunca debe producir respuestas que puedan perjudicar a los usuarios o a otros.
Dice que utiliza herramientas automatizadas e informes de usuarios para identificar usos que rompen sus reglas y también está construyendo un equipo de confianza y seguridad.
Pero señala que ninguna IA es actualmente perfecta y la seguridad en IA es un espacio en evolución.
Character.ai es actualmente objeto de una acción legal presentada por Megan Garcia, una mujer de Florida cuyo hijo de 14 años, Sewell Setzer, se quitó la vida después de obsesionarse con un avatar de IA inspirado en un personaje de Juego de Tronos.
Según transcripciones de sus charlas en la corte de Garcías, su hijo discutió terminar su vida con el chatbot.
En una conversación final Setzer le dijo al chatbot que iba a volver a casa - y le animó a hacerlo tan pronto como fuera posible.
Poco después terminó su vida.
Character.ai dijo a CBS News que tenía protecciones específicamente centradas en comportamientos suicidas y autolesivos y que introduciría características de seguridad más estrictas para menores de 18 años de manera inminente.