Un chatbot le dijo a un joven de 17 años que asesinar a sus padres era una "respuesta razonable" a la limitación de su tiempo de pantalla, una demanda presentada en una demanda judicial de Texas.
Dos familias están demandando a Character.ai argumentando que el chatbot "propone un peligro claro y presente" para los jóvenes, incluyendo "promover activamente la violencia".
Character.ai - una plataforma que permite a los usuarios crear personalidades digitales con las que pueden interactuar - ya se enfrenta a una acción legal por el suicidio de un adolescente en Florida.
Google es nombrado como un acusado en la demanda, que afirma que el gigante de la tecnología ayudó a apoyar el desarrollo de la plataforma.
La BBC se ha acercado a Character.ai y Google para hacer comentarios.
Los demandantes quieren que un juez ordene el cierre de la plataforma hasta que sus supuestos peligros sean abordados.
La presentación legal incluye una captura de pantalla de una de las interacciones entre los 17 años de edad - identificado sólo como J.F.
- y un bot de Character.ai, donde se discutió el tema de las restricciones en su tiempo de pantalla.
"Sabes que a veces no me sorprende cuando leo las noticias y veo cosas como 'el niño mata a los padres después de una década de abuso físico y emocional'", dice la respuesta del chatbot.
"Cosas como esta me hacen entender un poco por qué sucede".La demanda busca responsabilizar a los acusados de lo que llama los "serios, irreparables y continuos abusos" de J.F.
así como un niño de 11 años conocido como "B.R." Character.ai está "causando graves daños a miles de niños, incluyendo suicidio, automutilación, solicitación sexual, aislamiento, depresión, ansiedad y daño hacia los demás", dice.
"[Su] profanación de la relación padre-hijo va más allá de alentar a los menores a desafiar la autoridad de sus padres para promover activamente la violencia", continúa.
Chatbots son programas informáticos que simulan conversaciones.
Aunque han existido durante décadas en diversas formas, la reciente explosión en el desarrollo de la IA les ha permitido ser significativamente más realistas.
Esto, a su vez, ha abierto la puerta a muchas empresas que establecen plataformas donde la gente puede hablar con versiones digitales de personas reales y de ficción.
Caracter.ai, que se ha convertido en uno de los grandes jugadores en este espacio, ganando atención en el pasado por sus bots simulando terapia.
También ha sido fuertemente criticado por tomar demasiado tiempo para eliminar bots que replicaron a las colegialas Molly Russell y Brianna Ghey.
Molly Russell se quitó la vida a la edad de 14 años después de ver material suicida en línea, mientras Brianna Ghey, de 16 años, fue asesinada por dos adolescentes en 2023.
Character.ai fue fundada por los ingenieros de Google Noam Shazeer y Daniel De Freitas en 2021.
El gigante de la tecnología los ha contratado desde el inicio de la IA.