A Character.ai está reformulando a maneira como funciona para adolescentes, prometendo que se tornará um espaço "seguro" com controles adicionais para os pais.
O site está enfrentando duas ações judiciais nos EUA - uma sobre a morte de um adolescente - e foi marcado como um "perigo claro e presente" para os jovens.
Ele diz que a segurança agora será "infundida" em tudo o que faz através de novos recursos que dirão aos pais como seu filho está usando a plataforma - incluindo quanto tempo eles estão gastando conversando com chatbots e os que eles mais falam.
A plataforma - que permite que os usuários criem personalidades digitais com as quais possam interagir - receberá sua "primeira iteração" de controles parentais até o final de março de 2025.
Mas Andy Burrows, chefe da Molly Rose Foundation, chamou o anúncio de "uma resposta tardia, reativa e completamente insatisfatória", que ele disse que "parece uma correção de gesso para seus problemas fundamentais de segurança".
“Será um teste precoce para a Ofcom se familiarizar com plataformas como a Character.ai e tomar medidas contra sua persistente falha em lidar com danos completamente evitáveis”, disse ele.
A character.ai foi criticada em outubro, quando versões de chatbot dos adolescentes Molly Russell e Brianna Ghey foram encontradas na plataforma.
E os novos recursos de segurança vêm à medida que enfrenta ações legais nos EUA por preocupações sobre como lidou com a segurança infantil no passado, com uma família alegando que um chatbot disse a uma criança de 17 anos que assassinar seus pais era uma “resposta razoável” para eles, limitando seu tempo de tela.
Os novos recursos incluem dar aos usuários uma notificação depois de conversarem com um chatbot por uma hora e introduzirem novas isenções de responsabilidade.
Os usuários agora receberão mais avisos de que estão falando com um chatbot em vez de uma pessoa real - e para tratar o que ele diz como ficção.
E está adicionando isenções adicionais aos chatbots que pretendem ser psicólogos ou terapeutas, para dizer aos usuários que não confiem neles para aconselhamento profissional.
O especialista em mídia social Matt Navarra disse acreditar que a iniciativa de introduzir novos recursos de segurança “reflete um crescente reconhecimento dos desafios colocados pela rápida integração da IA em nossas vidas diárias”.
“Esses sistemas não estão apenas entregando conteúdo, eles estão simulando interações e relacionamentos que podem criar riscos únicos, particularmente em torno da confiança e da desinformação”, disse ele.
“Eu acho que o Character.ai está lidando com uma vulnerabilidade importante, o potencial de uso indevido ou para que os jovens usuários encontrem conteúdo inadequado.
"É um movimento inteligente, e que reconhece as expectativas em evolução em torno do desenvolvimento responsável da IA." Mas ele disse que, enquanto as mudanças eram encorajadoras, ele estava interessado em ver como as salvaguardas se sustentam como Character.ai continua a ficar maior.