Versões de chatbot dos adolescentes Molly Russell e Brianna Ghey foram encontradas no Character.ai - uma plataforma que permite aos usuários criar versões digitais de pessoas.
Molly Russell tirou a vida aos 14 anos depois de ver material suicida on-line, enquanto Brianna Ghey, 16 anos, foi assassinada por dois adolescentes em 2023.
A fundação criada na memória de Molly Russell disse que era doentio e uma falha de moderação totalmente repreensível.
A plataforma já está sendo processada nos EUA pela mãe de um menino de 14 anos que, segundo ela, tirou a própria vida depois de se tornar obcecado por um chatbot Character.ai.
A character.ai disse à BBC que levou a segurança a sério e moderou os avatares que as pessoas criaram de forma proativa e em resposta aos relatórios dos usuários.
Temos uma equipe dedicada de Confiança e Segurança que revisa relatórios e toma medidas de acordo com nossas políticas, acrescentou.
A empresa diz que excluiu os chatbots, que foram gerados pelo usuário, depois de serem alertados para eles.
Andy Burrows, executivo-chefe da Molly Rose Foundation, disse que a criação dos bots foi uma ação doentia que causará mais dor a todos que conheciam e amavam Molly.
Ele ressalta vividamente por que uma regulamentação mais forte tanto da IA quanto das plataformas geradas pelo usuário não pode vir em breve, disse ele.
Esther Ghey, mãe de Brianna Gheys, disse ao Telegraph, que primeiro relatou a história, que era mais um exemplo de quão manipulador e perigoso o mundo online poderia ser.
Chatbots são programas de computador que podem simular conversas humanas.
O rápido desenvolvimento recente em inteligência artificial (IA) levou-os a se tornarem muito mais sofisticados e realistas, levando mais empresas a criar plataformas onde os usuários podem criar pessoas digitais para interagir.
Character.ai - que foi fundada pelos ex-engenheiros do Google Noam Shazeer e Daniel De Freitas - é uma dessas plataformas.
Ele tem termos de serviço que proíbem o uso da plataforma de se passar por qualquer pessoa ou entidade e em seu centro de segurança a empresa diz que seu princípio orientador é que seu produto nunca deve produzir respostas que possam prejudicar os usuários ou outros.
Ele diz que usa ferramentas automatizadas e relatórios de usuários para identificar usos que quebram suas regras e também está construindo uma equipe de confiança e segurança.
Mas observa que nenhuma IA é atualmente perfeita e a segurança na IA é um espaço em evolução.
A character.ai é atualmente objeto de uma ação judicial movida por Megan Garcia, uma mulher da Flórida cujo filho de 14 anos, Sewell Setzer, tirou sua própria vida depois de se tornar obcecado por um avatar de IA inspirado por um personagem de Game of Thrones.
De acordo com transcrições de seus bate-papos no tribunal de Garcias, seu filho discutiu o fim de sua vida com o chatbot.
Em uma conversa final, Setzer disse ao chatbot que estava voltando para casa - e isso o encorajou a fazê-lo o mais rápido possível.
Pouco tempo depois, ele terminou sua vida.
A character.ai disse à CBS News que tinha proteções especificamente focadas em comportamentos suicidas e de automutilação e que estaria introduzindo recursos de segurança mais rigorosos para menores de 18 anos iminentemente.