Cuando un clip de audio apareció para mostrar a un director local de la escuela haciendo comentarios despectivos, se volvió viral en línea, provocó amenazas de muerte contra el educador y envió ondas a través de un suburbio fuera de la ciudad de Baltimore.
Pero pronto fue expuesto como un falso, manipulado por la inteligencia artificial - así que ¿por qué la gente todavía cree que es real?
“En serio no entiendo por qué tengo que soportar constantemente a estos tontos aquí todos los días”. Así comenzó lo que parecía ser una larga diatriba del director de la secundaria Pikesville, salpicado de tropos racistas, antisemitas y ofensivos.
Sonaba como si hubiera sido grabada en secreto.
El orador lamentó a continuación a los “niños negros desagradecidos” y a los judíos en la comunidad.
El clip, publicado por primera vez en enero, se volvió viral a nivel nacional.
Pero realmente golpeó un nervio en el tranquilo y frondoso suburbio de Pikesville, que tiene grandes poblaciones negras y judías, y en la cercana ciudad de Baltimore, Maryland.
El director Eric Eiswert fue puesto en licencia administrativa pagada en espera de una investigación.
Alfie Malone, un hombre negro que vive cerca de Baltimore, vio a otros miembros de su comunidad publicando el video y asumió que era real.
“En el fondo de su mente usted piensa que esto es probablemente lo que la gente realmente siente por nosotros”, dijo el Sr. Malone.
“Y luego escuchar que realmente se encuentran audio.” En un esfuerzo por corroborar lo que estaba escuchando, el Sr. Malone revisó otras grabaciones reales del Sr. Eiswert en las redes sociales y sonaron igual.
Así que el cartero a tiempo parcial, podcaster a tiempo parcial pulsa el botón de re-compartir.
El clip comenzó a ganar tracción a través de las redes sociales a medida que más personas lo difunden en línea.
Una de las versiones más compartidas estaba en camino de pasar dos millones de vistas en cuestión de horas.
Ya, eso es alrededor de 60 veces la población entera de Pikesville.
Pero lo que los que compartían el clip no se dieron cuenta en ese momento era que otra bomba estaba a punto de caer: el clip era una falsificación generada por IA.
Para BBC Radio 4’s Why Do You Odiame USA, He estado en Maryland investigando el impacto que este clip tuvo en esa ciudad.
Se lee casi como una fábula sobre los peligros que plantea la IA, especialmente cuando se ataca a las comunidades locales.
Cuando el clip aterrizó en el escritorio de Kristen Griffith, una reportera de educación en Baltimore Banner, pensó que iba a ser una historia relativamente directa de un profesor siendo expuesto por hacer comentarios ofensivos.
Pero como es la mejor práctica en periodismo, la Sra. Griffith quería darle a la directora la oportunidad de comentar y contar su versión de la historia.
Por lo tanto, se puso en contacto con su representante sindical, quien dijo que el señor Eiswert no sólo condenó los comentarios, sino que no los hizo.
“Dijo de inmediato, oh, creemos que esto es falso... Creemos en su IA”, le dijo a la BBC.
“No había oído ese ángulo” antes.
Pero cuando publicó esa explicación, sus lectores no estaban convencidos.
Lejos de plantear preguntas acerca de la veracidad del clip, sólo alimentó la reacción de la gente que pensaba que la acusación de falsedad era sólo una excusa o un intento de evadir la rendición de cuentas.
Fue en este punto que la policía local comenzó a investigar el caso.
El personal de la secundaria Pikesville les dijo que se sentían inseguros debido a toda la atención, y les preocupaba que la escuela tuviera micrófonos con dispositivos de grabación.
La reputación del director Eiswert también había tenido un grave impacto.
La seguridad se intensificó alrededor de él y de la escuela.
Se convirtió en un blanco de odio y amenazas en las redes sociales.
Encontré docenas de mensajes abusivos que le apuntaban en las redes sociales.
Luego, en abril, el jefe de policía de Baltimore, Robert McCullough, confirmó que ahora tenían “pruebas concluyentes de que la grabación no era auténtica”.
Y creyeron que sabían quién hizo la falsificación.
La policía acusó a Dazhon Darien, de 31 años, director de atletismo de la escuela, de varios cargos relacionados con el vídeo falso.
Los cargos incluían robo, represalias contra un testigo y acoso.
Fue arrestado en el aeropuerto, donde la policía dice que planeaba volar a Houston, Texas.
La policía dice que el Sr. Darien había sido investigado por el director Eiswert por un supuesto robo de 1.916 dólares (1.460 libras) de la escuela.
También alegan que ha habido “desafíos de desempeño laboral” y es probable que su contrato no se renueve.
Su teoría era que al crear la grabación falsa profunda, esperaba desacreditar al director antes de que pudiera ser despedido.
Los investigadores dicen que rastrearon un correo electrónico usado para enviar el video original a un servidor conectado al Sr. Darien, y alegan que usó la red de computadoras de las Escuelas Públicas del Condado de Baltimore para acceder a herramientas de IA.
Va a ser juzgado en diciembre de 2024.
Los representantes legales del Sr. Darien no respondieron a las solicitudes de comentarios.
El superintendente de escuelas del condado de Baltimore, Myriam Rogers, había dicho anteriormente que era “un momento muy difícil” para la comunidad escolar, el director y su familia.
Los representantes de la Escuela Secundaria Pikesville y del Sr. Eiswert no respondieron a mis peticiones de más comentarios.
Debido a que el clip era solo audio, significaba que no había regalos visuales, como movimientos robóticos que normalmente revelan manipulación de IA.
Mencionó también la jerga, como las “expectativas de nivel”, y otros detalles, como los nombres del personal, que sólo las personas cercanas a la escuela sabrían.
Sin embargo, cuando escuchas atentamente, hay ediciones claras entre las oraciones - y la voz, mientras que similar a la principal, suena bastante monótono.
La inteligencia artificial puede utilizar varios minutos de una grabación real - de, por ejemplo, su actor favorito en una película o un candidato presidencial dando un discurso - para luego generar un clip que lo hace sonar como si hubieran dicho algo que nunca hicieron.
Pero quizás la mayor razón por la que la gente creía que el vídeo era real era porque se sentía cierto, me dijo el Sr. Malone.
Aprovechó sus propias experiencias de racismo como hombre negro que vive en Baltimore.
Cuando el Sr. Malone escuchó al director describir a los estudiantes negros como perezosos, inmediatamente le recordó los insultos y la discriminación que había encontrado en la escuela y el trabajo.
Meses después, los efectos del clip de audio falso todavía se sienten en Pikesville.
El Sr. Eiswert ha cambiado de trabajo y trabaja en otra escuela.
Y aunque algunos miembros de la comunidad me dijeron que ahora aceptan que el video es falso, el daño está hecho.
“Este es un barrio judío y decir algo tan incendiario sobre la comunidad fue molesto”, me dijo una mujer llamada Sharon mientras metía el cochecito de su nieto en un coche en una casa frente a la escuela secundaria en agosto pasado.
Durante varios minutos, Sharon me habló como si el clip fuera real.
“Creo que cuando la gente dice cosas así, otras personas se unen a eso y eso me hace sentir más miedo”. Cuando su marido resonó desde el coche, recordándole que el clip era realmente falso, admitió que lo hizo “descubrió más tarde que fue generado por IA”.
Pero ella dijo que todavía estaba enojada por eso.
Encontré que para personas como Sharon, que habían creído que el video era real, incluso por un corto tiempo, se quedó con ellos, especialmente cuando el mensaje se hizo eco de experiencias genuinas de racismo y discriminación.
Me recordó algo que escucho una y otra vez mientras investigo desinformación y teorías de conspiración: “Bueno, aunque no sea real, es lo que creo que piensan”. Todas las principales empresas de medios sociales dicen que tienen políticas para etiquetar, eliminar y limitar la difusión de publicaciones generadas por IA.
Pero esa acción sólo ocurre cuando se puede probar que un clip es falso.
En ese momento, ya podría haber llegado a millones de personas.
Alfie Malone dijo que incluso antes de ese día, habló con un amigo que todavía no tenía idea de que el clip era generado por IA.
“De verdad creo que mucha gente aquí en esta ciudad realmente no sabe que eso no es cierto”, dijo.
Lamenta que el Sr. Eiswert, director de la escuela, haya sido acusado erróneamente de hacer los comentarios.
También le preocupa que el episodio haya socavado experiencias reales de racismo.
Dijo que lo pensaría dos veces antes de volver a compartir un clip como este.
He sido quemado por el fuego una vez.
No voy a tocar la estufa de nuevo.