En los últimos meses, la BBC ha estado explorando un mundo oscuro y oculto, un mundo donde termina el peor, el más horroroso, el más angustioso y, en muchos casos, el contenido ilegal en línea.
Las decapitaciones, los asesinatos en masa, el abuso de niños, el discurso de odio – todo termina en las bandejas de entrada de un ejército global de moderadores de contenido.
A menudo no se ve ni se oye de ellos, pero estas son las personas cuyo trabajo es revisar y luego, cuando sea necesario, eliminar el contenido que o bien es reportado por otros usuarios, o es automáticamente marcado por las herramientas de tecnología.
La cuestión de la seguridad en línea se ha vuelto cada vez más prominente, con las empresas de tecnología bajo más presión para eliminar rápidamente el material dañino.
Y a pesar de una gran cantidad de investigación e inversión vertiendo en soluciones tecnológicas para ayudar, en última instancia por ahora, sigue siendo en gran parte moderadores humanos que tienen la última palabra.
Los moderadores a menudo son empleados por empresas de terceros, pero trabajan en contenido publicado directamente en las grandes redes sociales, incluyendo Instagram, TikTok y Facebook.
Están basados en todo el mundo.
La gente con la que hablé mientras hacía nuestra serie The Moderators for Radio 4 y BBC Sounds, vivían en gran parte en África Oriental, y desde entonces todos habían abandonado la industria.
Sus historias eran angustiosas.
Algo de lo que grabamos fue demasiado brutal para transmitir.
A veces mi productor Tom Woolfenden y yo terminamos una grabación y nos sentamos en silencio.
“Si tomas tu teléfono y luego vas a TikTok, verás muchas actividades, bailando, ya sabes, cosas felices”, dice Mojez, un ex moderador con sede en Nairobi que trabajó en el contenido de TikTok.
“Pero en el fondo, yo personalmente estaba moderando, en los cientos, videos horribles y traumatizantes.
“Lo tomé sobre mí mismo.
Deje que mi salud mental tome el golpe para que los usuarios en general puedan continuar con sus actividades en la plataforma.” Actualmente hay múltiples afirmaciones legales en curso de que el trabajo ha destruido la salud mental de tales moderadores.
Algunos de los antiguos trabajadores de África Oriental se han unido para formar un sindicato.
“Realmente, lo único que hay entre entrar en una plataforma de redes sociales y ver una decapitación, es alguien sentado en una oficina en alguna parte, y ver ese contenido para mí, y revisarlo para que no tenga que hacerlo”, dice Martha Dark, que dirige Foxglove, un grupo de campaña que apoya la acción legal.
En 2020, Meta entonces conocido como Facebook, acordó pagar un acuerdo de 52 millones de dólares (40 millones de libras) a los moderadores que habían desarrollado problemas de salud mental debido a sus trabajos.
La acción legal fue iniciada por una ex moderadora en los EE.UU. llamada Selena Scola.
Describió a los moderadores como “los guardianes de las almas”, debido a la cantidad de imágenes que ven que contienen los momentos finales de la vida de las personas.
Los ex-moderadores con los que hablé usaron la palabra “trauma” para describir el impacto que el trabajo tuvo en ellos.
Algunos tenían dificultad para dormir y comer.
Uno describió cómo escuchar a un bebé llorar había hecho entrar en pánico a un colega.
Otro dijo que le resultaba difícil interactuar con su esposa y sus hijos debido al maltrato de niños que había presenciado.
Esperaba que dijeran que este trabajo era tan emocional y mentalmente agotador, que ningún ser humano debería tener que hacerlo – pensé que apoyarían plenamente a toda la industria de forma automatizada, con herramientas de IA evolucionando para ampliar el trabajo.
Pero no lo hicieron.
Lo que se encontró, muy poderosamente, fue el inmenso orgullo que tenían los moderadores en los papeles que habían jugado para proteger al mundo del daño en línea.
Se veían a sí mismos como un servicio de emergencia vital.
Uno dice que quería un uniforme y una placa, comparándose con un paramédico o bombero.
“Ni un segundo fue desperdiciado”, dice alguien a quien llamamos David.
Pidió permanecer en el anonimato, pero había trabajado en material que se utilizó para entrenar al chatbot viral de IA ChatGPT, para que no se programara para regurgitar material horrible.
“Estoy orgulloso de las personas que entrenaron a este modelo para ser lo que es hoy.” Pero la misma herramienta que David había ayudado a entrenar, podría algún día competir con él.
Dave Willner es ex jefe de confianza y seguridad en OpenAI, el creador de ChatGPT.
Dice que su equipo construyó una herramienta de moderación rudimentaria, basada en la tecnología del chatbot, que logró identificar contenido dañino con una tasa de precisión de alrededor del 90%.
“Cuando me di cuenta, ‘oh, esto va a funcionar’, honestamente me ahogué un poco”, dice.
“[Las herramientas AI] no se aburren.
Y no se cansan y no se sorprenden...
Sin embargo, no todos confían en que la IA sea una bala de plata para el sector de la moderación.
“Creo que es problemático”, dice el Dr. Paul Reilly, profesor senior de medios y democracia en la Universidad de Glasgow.
“Claramente la IA puede ser una manera bastante directa y binaria de moderar el contenido.
“Puede conducir a un bloqueo excesivo de la libertad de expresión y, por supuesto, puede perder el matiz que los moderadores humanos podrían identificar.
La moderación humana es esencial para las plataformas”, añade.
“El problema es que no hay suficiente de ellos, y el trabajo es increíblemente perjudicial para los que lo hacen.” También nos acercamos a las empresas de tecnología mencionadas en la serie.
Un portavoz de TikTok dice que la firma sabe que la moderación de contenido no es una tarea fácil, y se esfuerza por promover un entorno de trabajo cuidadoso para los empleados.
Esto incluye ofrecer apoyo clínico y crear programas que apoyen el bienestar de los moderadores.
Añaden que los videos son revisados inicialmente por la tecnología automatizada, que dicen que elimina un gran volumen de contenido dañino.
Mientras tanto, Open AI - la compañía detrás de Chat GPT - dice que está agradecido por el importante y a veces desafiante trabajo que los trabajadores humanos hacen para entrenar a la IA para detectar tales fotos y videos.
Un portavoz añade que, con sus socios, Open IA aplica políticas para proteger el bienestar de estos equipos.
Y Meta, que posee Instagram y Facebook, dice que requiere que todas las empresas con las que trabaja brinden apoyo in situ las 24 horas con profesionales capacitados.
Añade que los moderadores son capaces de personalizar sus herramientas de revisión para difuminar el contenido gráfico.
Los Moderadores están en BBC Radio 4 a las 13:45 GMT, del lunes 11 de noviembre al viernes 15 de noviembre, y en BBC Sounds.