'Estaba moderando cientos de videos horribles y traumatizadores'

13/11/2024 15:18

En los últimos meses, la BBC ha estado explorando un mundo oscuro y oculto, un mundo donde termina el peor, el más horroroso, el más angustioso y, en muchos casos, el contenido ilegal en línea.
Las decapitaciones, los asesinatos en masa, el abuso de niños, el discurso de odio – todo termina en las bandejas de entrada de un ejército global de moderadores de contenido.
A menudo no se ve ni se oye de ellos, pero estas son las personas cuyo trabajo es revisar y luego, cuando sea necesario, eliminar el contenido que o bien es reportado por otros usuarios, o es automáticamente marcado por las herramientas de tecnología.
La cuestión de la seguridad en línea se ha vuelto cada vez más prominente, con las empresas de tecnología bajo más presión para eliminar rápidamente el material dañino.
Y a pesar de una gran cantidad de investigación e inversión vertiendo en soluciones tecnológicas para ayudar, en última instancia por ahora, sigue siendo en gran parte moderadores humanos que tienen la última palabra.
Los moderadores a menudo son empleados por empresas de terceros, pero trabajan en contenido publicado directamente en las grandes redes sociales, incluyendo Instagram, TikTok y Facebook.
Están basados en todo el mundo.
La gente con la que hablé mientras hacía nuestra serie The Moderators for Radio 4 y BBC Sounds, vivían en gran parte en África Oriental, y desde entonces todos habían abandonado la industria.
Sus historias eran angustiosas.
Algo de lo que grabamos fue demasiado brutal para transmitir.
A veces mi productor Tom Woolfenden y yo terminamos una grabación y nos sentamos en silencio.
“Si tomas tu teléfono y luego vas a TikTok, verás muchas actividades, bailando, ya sabes, cosas felices”, dice Mojez, un ex moderador con sede en Nairobi que trabajó en el contenido de TikTok.
“Pero en el fondo, yo personalmente estaba moderando, en los cientos, videos horribles y traumatizantes.
“Lo tomé sobre mí mismo.
Deje que mi salud mental tome el golpe para que los usuarios en general puedan continuar con sus actividades en la plataforma.” Actualmente hay múltiples afirmaciones legales en curso de que el trabajo ha destruido la salud mental de tales moderadores.
Algunos de los antiguos trabajadores de África Oriental se han unido para formar un sindicato.
“Realmente, lo único que hay entre entrar en una plataforma de redes sociales y ver una decapitación, es alguien sentado en una oficina en alguna parte, y ver ese contenido para mí, y revisarlo para que no tenga que hacerlo”, dice Martha Dark, que dirige Foxglove, un grupo de campaña que apoya la acción legal.
En 2020, Meta entonces conocido como Facebook, acordó pagar un acuerdo de 52 millones de dólares (40 millones de libras) a los moderadores que habían desarrollado problemas de salud mental debido a sus trabajos.
La acción legal fue iniciada por una ex moderadora en los EE.UU. llamada Selena Scola.
Describió a los moderadores como “los guardianes de las almas”, debido a la cantidad de imágenes que ven que contienen los momentos finales de la vida de las personas.
Los ex-moderadores con los que hablé usaron la palabra “trauma” para describir el impacto que el trabajo tuvo en ellos.
Algunos tenían dificultad para dormir y comer.
Uno describió cómo escuchar a un bebé llorar había hecho entrar en pánico a un colega.
Otro dijo que le resultaba difícil interactuar con su esposa y sus hijos debido al maltrato de niños que había presenciado.
Esperaba que dijeran que este trabajo era tan emocional y mentalmente agotador, que ningún ser humano debería tener que hacerlo – pensé que apoyarían plenamente a toda la industria de forma automatizada, con herramientas de IA evolucionando para ampliar el trabajo.
Pero no lo hicieron.
Lo que se encontró, muy poderosamente, fue el inmenso orgullo que tenían los moderadores en los papeles que habían jugado para proteger al mundo del daño en línea.
Se veían a sí mismos como un servicio de emergencia vital.
Uno dice que quería un uniforme y una placa, comparándose con un paramédico o bombero.
“Ni un segundo fue desperdiciado”, dice alguien a quien llamamos David.
Pidió permanecer en el anonimato, pero había trabajado en material que se utilizó para entrenar al chatbot viral de IA ChatGPT, para que no se programara para regurgitar material horrible.
“Estoy orgulloso de las personas que entrenaron a este modelo para ser lo que es hoy.” Pero la misma herramienta que David había ayudado a entrenar, podría algún día competir con él.
Dave Willner es ex jefe de confianza y seguridad en OpenAI, el creador de ChatGPT.
Dice que su equipo construyó una herramienta de moderación rudimentaria, basada en la tecnología del chatbot, que logró identificar contenido dañino con una tasa de precisión de alrededor del 90%.
“Cuando me di cuenta, ‘oh, esto va a funcionar’, honestamente me ahogué un poco”, dice.
“[Las herramientas AI] no se aburren.
Y no se cansan y no se sorprenden...
Sin embargo, no todos confían en que la IA sea una bala de plata para el sector de la moderación.
“Creo que es problemático”, dice el Dr. Paul Reilly, profesor senior de medios y democracia en la Universidad de Glasgow.
“Claramente la IA puede ser una manera bastante directa y binaria de moderar el contenido.
“Puede conducir a un bloqueo excesivo de la libertad de expresión y, por supuesto, puede perder el matiz que los moderadores humanos podrían identificar.
La moderación humana es esencial para las plataformas”, añade.
“El problema es que no hay suficiente de ellos, y el trabajo es increíblemente perjudicial para los que lo hacen.” También nos acercamos a las empresas de tecnología mencionadas en la serie.
Un portavoz de TikTok dice que la firma sabe que la moderación de contenido no es una tarea fácil, y se esfuerza por promover un entorno de trabajo cuidadoso para los empleados.
Esto incluye ofrecer apoyo clínico y crear programas que apoyen el bienestar de los moderadores.
Añaden que los videos son revisados inicialmente por la tecnología automatizada, que dicen que elimina un gran volumen de contenido dañino.
Mientras tanto, Open AI - la compañía detrás de Chat GPT - dice que está agradecido por el importante y a veces desafiante trabajo que los trabajadores humanos hacen para entrenar a la IA para detectar tales fotos y videos.
Un portavoz añade que, con sus socios, Open IA aplica políticas para proteger el bienestar de estos equipos.
Y Meta, que posee Instagram y Facebook, dice que requiere que todas las empresas con las que trabaja brinden apoyo in situ las 24 horas con profesionales capacitados.
Añade que los moderadores son capaces de personalizar sus herramientas de revisión para difuminar el contenido gráfico.
Los Moderadores están en BBC Radio 4 a las 13:45 GMT, del lunes 11 de noviembre al viernes 15 de noviembre, y en BBC Sounds.

Other Articles in Technology

News Image
Hombre condenado por mentir repetidamente sobre inventar Bitcoin

Se ha descubierto que un científico informático ha cometido desacato a la corte por pretender falsa y persistentemente ser el misterioso inventor de Bitcoin, Satoshi Nakamoto. En marzo, el Tribunal Superior dictaminó que Craig Wright no era Satoshi, y le ordenó que dejara de afirmar que lo era. Sin...

Read more
News Image
Hackers de Corea del Norte robaron $1.3 mil millones de cripto este año - informe

Un total de $2.2 mil millones (1.76 mil millones) en criptomonedas ha sido robado este año, con hackers norcoreanos que representan más de la mitad de esa cifra, según un nuevo estudio. La firma de investigación Chainálysis dice que los hackers afiliados al estado solitario robaron $1.3 mil millones...

Read more
News Image
¿Podría la IA ayudar a prevenir la pérdida de visión relacionada con la diabetes?

Esta es la segunda característica de una serie de seis partes que está mirando cómo la IA está cambiando la investigación médica y los tratamientos. Terry Quinn sólo estaba en su adolescencia cuando le diagnosticaron diabetes. De alguna manera se rebeló contra la etiqueta y las pruebas frecuentes, n...

Read more
News Image
Amazon consciente del riesgo de lesión en el almacén, informe encuentra

Amazon empuja a sus trabajadores del almacén de EE.UU. a cumplir órdenes a velocidades que podrían causar altas tasas de lesiones a pesar de ser conscientes de los riesgos, una investigación dirigida por el Senador Bernie Sanders ha encontrado. Los hallazgos, después de una investigación de 18 meses...

Read more
News Image
Trump se reúne con el CEO de TikTok como fecha límite de prohibición se avecina

El presidente electo de Estados Unidos, Donald Trump, se reunió el lunes con el CEO de TikTok, mientras el gigante de las redes sociales lucha contra los planes de las autoridades estadounidenses para prohibirlo. Trump conoció a Shou Zi Chew en su finca Mar-a-Lago en Florida el lunes, informó CBS Ne...

Read more
News Image
Ofcom se disculpa por 'falto-juzgado' chiste porno anuncio de trabajo

Ofcom se ha disculpado por lo que admite que fue una publicación de empleados "falta de juicio" sobre un trabajo que implica monitorear sitios web pornográficos para detectar contenido ilegal y detener el acceso de los niños a ellos. "¿Siempre quise trabajar en el porno pero no tengo los pies para u...

Read more
News Image
Amazon se enfrenta a la amenaza de ataque de EE.UU. antes de Navidad

Los trabajadores de Amazon en los EE.UU. podrían ir a la huelga antes de Navidad, después de que los miembros del sindicato Teamsters votaran a favor de la acción industrial. Los trabajadores dicen que el gigante minorista en línea se ha negado a reconocer a su sindicato e ignorado un plazo del 15 d...

Read more
News Image
Manzana acusada de usar minerales de conflicto

La República Democrática del Congo ha presentado denuncias penales en Francia y Bélgica contra filiales del gigante tecnológico Apple, acusándola de utilizar minerales de conflicto. Actuando en nombre del gobierno congoleño, los abogados han argumentado que Apple es cómplice de crímenes cometidos po...

Read more
News Image
Cómo Facebook restringió las noticias en los territorios palestinos

Facebook ha restringido severamente la capacidad de los medios de noticias palestinos para llegar a una audiencia durante la guerra Israel-Gaza, según la investigación de la BBC. En un análisis exhaustivo de los datos de Facebook, descubrimos que las salas de redacción en los territorios palestinos...

Read more
News Image
La primera nación Bitcoin del mundo hace retroceder el sueño criptográfico

El Salvador ha alcanzado un acuerdo de préstamo de $1.4 mil millones con el Fondo Monetario Internacional (FMI) después de acordar reducir sus controvertidas políticas de bitcoin. El prestamista global dijo que los riesgos relacionados con la adopción de la criptomoneda más grande del mundo se había...

Read more