"J'étais en train de modérer des centaines de vidéos horribles et traumatisantes"

13/11/2024 15:18

Au cours des derniers mois, la BBC a exploré un monde sombre et caché – un monde où se termine le contenu en ligne le plus pire, le plus horrible, le plus affligeant et, dans de nombreux cas, illégal.
Les décapitations, les massacres, la maltraitance des enfants, les discours haineux – tout cela finit dans les boîtes de réception d'une armée mondiale de modérateurs de contenu.
Vous ne voyez pas souvent ou n'entendez pas d'eux – mais ce sont les personnes dont le travail est d'examiner et puis, si nécessaire, supprimer le contenu qui soit est signalé par d'autres utilisateurs, ou est automatiquement signalé par des outils technologiques.
La question de la sécurité en ligne occupe une place de plus en plus importante, les entreprises technologiques étant davantage soumises à des pressions pour qu'elles éliminent rapidement les matières nocives.
Et malgré beaucoup de recherche et d'investissement versant des solutions technologiques pour aider, en fin de compte, c'est encore en grande partie des modérateurs humains qui ont le dernier mot.
Les modérateurs sont souvent employés par des entreprises tierces, mais ils travaillent sur des contenus postés directement sur les grands réseaux sociaux, dont Instagram, TikTok et Facebook.
Ils sont basés dans le monde entier.
Les personnes à qui j'ai parlé lors de la réalisation de notre série Les Modérateurs pour Radio 4 et BBC Sounds, vivaient en grande partie en Afrique de l'Est, et tous avaient quitté l'industrie depuis.
Leurs histoires étaient atroces.
Une partie de ce que nous avons enregistré était trop brutale pour être diffusée.
Parfois, mon producteur Tom Woolfenden et moi terminions un enregistrement et nous nous asseyions en silence.
Si vous prenez votre téléphone, puis allez à TikTok, vous verrez beaucoup d'activités, danser, vous savez, des choses heureuses," dit Mojez, un ancien modérateur basé à Nairobi qui a travaillé sur le contenu de TikTok.
Mais en arrière-plan, j'étais personnellement en train de modérer, dans les centaines, des vidéos horribles et traumatisantes.
Je l'ai pris sur moi-même.
Laissez ma santé mentale prendre le coup de poing afin que les utilisateurs généraux puissent continuer leurs activités sur la plate-forme..Il y a actuellement plusieurs revendications légales en cours que le travail a détruit la santé mentale de ces modérateurs.
Certains des anciens travailleurs d'Afrique de l'Est se sont réunis pour former un syndicat.
En fait, la seule chose qui se passe entre moi en train de me connecter à une plateforme de médias sociaux et de regarder une décapitation, c'est quelqu'un assis dans un bureau quelque part, et de regarder ce contenu pour moi, et de le revoir, donc je n'ai pas à," dit Martha Dark qui dirige Foxgove, un groupe de campagne soutenant l'action en justice.
En 2020, Meta, alors connue sous le nom de Facebook, a accepté de payer un règlement de 52 millions de dollars (40 millions de livres sterling) aux modérateurs qui avaient développé des problèmes de santé mentale en raison de leur emploi.
L'action en justice a été engagée par un ancien modérateur aux États-Unis appelé Selena Scola.
Elle a décrit les modérateurs comme les gardiens d'âmes, à cause de la quantité de séquences qu'ils voient contenant les derniers moments de la vie des gens.
Les ex-modérateurs que j'ai parlé à tous ont utilisé le mot "trauma" pour décrire l'impact du travail sur eux.
Certains avaient du mal à dormir et à manger.
On a décrit comment entendre un bébé pleurer avait fait paniquer un collègue.
Un autre a dit qu'il avait du mal à interagir avec sa femme et ses enfants à cause de la maltraitance dont il avait été témoin.
Je m'attendais à ce qu'ils disent que ce travail était tellement épuisant sur le plan émotionnel et mental, qu'aucun humain ne devrait devoir le faire – je pensais qu'ils soutiendraient pleinement l'ensemble de l'industrie devenant automatisé, avec des outils d'IA en évolution pour aller jusqu'au travail.
Mais ils ne l'ont pas fait.
Ce qui s'est produit, très fortement, c'est l'immense fierté des modérateurs dans le rôle qu'ils ont joué dans la protection du monde contre les dommages en ligne.
Ils se considéraient comme un service d'urgence vital.
On dit qu'il voulait un uniforme et un badge, se comparant à un ambulancier ou un pompier.
Même pas une seconde n'a été gaspillée, dit quelqu'un que nous avons appelé David.
Il a demandé à rester anonyme, mais il a travaillé sur du matériel qui a été utilisé pour former le chatbot viral AI ChatGPT, de sorte qu'il a été programmé pour ne pas régurgiter le matériel horrible.
Je suis fier des personnes qui ont formé ce modèle pour qu'il soit ce qu'il est aujourd'hui.Mais l'outil même que David avait aidé à former, pourrait un jour rivaliser avec lui.
Dave Willner est ancien chef de la confiance et de la sécurité chez OpenAI, le créateur de ChatGPT.
Il dit que son équipe a construit un outil de modération rudimentaire, basé sur la technologie de chatbots, qui a réussi à identifier des contenus nuisibles avec un taux de précision d'environ 90%.
Quand j'ai réalisé que ça allait marcher, j'ai un peu étouffé, dit-il.
Ne vous ennuyez pas.
Et ils ne sont pas fatigués et ils ne sont pas choqués...
Mais tout le monde n'est pas convaincu que l'IA est une balle d'argent pour le secteur de la modération troublée.
"Je pense que c'est problématique," dit le Dr Paul Reilly, maître de conférences en médias et démocratie à l'Université de Glasgow.
Il est clair que l'IA peut être une façon binaire de modérer le contenu.
Il peut entraîner un blocage excessif des questions de liberté d'expression, et bien sûr il peut manquer nuance les modérateurs humains seraient en mesure d'identifier.
La modération humaine est essentielle aux plates-formes, ajoute-t-il.
Le problème n'est pas assez d'eux, et le travail est incroyablement dangereux pour ceux qui le font. Nous avons également approché les entreprises technologiques mentionnées dans la série.
Un porte-parole de TikTok dit que l'entreprise sait que la modération du contenu n'est pas une tâche facile, et elle s'efforce de promouvoir un environnement de travail bienveillant pour les employés.
Il s'agit notamment d'offrir un soutien clinique et de créer des programmes qui appuient le bien-être des modérateurs.
Ils ajoutent que les vidéos sont initialement examinées par la technologie automatisée, ce qui, selon eux, supprime un grand volume de contenu nuisible.
Pendant ce temps, Open AI - l'entreprise derrière Chat GPT - dit qu'il est reconnaissant pour le travail important et parfois difficile que les travailleurs humains font pour former l'IA à repérer de telles photos et vidéos.
Un porte-parole ajoute qu'avec ses partenaires, Open AI applique des politiques visant à protéger le bien-être de ces équipes.
Et Meta - qui possède Instagram et Facebook - dit qu'il exige toutes les entreprises avec lesquelles il travaille pour fournir un soutien sur place 24 heures sur 24 avec des professionnels formés.
Il ajoute que les modérateurs sont en mesure de personnaliser leurs outils de révision pour brouiller le contenu graphique.
Les modérateurs sont sur BBC Radio 4 à 13h45 GMT, du lundi 11 novembre au vendredi 15 novembre, et sur BBC Sounds.

Other Articles in Technology

News Image
Homme condamné pour avoir menti à plusieurs reprises sur l'invention Bitcoin

Un informaticien a été trouvé pour avoir commis le mépris de la cour pour faussement et constamment prétendre être le mystérieux inventeur de Bitcoin, Satoshi Nakamoto. En mars, la Haute Cour a statué que Craig Wright n'était pas Satoshi, et lui a ordonné de cesser de prétendre qu'il l'était. Cepend...

Read more
News Image
N Corée hackers volé 1,3 milliard de dollars de crypto cette année - rapport

Un total de 2,2 milliards de dollars (1,76 milliards) en cryptomonnaies a été volé cette année, les pirates nord-coréens représentant plus de la moitié de ce chiffre, selon une nouvelle étude. L'entreprise de recherche Chainalysis dit que les pirates affiliés à l'État reclus ont volé 1,3 milliard de...

Read more
News Image
L'IA pourrait-elle aider à prévenir la perte de vue liée au diabète?

C'est la deuxième caractéristique d'une série en six parties qui examine comment l'IA est en train de changer la recherche et les traitements médicaux. Terry Quinn était seulement dans son adolescence quand il a été diagnostiqué avec le diabète. D'une certaine manière, il s'est révolté contre l'étiq...

Read more
News Image
Amazon est au courant du risque de blessure à l'entrepôt, selon le rapport

Amazon pousse ses travailleurs des entrepôts américains à respecter les ordres à des vitesses qui pourraient causer des taux élevés de blessures malgré la connaissance des risques, une enquête menée par le sénateur Bernie Sanders a trouvé. Les conclusions, à la suite d'une enquête de 18 mois sur l'e...

Read more
News Image
Trump rencontre le PDG de TikTok comme échéance d'interdiction

Donald Trump, président élu des États-Unis, a rencontré lundi le PDG de TikTok, alors que le géant des médias sociaux se bat pour l'interdire par les autorités américaines. Trump a rencontré Shou Zi Chew dans son domaine Mar-a-Lago en Floride lundi, le partenaire américain de la BBC CBS News a rappo...

Read more
News Image
Ofcom s'excuse pour 'ill-juged' porno blague emploi publicité

Ofcom s'est excusé pour ce qu'elle admet être un poste d'employé « mal jugé » à propos d'un emploi qui consiste à surveiller des sites pornographiques pour des contenus illégaux et à empêcher les enfants d'y accéder. "Toujours voulu travailler dans le porno mais n'ont pas les pieds pour un OnlyFans?...

Read more
News Image
Amazon fait face à une menace de grève américaine avant Noël

Les travailleurs amazoniens aux États-Unis pourraient faire grève avant Noël, après que les membres du syndicat des Teamsters aient voté pour soutenir l'action collective. Les travailleurs disent que le géant du commerce de détail en ligne a refusé de reconnaître leur syndicat et a ignoré une date l...

Read more
News Image
Apple accusé d'utiliser des minéraux de conflit

La République démocratique du Congo a déposé des plaintes pénales en France et en Belgique contre des filiales du géant technologique Apple, l'accusant d'utiliser des minéraux de conflit. Agissant au nom du gouvernement congolais, les avocats ont fait valoir qu'Apple est complice des crimes commis p...

Read more
News Image
Comment Facebook a limité les nouvelles dans les territoires palestiniens

Selon des recherches de la BBC, Facebook a sérieusement limité la capacité des médias palestiniens à toucher un public pendant la guerre Israël-Gaza. Dans une analyse complète des données Facebook, nous avons constaté que les salles de presse des territoires palestiniens - à Gaza et en Cisjordanie -...

Read more
News Image
Première nation Bitcoin du monde balances arrière crypto rêve

El Salvador a conclu un accord de prêt de 1,4 milliard de dollars (1,1 milliard de dollars) avec le Fonds monétaire international (FMI) après avoir accepté de réduire ses politiques controversées de Bitcoin. Le prêteur mondial a déclaré les risques liés à l'adoption de la plus grande cryptomonnaie d...

Read more