Au cours des derniers mois, la BBC a exploré un monde sombre et caché – un monde où se termine le contenu en ligne le plus pire, le plus horrible, le plus affligeant et, dans de nombreux cas, illégal.
Les décapitations, les massacres, la maltraitance des enfants, les discours haineux – tout cela finit dans les boîtes de réception d'une armée mondiale de modérateurs de contenu.
Vous ne voyez pas souvent ou n'entendez pas d'eux – mais ce sont les personnes dont le travail est d'examiner et puis, si nécessaire, supprimer le contenu qui soit est signalé par d'autres utilisateurs, ou est automatiquement signalé par des outils technologiques.
La question de la sécurité en ligne occupe une place de plus en plus importante, les entreprises technologiques étant davantage soumises à des pressions pour qu'elles éliminent rapidement les matières nocives.
Et malgré beaucoup de recherche et d'investissement versant des solutions technologiques pour aider, en fin de compte, c'est encore en grande partie des modérateurs humains qui ont le dernier mot.
Les modérateurs sont souvent employés par des entreprises tierces, mais ils travaillent sur des contenus postés directement sur les grands réseaux sociaux, dont Instagram, TikTok et Facebook.
Ils sont basés dans le monde entier.
Les personnes à qui j'ai parlé lors de la réalisation de notre série Les Modérateurs pour Radio 4 et BBC Sounds, vivaient en grande partie en Afrique de l'Est, et tous avaient quitté l'industrie depuis.
Leurs histoires étaient atroces.
Une partie de ce que nous avons enregistré était trop brutale pour être diffusée.
Parfois, mon producteur Tom Woolfenden et moi terminions un enregistrement et nous nous asseyions en silence.
Si vous prenez votre téléphone, puis allez à TikTok, vous verrez beaucoup d'activités, danser, vous savez, des choses heureuses," dit Mojez, un ancien modérateur basé à Nairobi qui a travaillé sur le contenu de TikTok.
Mais en arrière-plan, j'étais personnellement en train de modérer, dans les centaines, des vidéos horribles et traumatisantes.
Je l'ai pris sur moi-même.
Laissez ma santé mentale prendre le coup de poing afin que les utilisateurs généraux puissent continuer leurs activités sur la plate-forme..Il y a actuellement plusieurs revendications légales en cours que le travail a détruit la santé mentale de ces modérateurs.
Certains des anciens travailleurs d'Afrique de l'Est se sont réunis pour former un syndicat.
En fait, la seule chose qui se passe entre moi en train de me connecter à une plateforme de médias sociaux et de regarder une décapitation, c'est quelqu'un assis dans un bureau quelque part, et de regarder ce contenu pour moi, et de le revoir, donc je n'ai pas à," dit Martha Dark qui dirige Foxgove, un groupe de campagne soutenant l'action en justice.
En 2020, Meta, alors connue sous le nom de Facebook, a accepté de payer un règlement de 52 millions de dollars (40 millions de livres sterling) aux modérateurs qui avaient développé des problèmes de santé mentale en raison de leur emploi.
L'action en justice a été engagée par un ancien modérateur aux États-Unis appelé Selena Scola.
Elle a décrit les modérateurs comme les gardiens d'âmes, à cause de la quantité de séquences qu'ils voient contenant les derniers moments de la vie des gens.
Les ex-modérateurs que j'ai parlé à tous ont utilisé le mot "trauma" pour décrire l'impact du travail sur eux.
Certains avaient du mal à dormir et à manger.
On a décrit comment entendre un bébé pleurer avait fait paniquer un collègue.
Un autre a dit qu'il avait du mal à interagir avec sa femme et ses enfants à cause de la maltraitance dont il avait été témoin.
Je m'attendais à ce qu'ils disent que ce travail était tellement épuisant sur le plan émotionnel et mental, qu'aucun humain ne devrait devoir le faire – je pensais qu'ils soutiendraient pleinement l'ensemble de l'industrie devenant automatisé, avec des outils d'IA en évolution pour aller jusqu'au travail.
Mais ils ne l'ont pas fait.
Ce qui s'est produit, très fortement, c'est l'immense fierté des modérateurs dans le rôle qu'ils ont joué dans la protection du monde contre les dommages en ligne.
Ils se considéraient comme un service d'urgence vital.
On dit qu'il voulait un uniforme et un badge, se comparant à un ambulancier ou un pompier.
Même pas une seconde n'a été gaspillée, dit quelqu'un que nous avons appelé David.
Il a demandé à rester anonyme, mais il a travaillé sur du matériel qui a été utilisé pour former le chatbot viral AI ChatGPT, de sorte qu'il a été programmé pour ne pas régurgiter le matériel horrible.
Je suis fier des personnes qui ont formé ce modèle pour qu'il soit ce qu'il est aujourd'hui.Mais l'outil même que David avait aidé à former, pourrait un jour rivaliser avec lui.
Dave Willner est ancien chef de la confiance et de la sécurité chez OpenAI, le créateur de ChatGPT.
Il dit que son équipe a construit un outil de modération rudimentaire, basé sur la technologie de chatbots, qui a réussi à identifier des contenus nuisibles avec un taux de précision d'environ 90%.
Quand j'ai réalisé que ça allait marcher, j'ai un peu étouffé, dit-il.
Ne vous ennuyez pas.
Et ils ne sont pas fatigués et ils ne sont pas choqués...
Mais tout le monde n'est pas convaincu que l'IA est une balle d'argent pour le secteur de la modération troublée.
"Je pense que c'est problématique," dit le Dr Paul Reilly, maître de conférences en médias et démocratie à l'Université de Glasgow.
Il est clair que l'IA peut être une façon binaire de modérer le contenu.
Il peut entraîner un blocage excessif des questions de liberté d'expression, et bien sûr il peut manquer nuance les modérateurs humains seraient en mesure d'identifier.
La modération humaine est essentielle aux plates-formes, ajoute-t-il.
Le problème n'est pas assez d'eux, et le travail est incroyablement dangereux pour ceux qui le font. Nous avons également approché les entreprises technologiques mentionnées dans la série.
Un porte-parole de TikTok dit que l'entreprise sait que la modération du contenu n'est pas une tâche facile, et elle s'efforce de promouvoir un environnement de travail bienveillant pour les employés.
Il s'agit notamment d'offrir un soutien clinique et de créer des programmes qui appuient le bien-être des modérateurs.
Ils ajoutent que les vidéos sont initialement examinées par la technologie automatisée, ce qui, selon eux, supprime un grand volume de contenu nuisible.
Pendant ce temps, Open AI - l'entreprise derrière Chat GPT - dit qu'il est reconnaissant pour le travail important et parfois difficile que les travailleurs humains font pour former l'IA à repérer de telles photos et vidéos.
Un porte-parole ajoute qu'avec ses partenaires, Open AI applique des politiques visant à protéger le bien-être de ces équipes.
Et Meta - qui possède Instagram et Facebook - dit qu'il exige toutes les entreprises avec lesquelles il travaille pour fournir un soutien sur place 24 heures sur 24 avec des professionnels formés.
Il ajoute que les modérateurs sont en mesure de personnaliser leurs outils de révision pour brouiller le contenu graphique.
Les modérateurs sont sur BBC Radio 4 à 13h45 GMT, du lundi 11 novembre au vendredi 15 novembre, et sur BBC Sounds.