In den letzten Monaten hat die BBC eine dunkle, verborgene Welt erkundet – eine Welt, in der die schlimmsten, schrecklichsten, erschreckendsten und in vielen Fällen auch illegalen Online-Inhalte enden.
Enthauptungen, Massenmorde, Kindesmissbrauch, Hassreden – alles endet in den Briefkästen einer globalen Armee von Content-Moderatoren.
Sie sehen oder hören nicht oft von ihnen – aber das sind die Menschen, deren Aufgabe es ist, zu überprüfen und dann, wenn nötig, löschen Sie Inhalte, die entweder von anderen Benutzern gemeldet wird, oder wird automatisch durch Tech-Tools markiert.
Die Frage der Online-Sicherheit ist immer wichtiger geworden, da Tech-Unternehmen unter stärkerem Druck stehen, schädliches Material rasch zu entfernen.
Und trotz einer Menge von Forschung und Investitionen strömen in Tech-Lösungen zu helfen, letztlich für den Moment, es ist immer noch weitgehend menschliche Moderatoren, die das letzte Wort haben.
Moderatoren werden oft von Drittanbietern beschäftigt, aber sie arbeiten an Inhalten, die direkt auf den großen sozialen Netzwerken wie Instagram, TikTok und Facebook veröffentlicht werden.
Sie befinden sich auf der ganzen Welt.
Die Leute, mit denen ich sprach, als wir unsere Serie The Moderators for Radio 4 und BBC Sounds produzierten, lebten weitgehend in Ostafrika und alle hatten seitdem die Branche verlassen.
Ihre Geschichten waren erschütternd.
Einiges von dem, was wir aufgenommen haben, war zu brutal, um es zu senden.
Manchmal beendeten mein Produzent Tom Woolfenden und ich eine Aufnahme und saßen einfach still.
Wenn du dein Handy nimmst und dann zu TikTok gehst, wirst du viele Aktivitäten sehen, tanzen, glückliche Dinge, sagt Mojez, ein ehemaliger Nairobi-Moderator, der an TikTok-Inhalten arbeitete.
Aber im Hintergrund moderierte ich persönlich, in den Hunderten, schreckliche und traumatisierende Videos.
Ich habe es auf mich genommen.
Lassen Sie meine psychische Gesundheit nehmen den Schlag, so dass allgemeine Benutzer über ihre Aktivitäten auf der Plattform weiter gehen können... Es gibt derzeit mehrere laufende Rechtsansprüche, dass die Arbeit die psychische Gesundheit solcher Moderatoren zerstört hat.
Einige der ehemaligen Arbeiter in Ostafrika haben sich zu einer Gewerkschaft zusammengeschlossen.
Das Einzige, was sich zwischen mir und einer Social Media Plattform abmeldet und eine Enthauptung beobachtet, ist wirklich jemand, der irgendwo in einem Büro sitzt und sich den Inhalt für mich anschaut und ihn überprüft, so dass ich es nicht muss, sagt Martha Dark, die Foxglove betreibt, eine Kampagnengruppe, die die Klage unterstützt.
Im Jahr 2020, Meta dann bekannt als Facebook, vereinbart, eine Regelung von $52m (40 Mio. £) an Moderatoren zu zahlen, die psychische Gesundheitsprobleme wegen ihrer Jobs entwickelt hatten.
Die Klage wurde von einer ehemaligen US-Moderatorin namens Selena Scola eingeleitet.
Sie beschrieb Moderatoren als die "Wächter der Seelen", wegen der Menge der Aufnahmen, die sie sehen, die die letzten Momente der Menschen leben.
Die Ex-Moderatoren, mit denen ich sprach, benutzten alle das Wort "trauma" bei der Beschreibung der Auswirkungen, die die Arbeit auf sie hatte.
Einige hatten Schwierigkeiten zu schlafen und zu essen.
Einer beschrieb, wie ein Baby weinen zu hören einen Kollegen in Panik versetzt hatte.
Ein anderer sagte, es sei schwierig, mit seiner Frau und seinen Kindern zu interagieren, weil er Kinder misshandelt habe.
Ich habe erwartet, dass sie sagen, dass diese Arbeit so emotional und geistig mühselig war, dass kein Mensch es tun sollte – ich dachte, sie würden die gesamte Branche voll und ganz dabei unterstützen, automatisiert zu werden, mit KI-Tools, die sich weiterentwickeln, um bis zum Job zu skalieren.
Aber sie taten es nicht.
Was kam auf, sehr mächtig, war der immense Stolz, den die Moderatoren in den Rollen hatten, die sie beim Schutz der Welt vor Online-Schaden gespielt hatten.
Sie sahen sich als einen lebenswichtigen Notfalldienst.
Man sagt, er wollte eine Uniform und eine Marke, die sich mit einem Sanitäter oder Feuerwehrmann vergleichen.
Nicht einmal eine Sekunde wurde verschwendet, sagt jemand, den wir David nannten.
Er bat darum, anonym zu bleiben, aber er hatte an Material gearbeitet, das verwendet wurde, um den viralen KI-Chatbot ChatGPT zu trainieren, so dass es programmiert wurde, nicht entsetzliches Material zu erregen.
Ich bin stolz auf die Individuen, die dieses Modell trainiert haben, um das zu sein, was es heute ist... Aber genau das Werkzeug David hatte geholfen, zu trainieren, könnte eines Tages mit ihm konkurrieren.
Dave Willner ist ehemaliger Leiter von Vertrauen und Sicherheit bei OpenAI, dem Schöpfer von ChatGPT.
Er sagt, dass sein Team ein rudimentäres Moderationstool gebaut hat, basierend auf der Chatbot-Technologie, die es geschafft hat, schädliche Inhalte mit einer Genauigkeitsrate von rund 90% zu identifizieren.
Wenn mir irgendwie klar wurde: "Oh, das wird funktionieren, ich habe ehrlich gesagt ein bisschen gedrosselt," sagt er.
[AI-Werkzeuge] Langeweilen Sie sich nicht.
Und sie werden nicht müde und werden nicht schockiert...
Sie sind unerbittlich....Nicht jeder ist jedoch zuversichtlich, dass KI eine silberne Kugel für den unruhigen Moderationssektor ist.
Ich denke, es ist problematisch, sagt Dr. Paul Reilly, Senior Dozent für Medien und Demokratie an der University of Glasgow.
Clearly KI kann eine ziemlich stumpfe, binäre Art und Weise der Moderation von Inhalten sein.
Es kann dazu führen, dass die Redefreiheit überblockt wird, und natürlich könnten nuancenlose menschliche Moderatoren identifiziert werden.
Menschliche Mäßigung ist wichtig für Plattformen,.. er fügt hinzu.
Das Problem ist, dass es nicht genug von ihnen gibt, und der Job ist unglaublich schädlich für diejenigen, die es tun.Wir näherten uns auch den Tech-Unternehmen in der Serie erwähnt.
Ein TikTok-Sprecher sagt, die Firma weiß, dass Content Moderation keine leichte Aufgabe ist, und sie bemüht sich, ein fürsorgliches Arbeitsumfeld für Mitarbeiter zu fördern.
Dazu gehört, klinische Unterstützung anzubieten und Programme zu erstellen, die das Wohlbefinden der Moderatoren unterstützen.
Sie fügen hinzu, dass Videos zunächst durch automatisierte Technologie überprüft werden, was sie sagen, entfernt ein großes Volumen an schädlichen Inhalten.
Unterdessen, Open AI - das Unternehmen hinter Chat GPT - sagt, es ist dankbar für die wichtige und manchmal herausfordernde Arbeit, die menschliche Arbeiter tun, um die KI zu trainieren, um solche Fotos und Videos zu sehen.
Ein Sprecher fügt hinzu, dass Open KI mit seinen Partnern politische Maßnahmen zum Schutz des Wohlergehens dieser Teams durchsetzt.
Und Meta - das besitzt Instagram und Facebook - sagt, es erfordert alle Unternehmen, mit denen es arbeitet, um 24 Stunden vor Ort Unterstützung mit ausgebildeten Fachleuten zu bieten.
Sie fügt hinzu, dass Moderatoren in der Lage sind, ihre Überprüfungswerkzeuge anzupassen, um grafische Inhalte zu verwischen.
Die Moderatoren sind auf BBC Radio 4 um 13:45 GMT, Montag 11, November bis Freitag 15, November, und auf BBC Sounds.