През последните няколко месеца Би Би Си изследва тъмен, скрит свят – свят, в който най-лошото, най-ужасяващото, стресиращото и в много случаи незаконното онлайн съдържание свършва.
Обезглавявания, масови убийства, малтретиране на деца, реч на омразата – всичко това се озовава в кутиите на глобална армия от модератори на съдържание.
Често не ги виждате или чувате – но това са хората, чиято работа е да преглеждат и след това, когато е необходимо, да изтриват съдържание, което или се съобщава от други потребители, или автоматично се маркира от технологични инструменти.
Въпросът за онлайн безопасността става все по-виден, като технологичните фирми са подложени на по-голям натиск за бързо отстраняване на вредни материали.
И въпреки многото изследвания и инвестиции, които се изливат в технологични решения, за да помогнат, в крайна сметка за сега все още до голяма степен човешките модератори имат последната дума.
Модераторите често са наети от компании на трети страни, но те работят върху съдържание, публикувано директно в големите социални мрежи, включително Instagram, TikTok и Facebook.
Те са базирани по целия свят.
Хората, с които говорих, докато правеха сериала ни Модераторите за Радио 4 и BBC Sounds, до голяма степен живееха в Източна Африка и оттогава всички напуснаха индустрията.
Историите им бяха мъчителни.
Някои от нещата, които записахме, бяха твърде брутални за излъчване.
Понякога продуцентът ми Том Улфендън и аз завършвахме запис и просто си седяхме мълчаливо.
"Ако вземете телефона си и след това отидете в TikTok, ще видите много дейности, танци, знаете, щастливи неща", казва Mojez, бивш модератор от Найроби, който е работил върху съдържанието на TikTok.
Но на заден план, аз лично модерирах, в стотиците, ужасяващи и травмиращи видеоклипове.
Поех го върху себе си.
Нека психичното ми здраве поеме удара, така че обикновените потребители да могат да продължат дейността си в платформата." Понастоящем има множество текущи правни претенции, че работата е унищожила психичното здраве на такива модератори.
Някои от бившите работници в Източна Африка са се обединили, за да образуват съюз.
Наистина, единственото нещо, което е между това да вляза в социална медийна платформа и да гледам обезглавяване, е някой да седи в офис някъде и да гледа това съдържание вместо мен и да го преглежда, за да не се налага“, казва Марта Дарк, която ръководи Foxglove, група за кампания, подкрепяща правните действия.
През 2020 г. Мета, тогава известна като Facebook, се съгласява да плати споразумение от 52 млн. долара (40 млн. евро) на модераторите, които са развили проблеми с психичното здраве заради работата си.
Съдебните действия са инициирани от бивша модераторка в САЩ, наречена Селена Скола.
Тя описва модераторите катопазители на души", заради количеството кадри, които виждат, съдържащи последните моменти от живота на хората.
Бившите модератори, с които говорих, използваха думататравма" при описването на въздействието, което работата имаше върху тях.
Някои имали проблеми със съня и храненето.
Един от тях описва как чуването на бебешки плач е накарало колега да се паникьоса.
Друг казва, че му е трудно да общува с жена си и децата си, поради малтретирането на деца, на което е бил свидетел.
Очаквах от тях да кажат, че тази работа е толкова емоционално и психически изтощителна, че никой човек не трябва да го прави – мислех, че те напълно ще подкрепят цялата индустрия да стане автоматизирана, с AI инструменти, които се развиват, за да се мащабират до работата.
Но не го направиха.
Това, което се натъкна, много силно, беше огромната гордост, която модераторите имаха в ролите, които бяха изиграли в защитата на света от онлайн вреда.
Те се възприемаха като жизнено важна служба за спешна помощ.
Единият казва, че е искал униформа и значка, сравнявайки се с парамедик или пожарникар.
Нито една секунда не беше пропиляна казва някой, когото нарекохме Давид.
Той поиска да остане анонимен, но е работил върху материал, който е бил използван за обучение на вирусния AI чатбот ChatGPT, така че да бъде програмиран да не повръща ужасяващ материал.
Гордея се с хората, които са обучили този модел да бъде това, което е днес.“ Но самият инструмент, който Давид бил помогнал да се обучи, може един ден да се конкурира с него.
Дейв Уилнър е бивш ръководител на доверието и безопасността в OpenAI, създателят на ChatGPT.
Той казва, че екипът му е изградил елементарен инструмент за модериране, базиран на технологията на чатбота, който е успял да идентифицира вредно съдържание с точност от около 90%.
"Когато някак си напълно осъзнах, "о, това ще проработи", честно казано се задавих малко", казва той.
"[AI инструменти] не се отегчават.
И те не се уморяват и не се шокират....
те са неуморни." Не всеки обаче е уверен, че изкуственият интелект е сребърен куршум за проблемния сектор на умереността.
"Мисля, че е проблематично", казва д-р Пол Райли, старши преподавател по медии и демокрация в университета в Глазгоу.
"Ясно е, че AI може да бъде доста тъп, двоичен начин за модериране на съдържанието.
"Това може да доведе до прекалено блокиране на свободата на словото и разбира се, може да пропусне нюанса, който човешките модератори биха могли да идентифицират.
Човешката умереност е от съществено значение за платформите", добавя той.
"Проблемът е, че няма достатъчно от тях, а работата е невероятно вредна за тези, които го правят." Ние също се обърнахме към технологичните компании, споменати в поредицата.
Говорител на TikTok казва, че фирмата знае, че умереността на съдържанието не е лесна задача и се стреми да насърчава грижовна работна среда за служителите.
Това включва предлагане на клинична подкрепа и създаване на програми, които поддържат благосъстоянието на модераторите.
Те добавят, че видеоклиповете първоначално се преглеждат от автоматизирани технологии, които според тях премахват голям обем вредно съдържание.
Междувременно Open AI - компанията, която стои зад Chat GPT - казва, че е благодарна за важната и понякога предизвикателна работа, която правят човешките работници, за да обучат AI да забележи такива снимки и видеоклипове.
Говорител добавя, че със своите партньори Open AI прилага политики за защита на благосъстоянието на тези екипи.
И Meta - която притежава Instagram и Facebook - казва, че изисква всички компании, с които работи, да предоставят 24-часова поддръжка на място с обучени професионалисти.
Той добавя, че модераторите са в състояние да персонализират своите инструменти за преглед, за да замъглят графичното съдържание.
Модераторите се излъчват по BBC Radio 4 от 13:45 GMT, от понеделник, 11 ноември до петък, 15 ноември, и по BBC Sounds.