Geçtiğimiz birkaç ay boyunca BBC, karanlık, gizli bir dünyayı araştırıyor - en kötü, en korkunç, üzücü ve çoğu durumda yasadışı çevrimiçi içeriğin sona erdiği bir dünya.
Başlıklar, toplu katliamlar, çocuk istismarı, nefret söylemi – hepsi küresel bir içerik moderatör ordusunun gelen kutularında bitiyor.
Sık sık görmezsiniz veya onlardan haber almazsınız – ancak bunlar, işi gözden geçirmek ve gerektiğinde, diğer kullanıcılar tarafından bildirilen veya otomatik olarak teknoloji araçları tarafından işaretlenen içeriği silmek olan insanlardır.
Çevrimiçi güvenlik konusu giderek daha belirgin hale geldi, teknoloji firmaları zararlı maddeleri hızla çıkarmak için daha fazla baskı altında kaldı.
Ve yardım etmek için teknoloji çözümlerine dökülen çok sayıda araştırma ve yatırıma rağmen, sonuçta şimdilik, son sözü söyleyen hala büyük ölçüde insan moderatörleri.
Moderatörler genellikle üçüncü taraf şirketler tarafından istihdam edilir, ancak Instagram, TikTok ve Facebook da dahil olmak üzere büyük sosyal ağlara doğrudan gönderilen içerik üzerinde çalışırlar.
Dünyaya yayılmışlardır.
The Moderators for Radio 4 ve BBC Sounds dizimizi yaparken konuştuğum insanlar büyük ölçüde Doğu Afrika'da yaşıyordu ve o zamandan beri hepsi endüstriyi terk etmişti.
Hikayeleri dehşet vericiydi.
Kaydettiğimiz bazı şeyler yayınlanamayacak kadar acımasızdı.
Bazen yapımcım Tom Woolfenden ve ben bir kaydı bitirip sessizce otururduk.
TikTok içeriği üzerinde çalışan eski Nairobi merkezli moderatör Mojez, "Telefonunuzu alıp TikTok'a giderseniz, birçok etkinlik, dans, bilirsiniz, mutlu şeyler göreceksiniz" diyor.
Ancak arka planda, yüzlerce, korkunç ve travmatik videolarda kişisel olarak moderatörlük yapıyordum.
"Bunu kendim üzerine aldım.
Genel kullanıcıların platformdaki faaliyetlerine devam edebilmeleri için zihinsel sağlığımın yumruk atmasına izin verin." Şu anda, çalışmanın bu tür moderatörlerin zihinsel sağlığını yok ettiği konusunda devam eden birden fazla yasal iddia var.
Doğu Afrika'daki eski işçilerden bazıları bir sendika kurmak için bir araya geldi.
“Gerçekten, bir sosyal medya platformuna giriş yapmak ve kafa kesmeyi izlemek arasında kalan tek şey, bir yerde bir ofiste oturan ve bu içeriği benim için izleyen ve bunu gözden geçiren biri, böylece zorunda kalmam gerekmiyor,” diyor yasal işlemi destekleyen bir kampanya grubu olan Foxglove'u yöneten Martha Dark.
2020 yılında, Meta o zaman Facebook olarak bilinen, işleri nedeniyle zihinsel sağlık sorunları gelişmiş moderatörlere 52 milyon dolar ( 40 milyon) bir yerleşim ödemeyi kabul etti.
Yasal işlem, ABD'de Selena Scola adlı eski bir moderatör tarafından başlatıldı.
Moderatörleri, insanların hayatlarının son anlarını içeren görüntülerin miktarı nedeniyle "ruhların bekçileri" olarak nitelendirdi.
Konuştuğum eski moderatörler, çalışmanın üzerlerindeki etkisini tanımlamak için "travma" kelimesini kullandılar.
Bazıları uyumakta ve yemek yemekte zorluk çekiyordu.
Biri, bir bebeğin ağlamasını duymanın bir meslektaşı nasıl paniklediğini anlattı.
Bir diğeri, tanık olduğu çocuk istismarı nedeniyle karısı ve çocuklarıyla etkileşime girmekte zorlandığını söyledi.
Bu çalışmanın duygusal ve zihinsel olarak o kadar zahmetli olduğunu, hiçbir insanın bunu yapmak zorunda kalmaması gerektiğini söylemelerini bekliyordum - AI araçlarının işi büyütmek için evrilmesiyle tüm endüstrinin otomatikleşmesini tam olarak destekleyeceklerini düşündüm.
Ama yapmadılar.
Ortaya çıkan şey, çok güçlü bir şekilde, moderatörlerin dünyayı çevrimiçi zararlardan korumak için oynadıkları rollerde sahip oldukları muazzam gururdu.
Kendilerini hayati bir acil servis olarak gördüler.
Biri üniforma ve rozet istediğini, kendisini bir sağlık görevlisi veya itfaiyeci ile karşılaştırdığını söylüyor.
Davud adını verdiğimiz biri şöyle diyor: “Bir saniye bile boşa gitmedi.
İsimsiz kalmasını istedi, ancak viral AI chatbot ChatGPT'yi eğitmek için kullanılan materyal üzerinde çalışmıştı, böylece korkunç materyali yeniden beslememek için programlandı.
“Bu modeli bugün olduğu gibi eğiten bireylerle gurur duyuyorum.” Ancak David'in eğitmeye yardım ettiği araç, bir gün onunla rekabet edebilir.
Dave Willner, ChatGPT'nin yaratıcısı OpenAI'de eski güven ve güvenlik başkanıdır.
Ekibinin, zararlı içeriği yaklaşık% 90 doğruluk oranıyla tanımlamayı başaran chatbot'un teknolojisine dayanan basit bir moderasyon aracı yaptığını söylüyor.
“Bir nevi tamamen fark ettiğimde, ‘Oh, bu işe yarayacak’, dürüstçe biraz tıkandım,” diyor.
[AIAI araçları] sıkılmayın.
Ve yorulmuyorlar ve şok olmuyorlar...
Ancak herkes AI'nın sorunlu ılımlılık sektörü için gümüş bir mermi olduğundan emin değil.
Glasgow Üniversitesi'nde medya ve demokrasi alanında kıdemli öğretim görevlisi Dr. Paul Reilly, "Bence bu sorunlu bir durum" diyor.
“Açıkçası AI, içeriği moderatörlüğünün oldukça künt, ikili bir yolu olabilir.
"Konuşma özgürlüğünün aşırı engellenmesine yol açabilir ve elbette insan moderatörlerinin tanımlayabileceği nüansları kaçırabilir.
Platformlar için insan ölçülülük esastır." diye ekliyor.
"Sorun şu ki, onlardan yeterince yok ve iş bunu yapanlar için inanılmaz derecede zararlı." Ayrıca seride bahsedilen teknoloji şirketlerine de yaklaştık.
Bir TikTok sözcüsü, firmanın içerik moderasyonunun kolay bir iş olmadığını bildiğini ve çalışanlar için özenli bir çalışma ortamını teşvik etmeye çalıştığını söylüyor.
Bu, klinik destek sunmayı ve moderatörlerin refahını destekleyen programlar oluşturmayı içerir.
Videoların başlangıçta otomatik teknoloji tarafından incelendiğini ve bunun büyük miktarda zararlı içeriği kaldırdığını belirttiklerini ekliyorlar.
Bu arada, Chat GPT'nin arkasındaki şirket olan Open AI, insan işçilerinin bu tür fotoğrafları ve videoları tespit etmek için AI'yı eğitmek için yaptıkları önemli ve bazen zorlu iş için minnettar olduğunu söylüyor.
Bir sözcü, ortaklarıyla birlikte Open AI'nın bu ekiplerin refahını korumak için politikalar uyguladığını ekliyor.
Ve Instagram ve Facebook'un sahibi olan Meta, eğitimli profesyonellerle 24 saat yerinde destek sağlamak için birlikte çalıştığı tüm şirketleri gerektirdiğini söylüyor.
Moderatörlerin grafik içeriğini bulanıklaştırmak için gözden geçirme araçlarını özelleştirebildiklerini ekler.
Moderatörler, BBC Radio 4'te 13:45 GMT, 11 Kasım Pazartesi - 15 Kasım Cuma ve BBC Sounds'ta.