Nos últimos meses, a BBC vem explorando um mundo obscuro e oculto – um mundo onde o pior, mais horripilante, angustiante e, em muitos casos, o conteúdo online ilegal acaba.
decapitações, assassinatos em massa, abuso infantil, discurso de ódio – tudo isso acaba nas caixas de entrada de um exército global de moderadores de conteúdo.
Muitas vezes você não vê ou ouve falar deles – mas essas são as pessoas cujo trabalho é revisar e, quando necessário, excluir conteúdo que seja relatado por outros usuários ou seja sinalizado automaticamente por ferramentas tecnológicas.
A questão da segurança on-line tornou-se cada vez mais proeminente, com as empresas de tecnologia sob mais pressão para remover rapidamente material prejudicial.
E apesar de muita pesquisa e investimento despejando em soluções tecnológicas para ajudar, em última análise, por enquanto, ainda são em grande parte moderadores humanos que têm a palavra final.
Os moderadores são frequentemente empregados por empresas terceirizadas, mas eles trabalham em conteúdo postado diretamente nas grandes redes sociais, incluindo Instagram, TikTok e Facebook.
Eles são baseados em todo o mundo.
As pessoas com quem conversei enquanto fazia nossa série The Moderators for Radio 4 e BBC Sounds, estavam em grande parte vivendo na África Oriental, e desde então todos deixaram a indústria.
Suas histórias eram angustiantes.
Algo do que gravamos foi brutal demais para ser transmitido.
s vezes, meu produtor Tom Woolfenden e eu terminamos uma gravação e apenas sentamos em silêncio.
“Se você pegar seu telefone e depois ir para o TikTok, verá muitas atividades, dançando, você sabe, coisas felizes”, diz Mojez, um ex-moderador baseado em Nairóbi que trabalhou no conteúdo do TikTok.
“Mas no fundo, eu pessoalmente estava moderando, nas centenas, vídeos horríveis e traumatizantes.
“Eu tomei conta de mim mesmo.
Deixe minha saúde mental tomar o soco para que os usuários em geral possam continuar suas atividades na plataforma.” Atualmente, existem várias reivindicações legais em andamento de que o trabalho destruiu a saúde mental de tais moderadores.
Alguns dos ex-trabalhadores da África Oriental se uniram para formar um sindicato.
“Realmente, a única coisa que está entre eu entrar em uma plataforma de mídia social e assistir a uma decapitação, é alguém sentado em um escritório em algum lugar, e assistir a esse conteúdo para mim, e revisá-lo para que eu não precise”, diz Martha Dark, que dirige Foxglove, um grupo de campanha que apoia a ação legal.
Em 2020, a Meta, então conhecida como Facebook, concordou em pagar um acordo de US $ 52 milhões ( 40 milhões) para moderadores que desenvolveram problemas de saúde mental por causa de seus empregos.
A ação legal foi iniciada por um ex-moderador nos EUA chamado Selena Scola.
Ela descreveu os moderadores como os “guardiões das almas”, por causa da quantidade de imagens que eles veem contendo os momentos finais da vida das pessoas.
Os ex-moderadores com quem falei usaram a palavra “trauma” para descrever o impacto que o trabalho teve sobre eles.
Alguns tinham dificuldade em dormir e comer.
Um deles descreveu como ouvir um choro de bebê fez um colega entrar em pânico.
Outro disse que ele achou difícil interagir com sua esposa e filhos por causa do abuso infantil que ele havia testemunhado.
Eu estava esperando que eles dissessem que este trabalho era tão emocional e mentalmente cansativo, que nenhum ser humano deveria ter que fazê-lo – eu pensei que eles apoiariam totalmente toda a indústria se tornando automatizada, com ferramentas de IA evoluindo para escalar até o trabalho.
Mas não o fizeram.
O que se deparou, muito poderosamente, foi o imenso orgulho que os moderadores tinham nos papéis que desempenharam na proteção do mundo contra danos on-line.
Eles se viam como um serviço de emergência vital.
Diz-se que ele queria um uniforme e um distintivo, comparando-se a um paramédico ou bombeiro.
“Nem um segundo foi desperdiçado”, diz alguém a quem chamamos David.
Ele pediu para permanecer anônimo, mas ele tinha trabalhado em material que foi usado para treinar o chatbot de IA viral ChatGPT, de modo que foi programado para não regurgitar material horrível.
“Estou orgulhoso dos indivíduos que treinaram este modelo para ser o que é hoje.” Mas a própria ferramenta que David ajudou a treinar, pode um dia competir com ele.
Dave Willner é ex-chefe de confiança e segurança da OpenAI, criador do ChatGPT.
Ele diz que sua equipe construiu uma ferramenta de moderação rudimentar, baseada na tecnologia do chatbot, que conseguiu identificar conteúdo prejudicial com uma taxa de precisão de cerca de 90%.
“Quando eu meio que percebi completamente, ‘oh, isso vai funcionar’, eu honestamente me engasguei um pouco”, diz ele.
“[Ferramentas de IA] não se aborreçam.
E eles não se cansam e não ficam chocados...
Nem todo mundo, no entanto, está confiante de que a IA é uma bala de prata para o setor de moderação problemático.
“Eu acho que é problemático”, diz o Dr. Paul Reilly, professor sênior de mídia e democracia na Universidade de Glasgow.
Claramente, a IA pode ser uma maneira bastante direta e binária de moderar o conteúdo.
“Isso pode levar a excesso de bloqueio de questões de liberdade de expressão, e é claro que pode faltar nuances que os moderadores humanos seriam capazes de identificar.
A moderação humana é essencial para as plataformas”, acrescenta.
“O problema é que não há o suficiente deles, e o trabalho é incrivelmente prejudicial para aqueles que o fazem.” Também abordamos as empresas de tecnologia mencionadas na série.
Um porta-voz da TikTok diz que a empresa sabe que a moderação de conteúdo não é uma tarefa fácil e se esforça para promover um ambiente de trabalho atencioso para os funcionários.
Isso inclui oferecer suporte clínico e criar programas que apoiem o bem-estar dos moderadores.
Eles acrescentam que os vídeos são inicialmente revisados por tecnologia automatizada, que, segundo eles, remove um grande volume de conteúdo prejudicial.
Enquanto isso, a Open AI - a empresa por trás do Chat GPT - diz que é grato pelo trabalho importante e às vezes desafiador que os trabalhadores humanos fazem para treinar a IA para identificar essas fotos e vídeos.
Um porta-voz acrescenta que, com seus parceiros, a IA aberta impõe políticas para proteger o bem-estar dessas equipes.
E a Meta – que é dona do Instagram e do Facebook – diz que exige que todas as empresas com as quais trabalha forneçam suporte 24 horas no local com profissionais treinados.
Ele acrescenta que os moderadores são capazes de personalizar suas ferramentas de revisão para desfocar o conteúdo gráfico.
The Moderators está na BBC Radio 4 às 13:45 GMT, segunda-feira 11, novembro a sexta-feira 15, novembro, e na BBC Sounds.