O modelo de negócios do Vale do Silício é incompatível com a moderação do horror e do ódio online
Gerenciar a enxurrada de material perturbador on-line é um desafio que os provedores de serviços estão lutando para enfrentar, mesmo quando tentam.
O texto é uma tradução livre do original Silicon Valley’s business model is incompatible with the moderation of online horror and hatred, escrito por John Naughton. O texto merece destaque não apenas por lançar a nossa atenção para as dificuldades operacionais em controlar o imenso volume de material publicado diariamente nas redes sociais (isto é, em identificar e eliminar o material pernicioso); mas também por iluminar as beneces legais, que desencorajam tentativas mais sérias de se realizar esse controle. Os efeitos do descontrole já são bastante conhecidos: manipulação da opinião pública (via fake news), sufocamento de linhas jornalísticas mais sérias e o fortalecimento da extrema-direita. A ausência de um enfrentamento a altura do problema parece, no entanto, criar o cenário perfeito (e trágico) para a sua escalada.
Em meados da década de 1990, quando a web era jovem e o mundo online fervilhava de blogs, um problema preocupante se aproximou. Se você fosse um provedor de internet que hospedava blogs, e um deles contivesse material ilegal ou difamatório, você poderia ser responsabilizado legalmente e processado em falência. Temendo que isso retardasse drasticamente a expansão de uma tecnologia vital, dois legisladores dos EUA, Chris Cox e Ron Wyden, inseriram 26 palavras na Lei de Decência nas Comunicações de 1996, que acabou se tornando a seção 230 da Lei de Telecomunicações do mesmo ano. As palavras em questão eram: "Nenhum provedor ou usuário de um serviço de computador interativo será tratado como editor ou porta-voz de qualquer informação fornecida por outro provedor de conteúdo de informação." As implicações foram profundas: a partir de agora você não se responsabiliza pelo conteúdo publicado em sua plataforma.
O resultado foi o aumento exponencial de conteúdo gerado por usuários na internet. O problema era que parte desse conteúdo era vil, difamatório ou absolutamente horrível. Mesmo que fosse, no entanto, o site de hospedagem não tinha nenhuma responsabilidade por isso. Em alguns momentos, parte desse conteúdo causou indignação pública a ponto de se tornar um problema de relações públicas para as plataformas que o hospedam e elas começaram a se envolver em "moderação".
A moderação, no entanto, tem dois problemas. Uma delas é que é muito caro por causa da escala do problema: 2.500 novos vídeos enviados a cada minutoao YouTube, por exemplo; 1,3 bilhão de fotos são compartilhadas no Instagram todos os dias. Outra é a forma como o trabalho sujo de moderação é muitas vezes terceirizado para pessoas em países pobres, que são traumatizado por ter que assistir a vídeos de crueldade inominável – para receber ninharias. Os custos de manter os feeds de mídia social ocidentais relativamente limpos são, portanto, suportados pelos pobres do sul global.
As plataformas sabem disso, é claro, mas ultimamente têm vindo a ter uma ideia que consideram melhor – moderação por IA, em vez de humanos: conteúdo vil sendo detectado e excluído por máquinas implacáveis e inabaláveis. O que não gostar?
Há duas maneiras de responder a isso. Uma delas é através da observação de HL Mencken de que "Para cada problema complexo há uma resposta que é clara, simples e errada". A outra é perguntando a um ciberneticista. Cibernética é o estudo de como os sistemas usam a informação, o feedback e o controle para se regular e alcançar os resultados desejados. É um campo que foi fundado em 1948 pelo grande matemático Norbert Wiener - com o estudo científico do "controle e comunicação no animal e na máquina" - e floresceu nas décadas de 1950 e 1960, com uma nova maneira de pensar sobre as máquinas movidas a humanos, que chamamos de organizações.
Um dos grandes avanços na área foi feito por um psicólogo britânico, W Ross Ashby. Ele estava interessado em como os sistemas de feedback podem alcançar a estabilidade e criou o que ficou conhecido como "a lei da variedade necessária" – a ideia de que, para um sistema ser estável, o número de estados que seu mecanismo de controle pode atingir (sua variedade) deve ser maior ou igual ao número de estados no sistema que está sendo controlado. Na década de 1960, isso foi reformulado com a noção de que, para uma organização ser viável, ela deve ser capaz de lidar com a complexidade dinâmica de seu ambiente.
Parece teórico, não é? Mas com a chegada da internet, e particularmente da web e das mídias sociais, a lei de Ashby adquiriu uma relevância sombria. Se você é Meta (Facebook), digamos, e tem bilhões de usuários jogando coisas – algumas delas vis – em seus servidores a cada milissegundo, então você tem o que Ashby chamaria de um problema de gerenciamento de variedades.
Na verdade, só há duas maneiras de lidar com isso (a menos que você seja Elon Musk, que decidiu nem tentar). Uma delas é sufocar o abastecimento. Mas se você fizer isso, você prejudica seu modelo de negócios – que é ter todos em sua plataforma – e também será acusado de "censura" na terra da primeira emenda. A outra é ampliar sua capacidade interna de lidar com a torrente – que é o que é "moderação". Mas a escala do desafio é tal que, mesmo que a Meta empregasse meio milhão de moderadores humanos, não estaria à altura da tarefa. Ainda assim, a seção 230 a isentaria de problemas legais. Vencer a lei de Ashby, no entanto, pode ser uma proposta totalmente mais dura, mesmo para a IA.
Fique atento.