La società della vergogna

Gli algoritmi sono diventate armi improprie che incorporano pregiudizi e perpetuano la disuguaglianza sociale. Il problema non è solo matematico, ma politico

Allison Arieff

Nel 2008, lavorando nel settore finanziario, Cathy O’Neil ha avuto uno sguardo in prima persona sulle conseguenze deleterie dell’eccessiva fiducia delle persone negli algoritmi. Scoraggiata, è passata alla tecnologia, dove si è ritrovata di fronte allo stesso meccanismo: una fiducia cieca in tutto, dalla pubblicità mirata ai modelli di valutazione del rischio per i titoli garantiti da ipoteca. Allora ha deciso di cambiare vita del tutto.

La sensazione di essere “uno strumento inconsapevole” di un meccanismo perverso l’ha indotta a scrivere Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Pubblicato nel 2016, il libro ha smantellato l’idea che gli algoritmi siano oggettivi, rivelando invece, esempio dopo esempio, come continuino a perpetuare la disuguaglianza. “La gente”, dice O’Neal, “non ha capito fino in fondo che gli algoritmi non prevedono ma classificano e che siamo di fronte a un problema polito, non matematico. E la fiducia è uno snodo centrale”.

L’autrice ha mostrato come ogni algoritmo sia ottimizzato per una particolare nozione di successo e venga addestrato su dati storici per riconoscere i modelli: per esempio, “Persone come te hanno avuto successo in passato, quindi è lecito supporre che avrai successo in futuro” oppure “Le persone come te sono state dei falliti in passato, quindi è lecito supporre che sarai un fallito in futuro”.

A prima vista l’approccio sembra sensato. Ma il libro di O’Neil ha rivelato come possa evolversi nella direzione sbagliata. Gli algoritmi progettati per prevedere la possibilità di un nuovo arresto, per esempio, possono colpire ingiustamente sulle persone, in genere di colore, che sono povere, vivono nel quartiere sbagliato o hanno problemi di salute mentale o dipendenze non curate. “Non ci soffermiamo mai sulla validità del sistema carcerario”, spiega O’Neil. “perché attribuiamo le responsabilità dei flagelli della società solo a chi ne è anche vittima”.

A poco a poco, O’Neil è arrivata a riconoscere un altro fattore che stava rafforzando queste disuguaglianze: lo shaming. “Stiamo giudicando qualcuno per un comportamento che può effettivamente scegliere di non tenere? In realtà non si può evitare di essere grasso, anche se ogni azienda dietetica affermerà il contrario. Ci si può sottrarre alla tossicodipendenza? Molto più difficile di quanto si pensi. Ho la netta impressione che abbiamo messo con le spalle al muro persone per situazioni in cui non hanno scelta o possono cambiare”.

Ho parlato con O’Neil per telefono ed e-mail del suo nuovo libro, The Shame Machine: Who Profits in the New Age of Humiliation, che approfondisce i molti modi in cui i meccanismi della vergogna sociale vengono utilizzati come arma nella nostra cultura e come si potrebbe reagire.

Il percorso dagli algoritmi allo shaming non è immediatamente evidente. Come li ha messi insieme?

Ho studiato il potere dietro i “cattivi” algoritmi. Spesso si basano su un presupposto di esclusione, sull’idea che non si è abbastanza esperti per mettere in discussione una formula scientifica e matematica. Ma, grazie al mio dottorato in matematica, posso affermare che questi algoritmi violano il rapporto di fiducia con l’utente e incarnano una forma di discriminazione. Cade tutto dall’alto. Per esempio, ho chiesto a una mia amica preside di scoprire i parametri del Value Added Model for Teachers su cui vengono valutati gli insegnanti della sua scuola di New York. Ha dovuto avanzare decine di richieste e ogni volta le è stato detto: “È matematica, non la capirai”.

In The Shame Machine, sostiene che l’umiliazione sociale è un enorme problema strutturale nella società. Può dire qualcosa in più?

Far scattare i meccanismi della vergogna è un potente meccanismo per trasformare un’ingiustizia occasionale in sistemica. Frasi come: “E’ solo colpa tua” (per i poveri o le persone con dipendenze) o “Non puoi capire questa cosa” (per gli algoritmi), sono da viatico per assegnare quell’etichetta di indegnità che spesso è sufficiente per far smettere le persone prese di mira a fare domande. Prendo ad esempio il caso di Duane Townes, che è stato inserito in un programma carcerario di recupero che era essenzialmente un lavoro manuale senza fine, al di sotto del livello di povertà, svolto sotto l’occhio di uomini armati che avrebbero chiamato il suo agente per la libertà vigilata se si fosse lamentato o avesse fatto una pausa per il bagno per più di cinque minuti. 

La situazione era umiliante e sentiva di non essere trattato in modo umano. Ciò era dovuto alla progettazione intenzionale del programma, tuttavia, e aveva lo scopo di formare “bravi lavoratori”. L’equivalente di una scossa di taser per la propria autostima: momentanea impotenza e incapacità di difendere i propri diritti. 

Il covid-19 ha esacerbato questi problemi?

In effetti, con le norme in rapida evoluzione su uso delle mascherine, distanziamento e vaccinazioni, il meccanismo dei pregiudizi è scattato in modo pervasivo. Le diverse “tribù” si sono manifestate sui social media e hanno adottato queste norme in modo molto diverso, aprendo la strada al tentativo di umiliare online chi la pensava in un altro modo. Il modo in cui funziona lo shaming è allontanare le persone tra di loro, allentando il senso di comunità. 

Nel 2021, la California è diventata il primo stato a offrire il pranzo gratuito a tutti gli studenti, non solo a quelli economicamente svantaggiati, il che ha davvero contribuito a rimuovere uno stigma di lunga data. Ci sono altri modi per evitare queste forme di umiliazione sociale o trasformarle in senso positivo?

L’esempio è ottimo! Un altro campo di intervento potrebbe essere l’accesso al welfare o al reddito di base universale o la diminuzione del peso del debito degli studenti. Le sistematiche campagne d’odio sui “poveri” in questo paese hanno significato mancanza di solidarietà anche all’interno delle fasce più emarginate che non hanno avuto la forza di sostenere queste iniziative in loro favore.

Il capitolo sulla “vergogna in rete” esplora come gli algoritmi di Facebook, Google e altri vengono continuamente ottimizzati per stimolare i conflitti tra di noi. In che modo questo comportamento li avvantaggia? 

Ci vanno a nozze! Se non ci indignassimo e non ci lanciassimo in battaglie di tweet e ritweet performative e spesso distruttive, avrebbero guadagnato molto meno. Dovremmo smettere di lavorare per loro gratuitamente. A livello individuale, ciò significa che dovremmo rifiutarci di umiliarci a vicenda sui social media o addirittura boicottare le piattaforme che incoraggiano questi comportamenti. A livello politico, invece, i progetti delle piattaforme, inclusi gli algoritmi, dovrebbero essere controllati e monitorati per stabilirne il livello di “tossicità”. Non è una strada facile, come dimostra l’esempio di Facebook che ha provato a farlo nel 2018, ma vista la minora redditività ha abbandonato il tentativo. 

Dopo la pubblicazione di Weapons , ha fondato ORCA, una società di auditing algoritmico. In cosa consiste il lavoro dell’azienda?


Per definire uno standard algoritmico partiamo dalla seguente domanda: Chi viene danneggiato dal sistema attuale? Nel contesto di un algoritmo di assunzione potrebbe essere il lavoratore più anziano o le persone obese nel caso di polizze assicurative sulla vita, o i mutuatari neri quando si parla di prestiti studenteschi. Dobbiamo definire le parti interessate e cosa significhi essere equi in queste situazioni. E’ importante anche stabilire le soglie per determinare quando un algoritmo ha superato il limite.

Ci può essere un algoritmo “buono”?

Dipende dal contesto. Per le assunzioni, sono ottimista, ma se non facciamo un buon lavoro soprattutto con la nozione di equità e le soglie, potremmo ritrovarci con regole davvero insignificanti che producono sistemi di assunzione algoritmici molto problematici. Per quanto riguarda invece il sistema giudiziario, il disordine dei dati sulla criminalità è un problema troppo grande da superare, per non parlare della totale mancanza di accordo su ciò che costituisce un percorso carcerario riabilitativo di successo.

Image by Engin Akyurt from Pixabay

(rp)

Related Posts
Total
0
Share