Gli algoritmi predittivi sono discriminatori

La mancanza di trasparenza e i dati di training distorti implicano che questi strumenti non sono adatti allo scopo prefissato e, in mancanza di interventi radicali, dovranno essere abbandonati. 

di Will Douglas Heaven

E’ stato al liceo che Yeshimabeit Milner ha visto per la prima volta dei ragazzi che conosceva ammanettati e caricati su un’auto della polizia. Era il 29 febbraio 2008 e il preside di una scuola vicina a Miami, con una maggioranza di popolazione haitiana e afroamericana, aveva stretto in una presa alla gola uno dei suoi studenti. Il giorno successivo diverse decine di loro hanno organizzato unap manifestazione pacifica, finita male.

Quella notte, la NBC 6 News at Six di Miami titolò “Caos al Campus”. (si veda clip). “Le tensioni sono in aumento all’Edison Senior High dopo che una manifestazione per i diritti degli studenti si è conclusa in uno scontro con la polizia”, ha detto il notiziario. Nell filmato sfocato si vedono adolescenti urlanti: “Il caos è scoppiato all’interno della caffetteria della scuola”. 

Gli studenti hanno detto ai giornalisti che la polizia li ha colpiti con manganelli, li ha gettati sul pavimento e li ha spinti contro i muri. La polizia ha affermato di essere stata attaccata a sua volta – con bottiglie d’acqua, bibite gassate, latte e così via – e ha chiesto l’intervento di emergenza. Circa 25 studenti sono stati arrestati e molti sono stati accusati di molteplici crimini, tra cui la resistenza a pubblico ufficiale. Per Milner, gli eventi di quel giorno e le implicazioni a lungo termine per gli arrestati hanno rappresentato un passaggio fondamentale nella sua vita.

Poco dopo, mentre era ancora a scuola, è diventata un’attivista a tempo pieno, attenta a documentare gli episodi di razzismo della polizia nei confronti degli studenti. Ora dirige Data for Black Lives, un’organizzazione di base per i diritti digitali di cui è stata cofondatrice nel 2017. Ciò che ha appreso da adolescente l’ha portata a una vita di lotta contro i  pregiudizi nel sistema di giustizia penale  e lo smantellamento di ciò che chiama il filo diretto tra scuola e prigione. “I dati sono sempre stati indirizzati contro le comunità nere”, ella afferma.

La disuguaglianza e gli abusi del potere di polizia non si verificano solo  per le strade  o durante le manifestazioni scolastiche. Per Milner e altri attivisti, l’attenzione è ora concentrata su dove esiste il maggior potenziale di danni duraturi, vale a dire gli strumenti di polizia predittiva e l’abuso di dati da parte delle forze di polizia. Numerosi studi hanno dimostrato che questi strumenti perpetuano il razzismo sistemico, eppure sappiamo ancora molto poco su come funzionano, chi li sta usando e per quale scopo. Tutto ciò deve cambiare.

Esistono due tipi generali di strumenti di polizia predittiva. Gli algoritmi basati sulla posizione si basano su collegamenti tra luoghi, eventi e registri di criminalità storica per prevedere dove e quando è più probabile che si verifichino reati, per esempio in determinate condizioni meteorologiche o in occasione di grandi eventi sportivi. Gli strumenti identificano i punti caldi e la polizia pianifica pattuglie attorno ai luoghi indicati. Uno dei più comuni, chiamato PredPol, utilizzato in decine di città negli Stati Uniti, suddivide le posizioni in blocchi di controllo e aggiorna le sue previsioni nel corso della giornata, in una sorta di previsioni del tempo applicate al crimine.

Altri strumenti attingono ai dati sulle persone, come età, genere, stato civile, storia di abuso di sostanze e precedenti penali, per prevedere chi ha un’alta probabilità di essere coinvolto in future attività criminali. Questi strumenti possono essere utilizzati dalla polizia, per intervenire prima che si verifichi un crimine, o dai tribunali, per determinare durante le udienze preliminari o la condanna se è probabile che qualcuno che è stato arrestato possa ricadere nello stesso reato. 

Uno strumento chiamato COMPAS, per esempio, che viene utilizzato in molte giurisdizioni per aiutare a prendere decisioni in merito al rilascio preliminare e alla condanna, emette un punteggio statistico compreso tra 1 e 10 per quantificare la probabilità che una persona debba essere arrestata nuovamente se rilasciata.

Il problema sta nei dati su cui si basano gli algoritmi. Per prima cosa, gli algoritmi predittivi sono facilmente distorti dalle percentuali di arresti. Secondo i dati del Dipartimento di Giustizia degli Stati Uniti, esistono più del doppio delle probabilità di essere arrestati se si è neri. Una persona di colore ha cinque volte più probabilità di essere fermata senza un motivo preciso rispetto a un bianco. L’arresto di massa a Edison Senior High è stato solo un esempio di un tipo di risposta sproporzionata della polizia che non è insolita nelle comunità nere.

I ragazzi che Milner ha visto arrestare hanno portato ad altre valutazioni parziali. I dati generati dai loro arresti sono stati inseriti in algoritmi che hanno coinvolto in modo sproporzionato tutti i giovani neri. Sebbene per legge gli algoritmi non utilizzino la “razza” come predittore, altre variabili, come lo sfondo socioeconomico, l’educazione e la residenza, fungono da indicatori. Anche senza considerare esplicitamente la “razza”, questi strumenti sono discriminatori.

Ecco perché, per molti, il problema è proprio il concetto stesso di polizia preventiva. La scrittrice e accademica  Dorothy Roberts, che studia legge e diritti sociali presso l’Università della Pennsylvania, lo ha messo bene in evidenza durante una  tavola rotonda online a giugno. “Il razzismo ha sempre riguardato i sistemi di previsione, il far sembrare certi gruppi razziali predisposti ad avere comportamenti ‘cattivi’ e quindi giustificare controllo esercitato su di loro”, ha spiegato.

Le valutazioni del rischio fanno parte del sistema di giustizia penale da decenni. Ma i dipartimenti di polizia e i tribunali hanno fatto maggiore uso di strumenti automatizzati negli ultimi anni, per due motivi principali. In primo luogo, i tagli al budget hanno portato a una spinta all’efficienza. “Le persone stanno chiedendo di tagliare i fondi alla polizia, ma è già stato fatto”, afferma Milner. “Le città sono allo stremo e hanno sostituito i poliziotti con gli algoritmi”. È difficile trovare cifre esatte, ma si ritiene che gli strumenti predittivi siano utilizzati dalle forze di polizia o dai tribunali nella maggior parte degli Stati Uniti. 

La seconda ragione del maggiore uso di algoritmi è la diffusa convinzione che siano più oggettivi degli umani. Sono stati introdotti, infatti, la prima volta per rendere più equo il processo decisionale nel sistema di giustizia penale. A partire dagli anni 1990, le prime tecniche automatizzate utilizzavano alberi decisionali basati su regole, ma oggi la previsione viene fatta con l’apprendimento automatico.

Tuttavia,  sempre più prove suggeriscono che i pregiudizi umani sono alla base di questi strumenti perché i modelli di apprendimento automatico sono formati su dati di polizia distorti. Lungi dall’evitare il razzismo, potrebbero semplicemente essere più bravi a nasconderlo. Molti critici ora vedono questi strumenti come  una forma di lavaggio tecnologico, in cui una parvenza di oggettività copre i meccanismi che perpetuano le disuguaglianze nella società.

“È solo negli ultimi anni che le opinioni delle persone su questi strumenti sono passate dal ritenerli qualcosa che avrebbe potuto alleviare il pregiudizio a qualcosa che lo potrebbe rinforzare”, afferma  Alice Xiang, un avvocato ed esperta di dati che guida la ricerca sull’equità, la trasparenza e la responsabilità al Partnership on AI. 

Questi pregiudizi sono ancora più radicati da quando la prima generazione di strumenti di previsione è apparsa 20 o 30 anni fa. “In primo luogo siamo partiti da dati errati e poi abbiamo usato gli strumenti per peggiorare le cose”, afferma  Katy Weathington, che studia i pregiudizi algoritmici all’Università del Colorado, a Boulder. 

Le cose potrebbero andare peggio. Sulla scia delle proteste sui pregiudizi della polizia  dopo la morte di George Floyd per mano di un ufficiale di polizia a Minneapolis, alcuni dipartimenti stanno raddoppiando il loro uso di strumenti predittivi. Un mese fa, il commissario del dipartimento di polizia di New York Dermot Shea ha inviato una lettera ai suoi ufficiali. “Nel clima attuale, dobbiamo combattere il crimine in modo diverso”, ha scritto. “Lo faremo con meno fermi e sfruttando al meglio i dati, l’intelligence e tutta la tecnologia a nostra disposizione, esponendoci in tal modo a meno pericoli e responsabilità”.

Alla polizia piace l’idea di strumenti che consentano loro di intervenire in anticipo perché pensano in tal modo di mantenere bassi i tassi di criminalità, afferma  Rashida Richardson, direttore della ricerca politica presso l’IA Now Institute. Ma in pratica, il loro uso può sembrare una forma di provocazione. I ricercatori hanno scoperto che alcuni dipartimenti di polizia forniscono agli ufficiali elenchi di persone definite come “più ricercate”, in quanto lo strumento le identifica come ad alto rischio. 

In altri stati, afferma Richardson, la polizia ha avvertito le persone nelle liste che erano ad alto rischio della possibilità di essere coinvolti in azioni e hanno chiesto loro di cercare di evitarlo. Se in seguito sono stati arrestati per qualsiasi tipo di crimine, i pubblici ministeri hanno utilizzato l’avvertimento precedente per chiedere accuse più elevate. “È quasi come una forma digitale di intrappolamento, in cui si danno alla gente alcune informazioni vaghe e poi le si usa contro di loro”, ella spiega.

Allo stesso modo, alcuni studi, tra cui  uno commissionato l’anno scorso dal Centre for Data Ethics and Innovation del governo britannico, suggeriscono che l’identificazione di alcune aree come punti caldi rende i funzionari di polizia più propensi a fermare o arrestare le persone in quelle zone, a causa dei pregiudizi e non delle situazioni reali. 

I problemi sono di diversi tipi

Inoltre, gli algoritmi sono stati elaborati a partire dai dati raccolti su popolazioni bianche al di fuori degli Stati Uniti, in parte perché è difficile ottenere i precedenti penali in diverse giurisdizioni statunitensi. Static 99, uno strumento progettato per prevedere la recidiva tra chi compie reati sessuali, è stato addestrato su dati del Canada, dove solo il 3 per cento circa della popolazione è nera rispetto al 12 per cento negli Stati Uniti. Diversi altri strumenti utilizzati negli Stati Uniti sono stati sviluppati in Europa, dove il 2 per cento della popolazione è nera. 

A causa delle differenze nelle condizioni socioeconomiche tra paesi e popolazioni, è probabile che gli strumenti siano meno precisi nei luoghi di cui ci sono meno dati a disposizione. Inoltre, alcuni algoritmi preliminari addestrati molti anni fa utilizzano ancora predittori obsoleti. Per esempio, alcuni prevedono ancora che un imputato che non ha un telefono fisso ha meno probabilità di presentarsi in tribunale.

Ma questi strumenti funzionano, anche se in modo imperfetto? Dipende da cosa si intende per “funzionare”. In generale è praticamente impossibile districare l’uso degli strumenti di polizia predittiva da altri fattori che influenzano i tassi di criminalità o di detenzione. Tuttavia, alcuni studi sono arrivati a delle conclusioni parziali che indicano come l’uso da parte dei tribunali di strumenti di valutazione del rischio ha avuto un impatto positivo limitato. 

Uno studio del 2016 su uno strumento di apprendimento automatico utilizzato in Pennsylvania per prendere decisioni sulla libertà condizionale  non ha trovato prove che mettesse a repentaglio la sicurezza pubblica (ovvero identificava correttamente le persone ad alto rischio che non dovevano essere rilasciate) e ha ottenuto alcune conferme che permettesse di identificare persone non violente che potevano usufruire del beneficio della libertà in sicurezza.

Un altro studio, nel 2018, ha esaminato uno strumento utilizzato dai tribunali del Kentucky  e ha scoperto che sebbene i punteggi di rischio fossero interpretati in modo incoerente tra le contee, il che ha portato a discrepanze in chi era e non era stato rilasciato, lo strumento avrebbe leggermente ridotto i tassi di detenzione in caso di uso corretto. Inoltre, l’American Civil Liberties Union riferisce che uno strumento di valutazione adottato nell’ambito del New Jersey Criminal Justice Reform Act del 2017 ha portato a un calo del 20 per cento del numero di persone incarcerate in attesa di processo.

I sostenitori di tali strumenti affermano che gli algoritmi possono essere più equi dei decisori umani, o almeno rendere esplicita l’ingiustizia. In molti casi, in particolare durante le udienze preliminari su cauzione, i giudici devono affrontare decine di casi in tempi strettissimi. In uno studio sulle udienze preliminari nella Contea di Cook, nell’Illinois, i ricercatori hanno scoperto che i giudici hanno dedicato in media solo 30 secondi a caso.

In tali condizioni, è ragionevole presumere che i giudici stiano prendendo decisioni rapide guidate almeno in parte dai loro pregiudizi personali. Melissa Hamilton, dell’Università del Surrey nel Regno Unito, che studia le questioni legali relative agli strumenti di valutazione del rischio, sostiene che il loro uso è fondamentale nella pratica.

Ma c’è un problema evidente. I dati sugli arresti utilizzati per addestrare gli strumenti predittivi non forniscono un quadro preciso dell’attività criminale.  Tuttavia, gli arresti non portano necessariamente a condanne. “Stiamo cercando di valutare le persone che commettono reati, ma tutto ciò che abbiamo sono i dati sugli arresti”, afferma Xiang.

Inoltre, questa tipologia di dati codifica modelli di comportamento della polizia su base razzista. Ci sono, infatti, maggiori probabilità di prevedere un elevato potenziale di criminalità nei quartieri delle minoranze o tra le minoranze. Anche quando i dati di arresto e criminalità coincidono, esistono una miriade di ragioni socioeconomiche per cui determinate popolazioni e determinati quartieri hanno tassi di criminalità storica più elevati rispetto ad altri. Inserire questi dati in strumenti predittivi consente al passato di modellare il futuro.

Alcuni strumenti usano anche dati su dove è stata fatta una chiamata alla polizia, il che è un riflesso ancora più debole dei modelli di crimine reali rispetto ai dati di arresto, e uno ancora più  deformato dai pregiudizi. Si consideri il caso di Amy Cooper, che ha chiamato la polizia semplicemente perché Christian Cooper, un uomo di colore, le ha chiesto di mettere il guinzaglio al cane nel Central Park di New York.

“Solo perché si dice che si è verificato un crimine non significa che qualcosa di simile si sia effettivamente verificato”, afferma Richardson. “Se la chiamata diventa un dato significativo per giustificare l’invio di poliziotti in un quartiere specifico o anche per colpire un individuo specifico, si ottiene un effetto di feedback in cui le tecnologie basate sui dati legittimano le politiche discriminatorie”.

Alcuni sistemi alternativi

Poiché più critici sostengono che questi strumenti non sono adatti allo scopo, sono state avanzate richieste di una produzione algoritmica in cui la distorsione nei dati sia in qualche modo controbilanciata. Un modo per farlo per gli algoritmi di valutazione del rischio, in teoria, sarebbe usare soglie differenziali: tre arresti per una persona di colore potrebbero indicare lo stesso livello di rischio come, diciamo, due arresti per una persona bianca. 

Questo è stato uno degli approcci esaminati in uno studio  pubblicato a maggio  da Jennifer Skeem, che studia politica pubblica presso l’Università della California, aBerkeley, e Christopher Lowenkamp, un esperto di scienze sociali presso l’ufficio amministrativo dei tribunali degli Stati Uniti a Washington, DC. La coppia ha esaminato tre diverse opzioni per rimuovere il pregiudizio negli algoritmi che avevano valutato il rischio di recidiva per circa 68.000 partecipanti, metà bianchi e metà neri e hanno scoperto che il miglior equilibrio è stato raggiunto quando gli algoritmi hanno preso esplicitamente in considerazione la “razza”, un metro di riferimento giuridicamente vietato – e hanno assegnato ai neri una soglia più alta rispetto ai bianchi per essere considerati ad alto rischio.

Naturalmente, questa idea è al centro di un acceso confronto. Significa essenzialmente manipolare i dati al fine di “condonare” una parte dei crimini sulla base della “razza” dell’autore, afferma Xiang. L’idea di attribuire a gruppi diversi standard diversi va contro il senso di equità di molte persone, anche se è fatto in un modo che dovrebbe tenere conto delle ingiustizie storiche. (Si può consultare la nostra  storia interattiva della distorsione algoritmica nella giustizia penale, che consente di sperimentare una versione semplificata dello strumento COMPAS).

Ad ogni modo, il sistema giudiziario americano non è pronto ad affrontare discussioni di questo tipo. “La professione legale è ancora molto indietro rispetto a questi strumenti di valutazione del rischio”, afferma Hamilton. Negli ultimi anni ha tenuto corsi di formazione per avvocati e ha scoperto che gli avvocati della difesa spesso non sono nemmeno consapevoli del fatto che i loro clienti vengano valutati in questo modo. “Se non si è consapevoli di qualcosa, difficilmente la si può affrontare”, ella spiega.

La mancanza di consapevolezza può essere comprensibile sulla base del quadro generale: le forze dell’ordine hanno sempre avuto problemi con queste tecnologie, rendendo molto difficile per chiunque valutare il loro funzionamento. Anche quando sono disponibili informazioni, è difficile collegare un sistema a un risultato. E i pochi studi dettagliati che sono stati fatti si concentrano su strumenti specifici e traggono conclusioni che potrebbero non essere applicabili ad altri sistemi o giurisdizioni.

Non è nemmeno chiaro quali strumenti vengono utilizzati e chi li sta usando. “Non sappiamo quanti dipartimenti di polizia abbiano utilizzato, o stiano attualmente utilizzando, modelli previsionali per i controlli”, afferma Richardson. Per esempio, il fatto che la polizia di New Orleans stesse usando uno strumento predittivo sviluppato da Palantir, un’azienda di software americana specializzata nell’analisi dei big data considerata il braccio tecnologico della CIA, è emerso solo dopo un’indagine di “The Verge”. E i registri pubblici mostrano che il dipartimento di polizia di New York ha pagato 2,5 milioni di dollari a Palantir senza una chiara motivazione

La maggior parte degli strumenti sono concessi in licenza ai dipartimenti di polizia da un mix eterogeneo di piccole imprese, autorità statali e ricercatori. Alcuni sono sistemi proprietari, altri no, e funzionano tutti in modi leggermente diversi. Hamid Khan, un attivista che ha combattuto per anni per convincere la polizia di Los Angeles ad abbandonare uno strumento predittivo chiamato PredPol, ha richiesto un controllo dello strumento da parte dell’ispettorato generale del dipartimento di polizia. Come ha dichiarato Khan, nel marzo del 2019 la risposta è stata che il compito era impossibile perché lo strumento era eccessivamente complicato.

Nel Regno Unito, Hamilton ha chiesto di esaminare uno strumento chiamato OASys, che – come COMPAS – è comunemente usato in udienze preliminari e per la concessione della libertà provvisoria. Chi produce OASys effettua i propri audit senza rilasciare particolari su come funziona, afferma Hamilton. La motivazione delle aziende è che non possono condividere informazioni perché rinuncerebbero a segreti commerciali o dati riservati sulle persone parte in causa.

Tutto ciò significa che solo alcuni sistemi sono stati studiati in dettaglio, anche se ci sono casi diversi. Static 99 è stato sviluppato da un gruppo di data scientist che ha condiviso i dettagli sui suoi algoritmi. Public Safety Assessment, uno degli strumenti di valutazione preliminare del rischio più comuni negli Stati Uniti, è stato originariamente sviluppato da Arnold Ventures, un’organizzazione privata, che ha ritenuto più facile convincere le giurisdizioni ad adottarlo rivelando alcuni dettagli del funzionamento, spiega Hamilton. Tuttavia, i produttori di entrambi gli strumenti si sono rifiutati di rilasciare i set di dati utilizzati per la formazione, che sarebbero necessari per comprendere appieno come si comporta il sistema.

Non solo c’è poca comprensione dei meccanismi interni di questi strumenti, ma i critici affermano che i dipartimenti di polizia e i tribunali non stanno facendo abbastanza per assicurarsi di acquistare strumenti che funzionino come previsto. Per il NYPD, l’acquisto di uno strumento di valutazione del rischio è soggetto alle stesse normative dell’acquisto di uno spazzaneve, afferma Milner. “La polizia acquista la tecnologia senza sapere cosa sta usando, non investendo tempo per garantire che possa essere utilizzata in sicurezza”, afferma Richardson. “E poi non ci sono audit o analisi in corso per determinare se funziona”.

I tentativi di cambiare hanno incontrato resistenze

Il mese scorso la città di New York ha  approvato il Public Oversight of Surveillance Technology (POST) , che impone al NYPD di elencare tutte le sue tecnologie di sorveglianza e di descrivere come incidono sui residenti della città. Il NYPD è il più grande corpo di polizia negli Stati Uniti e i sostenitori del disegno di legge sperano che la divulgazione contribuirà a fare luce anche su quali tecnologie stanno usando gli altri dipartimenti di polizia nel paese. 

Ma arrivare a questo punto non è stato facile. Richardson, che ha svolto il lavoro di patrocinio sul disegno di legge, lo seguiva fin dal 2017, fino a quando, negli ultimi mesi, le diffuse richieste di riforma della polizia hanno smosso la situazione. È stata la frustrazione nel cercare di trovare informazioni di base sulle pratiche digitali della polizia a New York che hanno portato Richardson a lavorare sulla proposta di legge. 

La polizia non aveva collaborato quando lei e i suoi colleghi volevano saperne di più sull’uso degli strumenti di sorveglianza da parte del NYPD. Le richieste della Freedom of Information Act della New York Civil Liberties Union erano cadute nel vuoto. Nel 2015, con l’aiuto del consigliere comunale Daniel Garodnik, Richardson ha avanzato una proposta di legge per affrontare il problema. 

“Si è verificata una decisa reazione da parte del NYPD, inclusa una campagna di disinformazione in cui si diceva che il disegno di legge avrebbe lasciato la città in mano ai terroristi”, afferma Richardson. “Non vi è stato alcun sostegno da parte del sindaco e del consiglio comunale”. 

Con i suoi problemi etici e la mancanza di trasparenza, l’attuale stato di polizia preventiva è un disastro. Ma cosa si può fare al riguardo? Xiang e Hamilton pensano che gli strumenti algoritmici abbiano il potenziale per essere più equi degli umani, a condizione che tutti coloro che sono coinvolti nello sviluppo e nell’uso siano pienamente consapevoli dei propri limiti e deliberatamente lavorino per renderli equilibrati.

Ma questa sfida non è solo tecnica. “È necessario intervenire sulla distorsione nei dati”, afferma Weathington. Ciò significa che definire un algoritmo equo non è qualcosa a cui gli scienziati informatici possono rispondere, afferma Xiang. “Non sono problemi risolvibili solo con formule matematiche”.

Hamilton è d’accordo. I gruppi per i diritti civili hanno una difficile scelta da fare, ella dice: “Se si è contrari alla valutazione del rischio, probabilmente più appartenenti alle minoranze finiranno in prigione. Se si accetta la valutazione del rischio, si diventa complici dei pregiudizi razziali negli algoritmi”. Ma questo non significa che non si possa fare nulla. Richardson afferma che i politici dovrebbero essere chiamati in causa per la loro “ignoranza tattica” sulle carenze di questi strumenti. Per esempio, il NYPD è stato coinvolto in  decine di azioni legali  riguardanti anni di operazioni di polizia discriminatorie. 

Yeshimabeit Milner è co-fondatore e direttore di Data for Black Lives, un collettivo di base di attivisti e scienziati informatici che usano i dati per riformare il sistema giudiziario criminale.

Per Milner, la chiave per realizzare il cambiamento è coinvolgere le persone più colpite. Nel 2008, dopo aver visto gli arresti dei ragazzi, Milner si è unita a un’organizzazione che ha intervistato circa 600 giovani sui loro rapporti con episodi di brutalità della polizia nelle scuole, e ha trasformato il tutto in un fumetto. I giovani di tutto il paese hanno usato questo strumento per iniziare a fare un lavoro simile nel luogo in cui vivevano.

Oggi la sua organizzazione, Data for Black Lives, coordina circa 4.000 ingegneri del software, matematici e attivisti nelle università e nei centri della comunità. Gli strumenti di valutazione del rischio non sono l’unico modo in cui l’uso improprio dei dati perpetua il razzismo sistemico, ma è uno di questi. “Non impediremo alle singole aziende private di sviluppare strumenti di valutazione del rischio, ma possiamo cambiare la cultura ed educare le persone, dare loro i modi per reagire”, sostiene Milner. 

Ad Atlanta stanno addestrando persone che hanno trascorso del tempo in prigione ad occuparsi di scienza dei dati, in modo che possano svolgere un ruolo nel riformare le tecnologie utilizzate dal sistema di giustizia penale. 

Nel frattempo, Milner, Weathington, Richardson e altri pensano che la polizia dovrebbe smettere di usare strumenti predittivi imperfetti fino a quando non si arriverà a un accordo per renderli più equi. Tutti vogliono che la società sia in grado di stabilire chi è un pericolo per gli altri. Ma sostituire un poliziotto o un giudice umano prevenuto con algoritmi che nascondono semplicemente quegli stessi pregiudizi non è la risposta giusta.

In ogni caso, ci vogliono anni per fare la differenza, affrontando resistenze ad ogni passo. Non è un caso che sia Khan che Richardson abbiano registrato i primi passi in avanti dopo settimane di indignazione a livello nazionale per la brutalità della polizia. “Le recenti rivolte hanno sicuramente favorito il nostro lavoro”, afferma Richardson. La pressione deve continuare, anche dopo che le marce si sono fermate. “Eliminare la distorsione dei dati non è una soluzione tecnica”, afferma Milner. “Ci vuole un cambiamento di politica più profondo”.

Immagine: Franziska Barczyk

(rp)

Related Posts
Total
0
Share