Uno studio dell’UC di Berkeley ha evidenziato i rischi insiti nell’utilizzo dei dati storici per addestrare algoritmi di apprendimento automatico per fare previsioni.
di Charlotte Jee
Secondo i ricercatori dell’UC Berkeley, il cui studio è stato pubblicato su “Science”, un algoritmo che molti operatori sanitari statunitensi usano per prevedere quali pazienti avranno più bisogno di cure mediche privilegia i pazienti bianchi rispetto ai neri. A conferma di ciò, le richieste di “bianchi” per terapie speciali per problemi renali o legati al diabete hanno avuto un’impennata.
I ricercatori hanno analizzato quasi 50.000 registrazioni in un grande ospedale universitario, di cui non è stato divulgato il nome, e hanno scoperto che ai pazienti bianchi sono stati assegnati punteggi di rischio più elevati e una maggiore possibilità di essere selezionati per cure extra (come più assistenza o appuntamenti dedicati), rispetto ai pazienti neri che erano nelle stesse condizioni. Secondo i ricercatori, il pregiudizio ha ridotto della metà la percentuale di pazienti neri che sono entrati a far parte del programma medico.
In nome del software non è stato comunicato, ma il “Washington Post” parla di Optum, dell’azienda di assistenza sanitaria UnitedHealth: un prodotto che coinvolge “oltre 70 milioni di vite”. Sebbene i ricercatori si siano concentrati solo su uno strumento particolare, hanno identificato lo stesso difetto nei 10 algoritmi più utilizzati nel settore. Ogni anno, questi strumenti vengono applicati collettivamente a circa 200 milioni di persone negli Stati Uniti.
La “razza” non è stata un fattore nel processo decisionale dell’algoritmo (sarebbe illegale), ma è stata utilizzata la storia medica dei pazienti per prevedere quanto l’assistenza avrebbe potuto costare al sistema sanitario. Il costo, però, non è un sistema di misura neutro: per ragioni socioeconomiche e di altro tipo, i pazienti neri hanno storicamente sostenuto costi sanitari inferiori rispetto ai pazienti bianchi nelle stesse condizioni di salute. Di conseguenza, l’algoritmo ha attribuito ai pazienti bianchi gli stessi punteggi dei pazienti neri che erano significativamente più malati.
I ricercatori hanno modificato Optum per correggere il problema. Hanno ridotto la disparità di oltre l’80 per cento, creando una versione che prevede sia i costi futuri di un paziente sia il numero di volte in cui una condizione cronica potrebbe avere sviluppi nel corso di qualche mese. Quindi la distorsione algoritmica può essere corretta, se si vuole intervenire.
Lo studio è un’ennesima conferma delle insidie legate a un modo di allocare le risorse che si affida alle raccomandazioni degli algoritmi. Questo tipo di problemi si sta manifestando non solo nella sanità, ma anche nei sistemi di assunzione, nella valutazione del credito, nelle assicurazioni e nella giustizia penale.
(rp)
