I ricercatori hanno dimostrato che i sistemi di intelligenza artificiale sanno riconoscere l’identità razziale nelle immagini mediche. Non è chiaro come sia possibile, ma questa capacità apre prospettive inquietanti
MIT Technology Review Italia
Quando gli algoritmi rispecchiano pensieri inconsci, razzismo e pregiudizi degli umani che li hanno generati, le conseguenze possono essere serie. I programmi per computer, per esempio, hanno segnalato, erroneamente, che gli imputati neri hanno il doppio delle probabilità di recidiva rispetto a qualcuno che è bianco. Un programma di AI per le previsioni dei costi sanitari, a sua volta, ha falsamente definito, a parità di malattia, i pazienti neri come più sani di quelli bianchi, poiché sono stati spesi meno soldi per loro.
Utilizzando set di dati privati e pubblici, un team del MIT ha esplorato le immagini mediche e ha scoperto che l’AI può prevedere accuratamente l’identità razziale dei pazienti dalle sole immagini mediche. I ricercatori hanno addestrato un modello di apprendimento profondo a identificare l’appartenenza razziale, bianca, nera o asiatica, anche se le immagini stesse non contenevano alcuna menzione esplicita della “razza” del paziente. Questa è un’impresa che anche i medici più esperti non possono fare, e non è chiaro come il modello sia stato in grado di farlo.
Nel tentativo di svelare e dare un senso all’enigmatico “come” di tutto ciò, i ricercatori hanno esaminato variabili come differenze nell’anatomia, densità ossea, risoluzione delle immagini e i raggi X del torace. “Questi modelli profondi”, afferma la coautrice dell’articolo Marzyeh Ghassemi, ricercatrice del Department of Electrical Engineering and Computer Science del MIT, “hanno mostrato prestazioni molto elevate. Il dato mi preoccupa perché le capacità ‘sovrumane’ sono molto più difficili da tenere sotto controllo e impedire loro di creare situazioni spiacevoli per le persone”.
In un contesto clinico, gli algoritmi possono aiutarci a dirci se un paziente è un candidato per la chemioterapia, determinare il triage dei pazienti o decidere se è necessario un trasferimento in terapia intensiva. “In genere si ritiene che gli algoritmi guardino solo ai segni vitali o ai test di laboratorio, ma è possibile che stiano anche valutando razza, etnia, sesso“, sostiene un altro degli autori dell’articolo Leo Anthony Celi, ricercatore dell’IMES al MIT.
Il team ha preso in considerazione una serie di elementi: differenze nelle caratteristiche fisiche tra i diversi gruppi razziali (habitus corporeo, densità del seno), distribuzione della malattia (studi precedenti hanno dimostrato che tra i pazienti neri si riscontra una maggiore incidenza di malattie cardiache), differenze specifiche dei tessuti, effetti di pregiudizi sociali e stress ambientale.
Quanto è emerso è stato davvero sbalorditivo: la capacità dei modelli di prevedere la “razza” dalle sole etichette diagnostiche era molto inferiore rispetto ai modelli basati su immagini a raggi X del torace. Per esempio, il test della densità ossea utilizzava immagini in cui la parte più spessa dell’osso appariva bianca e la parte più sottile appariva più grigia o traslucida. Gli scienziati hanno ipotizzato che, poiché i neri generalmente hanno una densità minerale ossea più elevata, le differenze di colore hanno aiutato i modelli di intelligenza artificiale a rilevare la razza.
Per non fornire questa indicazione, i ricercatori hanno ritagliato le immagini con un filtro, in modo che il modello non potesse colorare le differenze. Si è scoperto che la cancellazione dei colori non ha turbato il modello: poteva comunque prevedere con precisione la razza. Pertanto, le caratteristiche apprese del modello sembravano basarsi su tutte le regioni dell’immagine, il che significa che il controllo di questo tipo di comportamento algoritmico non è di facile soluzione.
Un altro lavoro di Ghassemi e Celi in collaborazione con Hammaad Adam del MIT ha mostrato che i modelli possono anche identificare la razza auto-riferita del paziente dalle note cliniche anche quando queste ultime non contengono indicatori espliciti della razza. Esattamente come nello studio precedente, gli esperti umani non sono in grado di prevedere con precisione la razza dei pazienti dalle note cliniche redatte.
L’assistenza sanitaria è un problema socio-culturale tanto quanto un problema medico. Secondo Celi, è necessario aprire alla collaborazione con altri esperti, in primis i data scientist, per valutare il modo di progettare, sviluppare e implementare gli algoritmi. Se non ci si muoverà in questa direzione, sarà quasi impossibile identificare le conseguenze indesiderate dei sistemi di AI.
Secondo Ziad Obermeyer, ricercatore dell’Università della California, a Berkeley, il fatto che gli algoritmi ‘vedano’ la razza è indubbiamente pericoloso, anche se è altrettanto vero che, se usati con attenzione, possono contribuire a contrastare i pregiudizi. “In un nostro studio”, afferma, “dimostriamo che gli algoritmi che apprendono dalle esperienze di dolore dei pazienti possono ricercare nei raggi X nuove cause dei problemi al ginocchio, una sintomatologia che si presenta in modo sproporzionato nei pazienti neri e ignorata spesso dai radiologi. Quindi, proprio come qualsiasi strumento, gli algoritmi possono essere una forza per il male o una forza per il bene, quale dipende da noi e dalle scelte che facciamo quando li costruiamo”.
Immagine: Jackson David on Unsplash
(rp)
