Prima di farne un utilizzo generalizzato e di capire se fa la differenza, è necessario sperimentare gli strumenti di intelligenza artificiale nel contesto reale, in particolar modo nell’assistenza sanitaria.
La pandemia di covid-19 sta trascinando le strutture ospedaliere al punto di rottura in molti paesi del mondo. Non sorprende quindi che molte persone sperino che l’IA possa accelerare lo screening dei pazienti e alleggerire il peso del lavoro del personale clinico. Ma uno studio di Google Health, il primo a esaminare l’impatto di uno strumento di apprendimento profondo in contesti clinici reali, rivela che anche i sistemi di IA più accurati possono peggiorare le situazioni, se non adattati agli ambienti clinici in cui vengono adottati.
Le norme esistenti per l’implementazione dell’IA in contesti clinici, come gli standard per l’autorizzazione FDA negli Stati Uniti o un marchio CE in Europa, si concentrano principalmente sull’accuratezza. Non ci sono requisiti espliciti per cui un’intelligenza artificiale deve portare vantaggi per i pazienti, soprattutto perché tali studi non sono ancora stati eseguiti. Ma è ora di cambiare, afferma Emma Beede, ricercatrice di Google Health.
La prima opportunità di Google per testare lo strumento in un ambiente reale è arrivata dalla Tailandia. Il ministero della salute di questo paese ha fissato un obiettivo annuale per lo screening del 60 per cento delle persone con retinopatia diabetica, che può causare cecità se non diagnosticata in anticipo. Ma con circa 4,5 milioni di pazienti e soli 200 specialisti della retina – circa il doppio del rapporto rispetto a gli Stati Uniti – le cliniche stanno lottando per raggiungere l’obiettivo.
Google ha ottenuto il marchio CE, che copre la Tailandia, ma è ancora in attesa dell’approvazione della FDA. Quindi, per vedere se l’IA potrebbe essere d’aiuto, Beede e i suoi colleghi hanno fornito a 11 cliniche in tutto il paese un sistema di apprendimento profondo addestrato per individuare i segni di malattie degli occhi nei pazienti con diabete.
Nel sistema che la Tailandia stava usando, gli infermieri scattavano foto degli occhi dei pazienti durante i controlli e li inviavano per essere esaminati da uno specialista altrove, una procedura che può richiedere fino a 10 settimane. L’intelligenza artificiale sviluppata da Google Health è in grado di identificare i segni della retinopatia diabetica da una scansione oculare con un’accuratezza superiore al 90 per cento – che il team chiama “livello specialistico umano” – e, in linea di principio, può dare un risultato in meno di 10 minuti. Il sistema analizza le immagini per indicatori rivelatori della condizione, come vasi sanguigni bloccati o danneggiati.
Sembra impressionante. Ma una valutazione di accuratezza in un laboratorio non dice nulla su come l’IA si comporterà nel caos di un ambiente reale, e questo è ciò che il team di Google Health voleva scoprire. Per diversi mesi hanno osservato gli infermieri che eseguivano scansioni oculari e li hanno intervistati sulle loro esperienze usando il nuovo sistema. Il feedback non è stato del tutto positivo.
Quando ha funzionato bene, l’IA ha accelerato le cose. Ma a volte non è riuscita a rispondere a tutti. Come la maggior parte dei sistemi di riconoscimento delle immagini, il modello di apprendimento profondo era stato addestrato su scansioni di alta qualità; per garantire l’accuratezza, è stato progettato per rifiutare le immagini che sono al di sotto di una certa soglia di qualità. Con gli infermieri che scansionano dozzine di pazienti all’ora e spesso scattano foto in condizioni di scarsa illuminazione, oltre un quinto delle immagini sono state respinte.
Ai pazienti le cui immagini sono state rifiutate dal sistema è stato detto che avrebbero dovuto farsi visitare da uno specialista in un’altra clinica un altro giorno. Se avevano difficoltà a prendersi del tempo libero dal lavoro o non avevano un’auto, questo era ovviamente scomodo. Le infermiere si sentivano frustrate, soprattutto perché pensavano di aver perso tempo.
Poiché il sistema carica le immagini sul cloud per l’elaborazione, anche le deboli connessioni Internet in diverse cliniche hanno causato ritardi. “I pazienti vorrebbero subito i risultati, ma Internet è lento e loro si lamentano”, ha detto un’infermiera. “Stanno aspettando qui dalle 6 del mattino, e per le prime due ore abbiamo potuto selezionare solo 10 pazienti”.
Il team di Google Health sta ora lavorando con il personale medico locale per progettare nuove metodologie di lavoro. Per esempio, gli infermieri potrebbero seguire dei corsi per esprimere un parere nei casi limite e il modello stesso potrebbe essere ottimizzato per gestire al meglio le immagini imperfette.
Il rischio di un contraccolpo
“Questo è uno studio cruciale per chiunque sia interessato a ‘sporcarsi le mani’ e ad implementare effettivamente soluzioni di intelligenza artificiale in contesti del mondo reale”, afferma Hamid Tizhoosh dell’Università di Waterloo in Canada, che lavora sull’intelligenza artificiale per l’imaging medico. Tizhoosh è molto critico nei confronti di ciò che vede come una corsa all’annuncio di nuovi strumenti di intelligenza artificiale in risposta a covid-19.
In alcuni casi, egli afferma, vengono sviluppati strumenti e rilasciati modelli da team senza esperienza nel campo sanitario. Michael Abramoff, oculista e informatico presso l’University of Iowa Hospitals and Clinical, ha sviluppato uno strumento di intelligenza artificiale per la diagnosi della malattia della retina da diversi anni ed è CEO di IDx Technologies, una startup che ha collaborato con IBM Watson.
Abramoff è stato un sostenitore convinto dell’IA sanitaria in passato, ma mette in guardia da una corsa avventata, per il timore di un contraccolpo negativo nel caso le persone abbiano brutte esperienze con l’IA. “Sono felice che Google esamini il flusso di lavoro effettivo nelle cliniche”, egli sostiene.
Abramoff mette anche in dubbio l’utilità di confrontare gli strumenti di intelligenza artificiale con gli specialisti umani quando si tratta di precisione. Certo, la precisione è importante, ma i medici spesso non sono d’accordo tra loro e questo aiuta a migliorarsi. Un sistema di intelligenza artificiale deve adattarsi a un processo in cui vengono discusse le fonti di incertezza invece di limitarsi a respingerle.
I vantaggi potrebbero essere enormi. Quando ha funzionato bene, Beede e i suoi colleghi hanno visto come l’IA ha migliorato le prestazioni del personale. “Un’infermiera ha controllato 1.000 pazienti da sola, e con questo strumento è inarrestabile”, egli dice. “Ai pazienti non importava davvero che si trattasse di un’intelligenza artificiale invece di un essere umano che leggeva le loro immagini. A loro importava il risultato”.
Immagine: Wikimedia Commons
(rp)