Se la comunità scientifica comunità ritiene che l’obiettivo della ricerca sia lo sviluppo di un algoritmo o di una procedura o di una nuova architettura di rete, si rischia di perdere di vista ciò che è realmente importante.
di Hannah Kerner
Qualsiasi ricercatore attento alle ricadute dell’apprendimento automatico sul mondo reale si è probabilmente trovato di fronte a un’affermazione simile: “Gli autori presentano una soluzione originale del problema, ma si tratta di un’applicazione il cui significato sembra poco rilevante per il mondo dell’apprendimento automatico”.
Queste parole provengono direttamente da una recensione che ho ricevuto per un articolo che ho inviato alla conferenza NeurIPS (Neural Information Processing Systems), una delle sedi all’avanguardia per la ricerca sull’apprendimento automatico. Mi è riecheggiato in mente più volte questo ritornello nelle recensioni di articoli in cui i miei coautori ed io abbiamo presentato un metodo legato a un’applicazione, e ho sentito storie simili da innumerevoli altri.
Mi viene quindi da pensare: se la comunità ritiene che l’obiettivo di risolvere i problemi del mondo reale con l’apprendimento automatico sia di importanza limitata, allora quale obiettivo stiamo perseguendo? Lo scopo dell’intelligenza artificiale è spingere in avanti la frontiera.dell’intelligenza automatica. In questo settore, un nuovo sviluppo di solito significa un algoritmo o una procedura originali o, nel caso dell’apprendimento profondo, una nuova architettura di rete.
Come altri hanno sottolineato, questo iperfocus su nuovi metodi porta a una pletora di documenti che riportano miglioramenti marginali o incrementali sui set di dati di benchmark e mostrano studi sterilmente accademici mentre i ricercatori lottano per raggiungere il primato. Nel frattempo, molti documenti che descrivono nuove applicazioni presentano sia nuovi concetti sia risultati particolarmente significativi.
Ma anche un solo accenno alla parola “applicazione” sembra vanificare gli studi fatti agli occhi dei revisori. Di conseguenza, tale ricerca viene marginalizzata nelle principali conferenze. L’unica vera speranza dei loro autori è che i loro articoli siano accettati nei seminari, che raramente ottengono la stessa attenzione da parte della comunità.
Si tratta di un problema serio perché l’apprendimento automatico è una grande promessa per il progresso della salute, dell’agricoltura, della scoperta scientifica e altro ancora. La prima immagine di un buco nero è stata prodotta utilizzando l’apprendimento automatico. Le previsioni più accurate delle strutture proteiche, un passo importante per la scoperta di farmaci, vengono effettuate utilizzando l’apprendimento automatico. Se altri nel campo avessero dato la priorità alle applicazioni del mondo reale, forse saremmo molto più avanti.
Non è una rivelazione del tutto nuova. Per citare un classico articolo intitolato Machine learning that matters, dello scienziato informatico della NASA Kiri Wagstaff: “Gran parte dell’attuale ricerca sull’apprendimento automatico ha perso la sua connessione a problemi significativi per il mondo della scienza e della società”. Lo stesso anno in cui Wagstaff ha pubblicato il suo articolo, una rete neurale convoluzionale chiamata AlexNet ha vinto un concorso di alto profilo per il riconoscimento delle immagini incentrato sul popolare set di dati di ImageNet, portando a un’esplosione di interesse per l’apprendimento profondo. Sfortunatamente, la disconnessione che ha descritto sembra essere diventata più profonda da allora.
Le domande sbagliate
La marginalizzazione della ricerca sulle applicazioni ha conseguenze reali. Set di dati di benchmark, come ImageNet o COCO, sono stati fondamentali per far progredire l’apprendimento automatico in quanto consentono agli algoritmi di addestrarsi e di essere confrontati sugli stessi dati. Tuttavia, questi set di dati contengono pregiudizi che possono essere incorporati nei modelli risultanti.
Per esempio, più della metà delle immagini di ImageNet provengono dagli Stati Uniti e dalla Gran Bretagna. Questo squilibrio porta i sistemi a classificare in modo impreciso i contenuti in categorie che differiscono in base alla provenienza geografica. I set di dati sui volti più diffusi, come il database dei volti di AT&T, contengono principalmente soggetti di sesso maschile dalla pelle chiara, il che porta a sistemi che hanno difficoltà riconoscere i volti di pelle scura e femminili.
Se gli studi sulle applicazioni del mondo reale dell’apprendimento automatico sono esclusi dal mainstream, è difficile per i ricercatori vedere l’impatto dei loro modelli distorti, rendendo improbabile che si prenda coscienza dei problemi e si cerchi di risolverli.
Uno dei motivi per cui la ricerca sulle applicazioni è ridotta al minimo potrebbe essere che gli esperti di machine learning pensino che questo lavoro consista semplicemente nell’applicazione di metodi già esistenti. In realtà, adattare gli strumenti di apprendimento automatico a problemi specifici del mondo reale richiede un lavoro algoritmico e ingegneristico di alto livello.
I ricercatori di machine learning che non se ne rendono conto e si aspettano che gli strumenti siano “pronti all’uso”, spesso finiscono per creare modelli inefficaci o valutano le prestazioni di un modello utilizzando metriche che non si traducono in un impatto sul mondo reale o scelgono del tutto l’obiettivo sbagliato.
Per esempio, la maggior parte degli studi che applicano l’apprendimento profondo all’analisi dell’ecocardiogramma cercano di essere più bravi dei medici nel prevedere la malattia. Ma l’analisi delle normali funzioni cardiache farebbe risparmiare più tempo ai cardiologi, permettendo di identificare i pazienti che non hanno bisogno di altri interventi. Molti studi che applicano l’apprendimento automatico alla viticoltura mirano a ottimizzare la resa dell’uva, ma i produttori di vino “vogliono i giusti livelli di zucchero e acido, non solo grandi bacche acquose”, afferma Drake Whitcraft della Whitcraft Winery, in California.
La ricerca sta girando a vuoto
Un altro motivo per cui la ricerca sulle applicazioni dovrebbe essere importante per il mainstream del machine learning è che i set di dati di benchmark sul campo sono poco in contatto con la realtà. I nuovi modelli di apprendimento automatico vengono misurati rispetto a set di dati ampi e curati e fanno riferimento a categorie ben definite ed etichettate in modo esplicito (gatto, cane, uccello). L’apprendimentoprofondo funziona bene per questi problemi perché presuppone un mondo in gran parte stabile.
Ma nel mondo reale, queste categorie cambiano costantemente nel tempo o in base al contesto geografico e culturale. Sfortunatamente, la risposta non è stata quella di sviluppare nuovi metodi che affrontino la variabilità dei dati del mondo reale, ma si è verificata tra i ricercatori delle applicazioni una tendenza a creare i propri set di dati di benchmark.
L’obiettivo di questi tentativi è essenzialmente quello di inserire i problemi del mondo reale nel paradigma che altri ricercatori di machine learning utilizzano per misurare le prestazioni. Ma è probabile che i set di dati specifici del dominio non siano migliori delle versioni esistenti nel rappresentare scenari del mondo reale. I risultati potrebbero fare più danni che altro. Le persone che potrebbero usufruire del lavoro di questi ricercatori rimarranno disilluse dalle tecnologie che funzionano male in caso di necessità.
A causa delle priorità sbagliate del settore, chi sta cercando di affrontare le più grandi sfide del mondo non sta beneficiando quanto potrebbe dell’AI. Mentre i ricercatori cercano di superarsi a vicenda su benchmark artificiosi, una persona su nove nel mondo muore di fame, la Terra si sta riscaldando e i livelli dei mari stanno aumentando a una velocità allarmante.
Come ha scritto il neuroscienziato e protagonista dell’AI, Gary Marcus: “I più grandi contributi dell’AI alla società potrebbero e dovrebbero in definitiva arrivare in domini come la scoperta scientifica automatizzata, portando tra l’altro alla definizione di modelli medici molto più sofisticati di quanto sia attualmente possibile. Ma per arrivarci dobbiamo assicurarci che il campo nel suo insieme non rimanga bloccato al livello più basso”.
Affinché il mondo tragga vantaggio dall’apprendimento automatico, la comunità deve chiedersi nuovamente, come disse una volta Wagstaff: “Quale obiettivo dobbiamo conseguire?” Se la risposta è avere un impatto positivo nel mondo, dobbiamo cambiare il modo in cui pensiamo alle applicazioni.
Hannah Kerner è professore associato dell’Università del Maryland, a College Park. Studia metodi di apprendimento automatico per applicazioni di telerilevamento nel monitoraggio agricolo e nella sicurezza alimentare nell’ambito del programma Harvest della NASA.
Immagine di: Ms Tech / Getty
(rp)
