Alcune aziende stanno lavorando per risolvere il problema.
Secondo recenti studi, alcuni chatbot basati sull’intelligenza artificiale si affidano a ricerche errate tratte da articoli scientifici ritirati per rispondere alle domande. I risultati, confermati da MIT Technology Review, sollevano interrogativi sull’affidabilità degli strumenti di intelligenza artificiale nella valutazione della ricerca scientifica e potrebbero complicare gli sforzi dei paesi e delle industrie che cercano di investire in strumenti di IA per gli scienziati.
È già noto che gli strumenti di ricerca e i chatbot basati sull’intelligenza artificiale creano link e riferimenti fittizi. Ma anche le risposte basate su materiale proveniente da articoli reali possono essere fuorvianti se tali articoli sono stati ritirati. Il chatbot “utilizza un articolo reale, materiale reale, per dirti qualcosa”, afferma Weikuan Gu, ricercatore medico presso l’Università del Tennessee a Memphis e autore di uno dei recenti studi. Tuttavia, aggiunge, se le persone guardano solo il contenuto della risposta e non cliccano sull’articolo per vedere che è stato ritirato, questo è davvero un problema.
Gu e il suo team hanno posto a ChatGPT di OpenAI, basato sul modello GPT-4o, domande basate sulle informazioni contenute in 21 articoli ritirati riguardanti l’imaging medico. Le risposte del chatbot facevano riferimento ad articoli ritirati in cinque casi, ma consigliavano cautela solo in tre. Sebbene per altre domande citasse articoli non ritirati, gli autori osservano che potrebbe non aver riconosciuto lo stato di ritiro degli articoli. In uno studio condotto ad agosto, un altro gruppo di ricercatori ha utilizzato ChatGPT-4o mini per valutare la qualità di 217 articoli ritirati e di bassa qualità provenienti da diversi campi scientifici; hanno scoperto che nessuna delle risposte del chatbot menzionava ritiri o altre preoccupazioni. (Non sono stati pubblicati studi simili su GPT-5, uscito ad agosto).
Il pubblico utilizza i chatbot basati sull’intelligenza artificiale per chiedere consigli medici e diagnosticare condizioni di salute. Studenti e scienziati utilizzano sempre più spesso strumenti di intelligenza artificiale incentrati sulla scienza per esaminare la letteratura scientifica esistente e riassumere articoli. Questo tipo di utilizzo è destinato ad aumentare. La National Science Foundation degli Stati Uniti, ad esempio, ha investito 75 milioni di dollari nella creazione di modelli di intelligenza artificiale per la ricerca scientifica lo scorso agosto.
“Se [uno strumento] è destinato al grande pubblico, allora è molto importante utilizzare la ritrattazione come indicatore di qualità”, afferma Yuanxi Fu, ricercatrice di scienze dell’informazione presso l’Università dell’Illinois Urbana-Champaign. C’è “una sorta di accordo sul fatto che gli articoli ritirati siano stati cancellati dai registri scientifici”, afferma, “e le persone che non appartengono al mondo scientifico dovrebbero essere avvertite che si tratta di articoli ritirati”. OpenAI non ha fornito una risposta alla richiesta di commento sui risultati dell’articolo.
Il problema non è limitato a ChatGPT. A giugno, MIT Technology Review ha testato strumenti di IA specificamente pubblicizzati per il lavoro di ricerca, come Elicit, Ai2 ScholarQA (ora parte dello strumento Asta dell’Allen Institute for Artificial Intelligence), Perplexity e Consensus, utilizzando domande basate sui 21 articoli ritirati nello studio di Gu. Elicit ha fatto riferimento a cinque degli articoli ritirati nelle sue risposte, mentre Ai2 ScholarQA ne ha citati 17, Perplexity 11 e Consensus 18, tutti senza segnalarne il ritiro.
Da allora alcune aziende hanno preso provvedimenti per correggere il problema. “Fino a poco tempo fa, il nostro motore di ricerca non disponeva di dati completi sulle ritrattazioni”, afferma Christian Salem, cofondatore di Consensus. La sua azienda ha ora iniziato a utilizzare dati sulle ritrattazioni provenienti da una combinazione di fonti, tra cui editori e aggregatori di dati, web crawling indipendente e Retraction Watch , che cura e mantiene manualmente un database delle ritrattazioni. In un test sugli stessi articoli condotto ad agosto, Consensus ha citato solo cinque articoli ritirati.
Elicit ha dichiarato a MIT Technology Review che rimuove dal proprio database gli articoli ritirati segnalati dal catalogo di ricerca accademica OpenAlex e che sta “ancora lavorando all’aggregazione delle fonti di ritrattazione”. Ai2 ci ha comunicato che il proprio strumento attualmente non rileva né rimuove automaticamente gli articoli ritirati. Perplexity ha affermato di “non aver mai affermato di essere accurato al 100%”.
Tuttavia, affidarsi ai database delle ritrattazioni potrebbe non essere sufficiente. Ivan Oransky, cofondatore di Retraction Watch, è cauto nel descriverlo come un database completo, affermando che crearne uno richiederebbe più risorse di quante chiunque ne disponga: “Il motivo per cui richiede molte risorse è che, se si vuole che sia accurato, qualcuno deve fare tutto a mano”.
A complicare ulteriormente la questione è il fatto che gli editori non condividono un approccio uniforme alle notifiche di ritiro. “Quando qualcosa viene ritirato, può essere contrassegnato in modi molto diversi”, afferma Caitlin Bakker dell’Università di Regina, in Canada, esperta di strumenti di ricerca e scoperta. “Correzione”, “espressione di preoccupazione”, “errata corrige” e “ritirato” sono alcune delle etichette che gli editori possono aggiungere agli articoli di ricerca, e queste etichette possono essere aggiunte per molte ragioni, tra cui preoccupazioni relative al contenuto, alla metodologia e ai dati o alla presenza di conflitti di interesse.
Alcuni ricercatori distribuiscono i loro articoli su server di preprint, archivi di articoli e altri siti web, causando la dispersione delle copie sul web. Inoltre, i dati utilizzati per addestrare i modelli di IA potrebbero non essere aggiornati. Se un articolo viene ritirato dopo la data limite di addestramento del modello, le sue risposte potrebbero non riflettere istantaneamente ciò che sta accadendo, afferma Fu. La maggior parte dei motori di ricerca accademici non effettua un controllo in tempo reale dei dati relativi ai ritiri, quindi si è in balia dell’accuratezza del loro corpus, afferma Aaron Tay, bibliotecario presso la Singapore Management University.
Oransky e altri esperti sostengono la necessità di rendere disponibile più contesto ai modelli da utilizzare nella creazione di una risposta. Ciò potrebbe significare pubblicare informazioni già esistenti, come le revisioni tra pari commissionate dalle riviste e le critiche del sito di revisione PubPeer, insieme all’articolo pubblicato.
Molti editori, come Nature e BMJ, pubblicano avvisi di ritrattazione come articoli separati collegati all’articolo, al di fuori dei paywall. Fu afferma che le aziende devono utilizzare in modo efficace tali informazioni, così come qualsiasi articolo di cronaca nei dati di addestramento di un modello che menzioni la ritrattazione di un articolo.
Gli utenti e i creatori di strumenti di IA devono fare le dovute verifiche. “Siamo in una fase molto, molto iniziale, ed è essenziale essere scettici”, afferma Tay.
Ananya è una giornalista freelance specializzata in scienza e tecnologia con sede a Bengaluru, in India.
