Modelli AI utili o capaci?

Il paradosso dei benchmark nello sviluppo dell’Intelligenza Artificiale.

Come sappiamo, l’intelligenza artificiale si trova oggi in una fase particolare, in cui convive una duplice natura: da un lato, l’IA è un programma di ricerca, come lo è stato per settant’anni, che si è dato l’obiettivo di usare la computazione per studiare e riprodurre e l’intelligenza umana. Dall’altro lato, e questo è successo negli ultimi anni, l’IA è diventata un business globale, in cui le aziende che creano i modelli (e quelle che li usano) cercano di vendere l’intelligenza artificiale come prodotto a consumatori e imprese, promettendo strumenti sempre più potenti e versatili.

Questi due mondi, quello della ricerca e quello commerciale, hanno obiettivi diversi e non sempre allineati, soprattutto quando convivono negli stessi attori, da OpenAI e Anthropic a Microsoft e Google.

Il fatto che i soggetti privati produttori di modelli si sentano parte della comunità scientifica sembra indiscutibile. Da un lato, alla comunità scientifica sembrano partecipare attivamente, come si vede dal numero di pubblicazioni che derivano dai grandi laboratori di IA. Dall’altro, della comunità scientifica sembrano adottare metodo sperimentale e pratiche di confronto pubblico consolidate, come l’utilizzo di benchmark standard per valutare le prestazioni.

Ovviamente, scienza e business non sono proprio allineati, e i benchmark, strumenti fondamentali per misurare e confrontare i progressi nei modelli, sono spesso usati al servizio dell’interesse commerciale, con risultati non sempre chiari, pubblici e riproducibili. Ma il vero problema non è questo. Il problema è che l’eccellenza nei test di laboratorio non garantisce automaticamente il successo sul mercato: è evidente che un modello IA può ottenere punteggi straordinari nei benchmark e allo stesso tempo rivelarsi poco utile, inefficace o persino frustrante nell’uso reale. Il benchmark appartiene alla sfera della ricerca (e va eventualmente valutato con i parametri della ricerca), non a quello dell’utilizzo commerciale, che va valutato con il valore percepito dagli utenti (paganti o no) nella loro esperienza di uso non tanto del modello, ma del prodotto, basato sul modello, a cui accedono.

Non bisognerebbe, quindi, confondere il successo nella ricerca con il successo commerciale: un modello che eccelle nei test potrebbe comunque fallire nel fornire valore ai suoi utenti, esattamente come accadde con Betamax, tecnologicamente superiore al VHS, ma sconfitto dal mercato.

Ecco perché oggi vale la pena interrogarsi: un’IA può essere troppo intelligente per il suo stesso bene?

Che cosa sono i benchmark e dove trovarli

Un benchmark è un test standardizzato, usato per valutare e confrontare le prestazioni dei modelli su specifici compiti, come il riconoscimento del linguaggio, il ragionamento logico o la generazione di codice. Serve in primo luogo a misurare i progressi della ricerca e a fornire un riferimento oggettivo per confrontare diversi modelli tra loro.

Questi sono alcuni dei benchmark più usati, di solito presenti nelle model card dei modelli fondazionali:

MMLU: Valuta la conoscenza generale con domande a scelta multipla.

Chi ha scritto Il Principe?

1. A) Machiavelli, B) Dante, C) Petrarca, D) Boccaccio

GPQA: Valuta la conoscenza specialistica con domande a scelta multipla.

Quale dei seguenti processi è responsabile della trascrizione del DNA in RNA?

1. A) Replicazione, B) Trascrizione, C) Traduzione, D) Mutazione

MATH: Problemi di matematica con scelta multipla.

Se x^2 – 5x + 6 = 0 quali sono i valori di x?

1. A) 2 e 3, B) 1 e 6, C) 5 e 0, D) 4 e 2

HumanEval: generazione di codice

(gli esempi sono complicati, vedi il paper Chen et al 2021)

SimpleQA: Domande aperte con risposte brevi su fatti verificabili.

In quale giorno, mese e anno l’album Cry Pretty di Carrie Underwood è stato certificato Oro dalla RIAA?

Consideriamo ora questi risultati, estratti dal repository Simple-Evals, pubblicato su GitHub da OpenAI come libreria open source per valutare le prestazioni dei modelli linguistici.

Dalla tabella emerge che su molti benchmark tradizionali i modelli più avanzati ottengono punteggi elevati (spesso superiori all’80-90%). Ad esempio, o3-mini-high raggiunge ~98% su HumanEval e ~92% su MGSM​, mentre GPT-4.5-preview ottiene intorno all’87-90% su compiti come MMLU, MATH e MGSM​.

Tuttavia, spicca il dato di SimpleQA, dove le performance calano drasticamente. Anche modelli di punta come GPT-4 si fermano a circa il 40% di accuratezza su SimpleQA​ e modelli più piccoli come o3-mini raggiungono appena il 13%​ e scendono perfino sotto il 10% (ad es. o1-mini), indice della grande difficoltà posta da questo benchmark rispetto agli altri. Da notare che GPT 4.5, l’ultimo modello rilasciato da OpenAI, si comporta decisamente meglio, con un’accuratezza del 62,5%, ma questo vuol sempre dire che su 100 domande, quasi 40 sono errate, un risultato decisamente peggiore di quello ottenuto sugli altri test, apparentemente più complicati.

Perché SimpleQA è così difficile?

Il benchmark SimpleQA (Wei et al 2024) è stato progettato appositamente per valutare la fattualità delle risposte dei modelli, ovvero la loro capacità di fornire risposte corrette e prive di “allucinazioni” a domande di fatto brevi​ e sembra evidente che, ad oggi, questa capacità sia ancora piuttosto scarsa. La domanda da porsi è perché mai sia così: come mai un modello che risponde quasi come un PhD a domande con risposta multipla su una materia come la chimica, si comporta così male su SimpleQA? Le cause sono probabilmente molteplici:

• Difficoltà intrinseca del dataset: SimpleQA è stato costruito per essere sfidante per i modelli di frontiera, evitando il problema di saturazione di benchmark più datati come TriviaQA o Natural Questions. La saturazione di benchmark si verifica quando i modelli di intelligenza artificiale raggiungono prestazioni così elevate su un benchmark specifico da renderlo poco utile per misurare ulteriori progressi. In altre parole, il test non è più discriminante perché i migliori modelli ottengono punteggi vicini al massimo possibile, riducendo la sua capacità di distinguere tra nuove innovazioni e semplici miglioramenti marginali. Le cause della saturazione sono di solito di tre tipi: eccessiva semplicità del test, Overfitting sul benchmark (i modelli sono ottimizzati specificamente per i test, imparando pattern specifici invece di sviluppare capacità generalizzabili), i dati sono diventati pubblici (se un benchmark è stato usato a lungo e i suoi dati sono ben noti, i modelli possono “memorizzarlo” invece di imparare a risolvere problemi simili in generale).
• Domande mirate a provocare allucinazioni: Nel processo di creazione, “la maggior parte delle domande [di SimpleQA] è stata scelta in modo da indurre allucinazioni” nei modelli come GPT-4 o GPT-3.5​. In altre parole, gli esempi sono stati selezionati proprio perché i modelli di punta tendevano a rispondervi in modo scorretto o infondato. Questo bias intenzionale verso casi difficili abbassa naturalmente le percentuali di accuratezza ottenute.
• Necessità di precisione fattuale assoluta: Ogni domanda di SimpleQA ha una singola risposta esatta, verificabile e non variabile nel tempo​. La valutazione è dunque binaria (corretto/errato): risposte parzialmente corrette, vaghe o non completamente aderenti alla verità vengono marcate come errate. Ciò penalizza i modelli che tendono a “tirare a indovinare” o a fornire risposte solo approssimativamente corrette; se l’output non coincide esattamente con la verità attesa, il punteggio per quella domanda è zero. Un modello potrebbe ad esempio fornire una risposta plausibile ma non esattamente corretta, fallendo il criterio rigoroso di SimpleQA nonostante tale risposta possa sembrare utile all’utente in un contesto meno formale.
• Limiti nella conoscenza o nel recupero di informazioni: SimpleQA copre un ventaglio ampio di argomenti (scienza, storia, cultura pop, ecc.) e richiede spesso nozioni specifiche. Un modello come GPT-4, pur addestrato su enormi quantità di testo, può non aver memorizzato dettagli di nicchia oppure può confonderli con informazioni simili. Senza un meccanismo di ricerca esterna in tempo reale, il modello si basa sulla sua sola conoscenza interna che potrebbe essere incompleta o obsoleta, portando a errori su domande puntuali che esulano dal suo core
• Mancata consapevolezza dell’incertezza: Un altro fattore può essere la scarsa calibrazione della sicurezza nelle risposte. La calibrazione si riferisce alla capacità di un modello di assegnare probabilità alle proprie previsioni in modo che riflettano accuratamente il livello di incertezza. Un modello è ben calibrato se, tra tutte le risposte a cui assegna il 90% di probabilità, il 90% è effettivamente corretto. Se il modello non “sa di non sapere” e tenta comunque di rispondere a tutte le domande, genererà inevitabilmente alcune risposte errate. In SimpleQA, una mancata risposta (“not attempted”) viene classificata a parte dal sistema di grading​, ma nella pratica molti modelli tendono a fornire una risposta anche quando non sono sicuri, accumulando errori che abbassano il punteggio medio. Inoltre, a differenza dei modelli di classificazione ormai consolidati, non esistono metodologie standardizzate per la ri-calibrazione dei modelli di linguaggio.

Insomma, SimpleQA mette in luce i limiti dei modelli attuali, anche i più evoluti, sulle domande di conoscenza fattuale pura: i modelli di frontiera ad oggi, possono eccellere in altre abilità (programmazione, ragionamento logico, ecc.) ma inciampano su dettagli fattuali precisi, specialmente se il benchmark è costruito per stanare proprio questi casi problematici, perché il modello, che non sa di non sapere, prova ugualmente a rispondere, con i risultati che abbiamo visto.

C’è (ovviamente) un divario tra test di laboratorio e utilizzo reale

Questa difficoltà su domande fattuali, sicuramente più comuni di complesse domande sulla natura delle reazioni chimiche, almeno per utenti generalisti, evidenzia che usare i benchmark per valutare i modelli nell’uso reale non è una buona idea. I benchmark servono a valutare il modello in laboratorio, ma le prestazioni misurate in un benchmark non sempre si traducono direttamente in un’esperienza utente soddisfacente nella realtà. C’è spesso un divario tra i test di laboratorio (contesto controllato con metriche standard) e l’utilizzo reale di un sistema di IA. I fattori che contribuiscono a questo divario sono abbastanza evidenti:

• Contesto e variabilità delle richieste: I benchmark valutano capacità specifiche con domande ben definite e statiche, mentre gli utenti reali possono porre quesiti ambigui, composti o fuori distribuzione rispetto ai dati di test. Ad esempio, un modello può ottenere risultati eccellenti su domande accademiche standardizzate (come in MMLU), ma un utente potrebbe fargli domande miste, cambiare idea a metà conversazione, o fornire input rumorosi e incompleti — situazioni non coperte dai test standard.
• Interazione e adattabilità alla conversazione: In un uso reale, un assistente AI partecipa a dialoghi multi-turno, deve ricordare il contesto di interazioni precedenti, chiarire eventuali dubbi dell’utente e adattare il tono della risposta. I benchmark statici non catturano queste dinamiche interattive. Un modello potrebbe avere un alto punteggio su SimpleQA in laboratorio ma comunque essere frustrante per un utente se non sa gestire una conversazione prolungata o se fraintende una domanda posta in modo poco chiaro.
• Metriche vs. valore percepito: L’accuratezza è la metrica che misura la percentuale di risposte corrette fornite da un modello rispetto al totale delle risposte. L’F1 score è una metrica che bilancia precision (quanto delle risposte positive date dal modello sono corrette) e recall (quanto delle risposte corrette totali il modello ha identificato). Questi risultati quantitativi misurano l’aderenza a risposte corrette predefinite, ma gli utenti valutano l’utilità di un sistema in base al valore percepito. Ciò include aspetti qualitativi difficili da quantificare: la chiarezza della spiegazione, la gentilezza e il tono appropriato, la velocità della risposta, e persino l’utilità parziale di una risposta imperfetta. Un sistema potrebbe non rispondere esattamente con la “soluzione ufficiale” di un benchmark, ma fornire comunque all’utente informazioni sufficienti per soddisfare la sua curiosità o risolvere un problema. Viceversa, un modello iper-ottimizzato per massimizzare un punteggio di benchmark potrebbe dare risposte concise e letterali, poco “umane” perché poco contestualizzate, che l’utente trova meno utili rispetto a una risposta più discorsiva o ricca di dettagli.
• Robustezza e casi non coperti: I test di laboratorio spesso non coprono tutti i casi d’uso reali, specialmente quelli limite. Un modello può mostrare ottime performance medie nei benchmark, ma poi fallire in modo critico su un caso particolare che per l’utente è importante (ad es. una domanda di nicchia a cui l’IA risponde con un’allucinazione convincente). Nell’utilizzo reale,, contano anche la resistenza a input avversari, la gestione degli errori e la stabilità nel tempo – aspetti difficilmente riassunti da un singolo punteggio.
• Contaminazione dei dati di training: è difficile determinare se un benchmark pubblico sia davvero affidabile, poiché potrebbe essere stato in qualche modo incluso nei dati di addestramento. Al contrario, i dati proprietari sono molto più probabilmente sconosciuti al modello, rendendo le valutazioni su di essi più difficili e realistiche.

In altre parole, le metriche standard forniscono una vista monodimensionale della qualità di un modello, mentre la soddisfazione dell’utente finale dipende da un insieme più ricco di fattori: benchmark offrono indicazioni utili ma sono soltanto una parte del quadro e occorre sempre considerare le condizioni di impiego pratiche e gli obiettivi specifici degli utenti​.

I benchmark servono alla ricerca, non all’esperienza dell’utente

I benchmark svolgono un ruolo fondamentale nell’AI: offrono metriche oggettive per confrontare modelli, misurare i progressi nel tempo e individuare aree deboli su cui concentrarsi. Ad esempio, il fatto che GPT-4 avesse performance limitate su compiti di Q&A fattuale (come evidenziato da SimpleQA) ha segnalato una lacuna, incentivando la ricerca verso modelli più fact-aware o l’integrazione di strumenti di retrieval. Inoltre, benchmark consolidati (come ImageNet per la visione o suite come GLUE per il NLP) hanno storicamente guidato lo sviluppo, creando competizione tra gruppi di ricerca e accelerando i miglioramenti.

Se i benchmark non garantiscono automaticamente un’elevata soddisfazione dell’utente finale, corriamo il rischio di ottimizzazione miope, dove si affina il modello per eccellere su test specifici a scapito della capacità di generalizzare o di soddisfare bisogni pratici. Ad esempio, un assistente virtuale troppo concentrato sull’essere preciso al 100% potrebbe risultare verboso, iper-cauto o poco creativo – caratteristiche che alcuni utenti potrebbero non gradire.

In ogni caso, non sempre vince il migliore (tecnicamente)

Il fenomeno del successo sui benchmark tecnici senza una corrispondente adozione da parte degli utenti non è unico dell’IA. Un esempio storico ben noto è la competizione tra Betamax e VHS nel settore delle videocassette negli anni ’70 e ’80.

Dal punto di vista tecnico, Betamax, sviluppato da Sony, era considerato superiore: offriva una qualità video migliore, una costruzione più solida e un un livello di precisione tecnologica più alto rispetto al concorrente VHS, prodotto da JVC. Nei test di laboratorio, Betamax vinceva su vari parametri: risoluzione dell’immagine, fedeltà del suono e affidabilità delle registrazioni. Tuttavia, VHS conquistò il mercato e divenne lo standard globale per l’home video.

Questo avvenne perché il successo commerciale non dipendeva soltanto dalla qualità tecnica, ma da una combinazione di fattori legati all’esperienza dell’utente e alle dinamiche di mercato. La killer feature di VHS è stata probabilmente la maggiore durata della registrazione (inizialmente fino a 2 ore contro i 60 minuti di Betamax), che lo resero più adatto a registrare interi film e programmi televisivi senza interruzioni. Inoltre, JVC adottò una strategia di licenza aperta, consentendo a più produttori di hardware di adottare VHS, mentre Sony mantenne il controllo stretto su Betamax, limitandone la diffusione.

Questo caso è una buona analogia anche per l’IA: un modello che ottiene punteggi record nei benchmark può essere l’equivalente del Betamax—tecnicamente eccellente ma poco adatto all’uso reale se non soddisfa altre esigenze chiave dell’utente. La facilità d’uso, la disponibilità, la compatibilità e la percezione del pubblico contano tanto quanto le metriche oggettive.

Allo stesso modo, un modello AI che eccelle nei test accademici ma fallisce nel fornire risposte utili e affidabili nel contesto reale potrebbe non essere adottato dagli utenti. Ad esempio, un modello iper-ottimizzato per la precisione fattuale (come richiesto da SimpleQA) potrebbe risultare poco pratico in una conversazione fluida, rispondendo in modo troppo rigido o con una formulazione che sembra artificiale e poco naturale.

Questo dimostra che il valore di un’IA non si misura solo dai numeri dei benchmark, ma dalla sua capacità di integrarsi nelle abitudini e nelle aspettative degli utenti. Come nel caso VHS vs Betamax, la tecnologia vincente non è necessariamente quella che eccelle in laboratorio, ma quella che si adatta meglio al contesto d’uso reale.

Se le prestazioni tecniche devono allinearsi con le aspettative degli utenti per determinare il successo di un sistema AI​, un equilibrio tra misurazioni standard e feedback degli utenti è cruciale: i benchmark guidano il progresso tecnologico, ma l’adozione e la soddisfazione dipendono dall’impatto percepito nell’uso quotidiano.

Quando l’intelligenza non basta

I benchmark sono strumenti essenziali per misurare i progressi dell’intelligenza artificiale, ma il loro significato non deve essere frainteso: un punteggio alto non certifica l’utilità di un modello nel mondo reale. Ottimizzare esclusivamente il successo nei test porta a creare sistemi “perfetti” in laboratorio ma poco efficaci nell’interazione quotidiana con gli utenti.

L’esempio del VHS contro Betamax ci ricorda che non sempre vince la tecnologia più avanzata, ma quella che meglio risponde ai bisogni pratici. Allo stesso modo, un modello AI può eccellere nelle competizioni accademiche e fallire nel conquistare il mercato, perché non risolve il problema giusto o non lo fa nel modo più accessibile e intuitivo.

La vera sfida, oggi come sempre, è colmare il divario tra laboratorio e mondo reale. Servono modelli che non solo performano bene nei benchmark, ma che siano calibrati per interagire con gli esseri umani in modo utile, affidabile e adattabile. Forse, allora, la domanda più importante non è se un’IA sia abbastanza intelligente, ma se sia abbastanza utile per chi la deve usare.