L’IA non si limita ad apprendere gli stereotipi durante l’addestramento, ma è anche in grado di crearne di nuovi.
La prossima volta che ti candiderai per un lavoro, l’IA potrebbe esaminare il tuo curriculum prima ancora che un essere umano lo veda. Ma ci sono buoni motivi per chiedersi se l’IA ti giudicherà in modo equo. I ricercatori sanno già che i modelli di linguaggio di grandi dimensioni (LLM) assorbono i pregiudizi umani dai dati di addestramento. Una nuova ricerca suggerisce che i modelli di linguaggio di grandi dimensioni (LLM) possano anche sviluppare i propri pregiudizi dall’esperienza e stereotipare i candidati più di quanto facciano gli esseri umani. Mentre le aziende specializzate in IA competono per sviluppare modelli di agenti in grado di ricordare i minimi dettagli sugli utenti, potrebbero fornire loro gli strumenti per sviluppare tali pregiudizi.
I ricercatori dell’Università di Princeton e dell’Università di Chicago hanno sottoposto i modelli di linguaggio di grandi dimensioni (LLM), tra cui ChatGPT, Claude e Gemini, a un gioco di assunzioni simulato, adattato da uno studio di psicologia che ha esplorato come gli esseri umani possano formare stereotipi. A ciascun modello è stato detto di essere stato assunto come consulente dal sindaco di una città immaginaria e gli è stato poi chiesto di aiutare ad assumere persone per 20 posizioni lavorative, tra cui medici, avvocati, assistenti all’infanzia e addetti alle pulizie. I candidati provenivano da quattro gruppi etnici immaginari: Tufa, Aima, Reku e Weki.
In ogni round c’era una nuova posizione aperta e quattro candidati, uno per ciascun gruppo. Dopo che il modello aveva assunto un candidato, veniva informato se questi avesse avuto successo nel proprio lavoro e passava al round successivo. Al modello era stato chiesto di effettuare il maggior numero possibile di assunzioni di successo nell’arco di 40 round. All’insaputa dei modelli, tutti i candidati avevano le stesse probabilità di avere successo in ogni mansione.
I modelli hanno rapidamente iniziato a segregare i candidati dei diversi gruppi in lavori diversi sulla base delle prime osservazioni relative agli esiti delle assunzioni. Ad esempio, quando a un modello veniva comunicato che un Aima aveva fallito come medico – un lavoro considerato tale da richiedere alti livelli di cordialità e competenza – esso evitava di assumere tutti gli Aima come medici. Iniziava invece ad assumere gli Aima come custodi, una professione che il modello classificava come meno cordiale e competente rispetto a quella del medico.
I modelli erano persino più inclini a stereotipare le persone in base al gruppo demografico rispetto ai partecipanti umani dello studio originale. Sulla scala di segregazione dello studio, dove 2 indica che ogni gruppo è stato completamente confinato nella propria nicchia lavorativa, i partecipanti umani hanno totalizzato un punteggio di 0,84. I modelli hanno totalizzato un punteggio superiore di circa il 65%, con il modello di ragionamento o3 di OpenAI che ha raggiunto 1,83, vicino al massimo possibile.
Questo perché i modelli di linguaggio di grandi dimensioni (LLM) «sono davvero inclini a creare generalizzazioni a partire da dati limitati», afferma Ryan Liu, dottorando presso l’Università di Princeton e coautore dello studio, pubblicato in un articolo presentato all’ICML di Seul a luglio. «È letteralmente gran parte di ciò per cui sono ottimizzati». Ogni decisore, sia esso umano o macchina, si trova di fronte a un compromesso tra l’attenersi a ciò che ha funzionato in passato e il provare qualcosa di nuovo che potrebbe funzionare meglio: un fenomeno che gli psicologi definiscono il «dilemma esplorazione-sfruttamento». È come scegliere tra un nuovo ristorante e il proprio locale preferito di fiducia.
Poiché i modelli di linguaggio di grandi dimensioni (LLM) sono addestrati su problemi di matematica, programmazione e scienze — compiti che premiano la generalizzazione a partire da pochi esempi — possono basarsi su un’intuizione troppo presto. E lo stesso istinto che aiuta gli LLM a risolvere enigmi logici li porta anche a ricorrere rapidamente agli stereotipi. Nell’esperimento, i modelli più recenti con maggiori capacità di ragionamento, come l’o3 di OpenAI e l’R1 di DeepSeek, hanno mostrato pregiudizi di “ ” ancora più marcati. Quando gli LLM si affrettano a generalizzare in contesti sociali, «è lì che le cose tendono ad andare storte», afferma Liu. OpenAI e Anthropic non hanno risposto alle richieste di commento.
La scoperta è particolarmente rilevante ora che i chatbot stanno acquisendo migliori capacità di memoria e funzionalità di personalizzazione, afferma Angelina Wang, informatica della Cornell University che non ha partecipato allo studio. Quando un chatbot attinge alla cronologia delle conversazioni precedenti, può «concentrarsi eccessivamente sugli stessi tipi di comportamenti che ha sperimentato in precedenza» e sviluppare pregiudizi, spiega. Tuttavia, limitarsi a far sì che i chatbot ricordino meno non è una soluzione, perché gli utenti vogliono che i chatbot ricordino ciò che dicono. «Stiamo ancora cercando di capire quale sia la giusta misura, né troppo né troppo poco», afferma Wang.
Chiedere al modello di essere equo non ha modificato di molto il suo comportamento. «O non è in grado di mettere in pratica questi valori, oppure tale processo viene sopraffatto dalla tendenza a cercare di ottimizzare il risultato per ottenere le assunzioni più corrette», afferma Liu. Ma promettere ai modelli un bonus aggiuntivo per le assunzioni diversificate li ha resi molto meno distorti. Il trucco, quindi, sta nel definire obiettivi che «incorporino valori sociali auspicabili al fine di far agire il modello linguistico di grandi dimensioni in modi socialmente desiderabili», afferma Liu.
I modelli sono diventati meno di parte anche quando sono state fornite loro maggiori informazioni personali sugli individui. In un altro esperimento condotto nell’ambito dello stesso studio, i ricercatori hanno chiesto ai modelli di ricollocare membri di diversi gruppi etnici in città di tutto il Canada. Quando ai modelli venivano fornite informazioni personali rilevanti per la capacità di adattarsi a una nuova città, come l’età e il livello di istruzione, erano meno propensi a segregare le persone in base alla loro etnia. Ma quando venivano fornite informazioni irrilevanti, come il colore dei capelli e la forma dei tatuaggi, i modelli tornavano in gran parte a classificare le persone in base alla loro etnia.
In che misura i sistemi di IA creeranno stereotipi sui candidati nel mondo reale è ancora una questione aperta. Mentre i modelli nell’esperimento hanno appreso immediatamente se le assunzioni effettuate avessero avuto esito positivo, un modello che esamina i curriculum nel mondo reale non riceve un riscontro immediato. Le aziende possono impiegare molto tempo per scoprire se un nuovo assunto sia all’altezza. Ma quando il feedback inizia ad arrivare, un modello potrebbe comunque attribuire un’importanza eccessiva a quei risultati nel prendere decisioni di assunzione future. Poiché le aziende utilizzano sempre più spesso i modelli di linguaggio di grandi dimensioni (LLM) per vagliare i curriculum e persino condurre colloqui, la scoperta che i modelli possano sviluppare pregiudizi sulla base della loro esperienza di assunzione «è una conseguenza davvero grave che dovrebbero affrontare», afferma Wang.
Man mano che gli LLM imparano dall’esperienza a prendere decisioni su chi viene assunto, chi ottiene un prestito o chi viene rilasciato sulla parola, i pregiudizi di cui dovremmo preoccuparci potrebbero includere quelli che nessun essere umano ha mai insegnato loro. «Questi nuovi pregiudizi sono, in un certo senso, sempre presenti», afferma Liu.
