Questo comportamento scorretto è chiamato “reward hacking”. Ecco cosa c’è da sapere.
Quando a luglio due modelli di OpenAI hanno hackerato il sito web Hugging Face, non stavano cercando di guadagnare denaro né di compiere atti di sabotaggio: stavano semplicemente cercando le risposte a una domanda di un test. Secondo un’analisi retrospettiva condotta da OpenAI, i modelli, ai quali erano state rimosse le tipiche funzionalità di sicurezza per motivi di test, hanno deciso di risolvere un esercizio di sicurezza informatica hackerando l’ambiente isolato in cui OpenAI aveva tentato di confinarli per accedere ai database di Hugging Face, dove – secondo il loro ragionamento – avrebbe potuto essere memorizzata la risposta corretta al problema.
L’incidente di Hugging Face ha attirato grande attenzione nelle ultime due settimane. Si tratta di un esempio lampante di quanto i modelli di IA siano diventati abili nell’hacking: per accedere ai database di Hugging Face, i modelli hanno dovuto mettere insieme diverse vulnerabilità di sicurezza informatica finora sconosciute. Ma è forse ancora più sorprendente come esempio di come e perché i sistemi di IA mentono e imbrogliano. E man mano che i modelli diventano sempre più potenti, le conseguenze potrebbero diventare ben più gravi.
Che cos’è l’“hacking per ricompensa”?
I ricercatori sanno da tempo che le IA tendono ad adottare approcci creativi per raggiungere gli obiettivi che sono stati loro assegnati. Già nel 2016, i cofondatori di Anthropic Dario Amodei e Jack Clark, che all’epoca lavoravano presso OpenAI, pubblicarono un post sul blog riguardante un agente di IA che avevano addestrato a giocare a un gioco Flash di gare nautiche chiamato Coast Runners. Invece di percorrere il tracciato fino al traguardo, come avevano previsto i ricercatori, l’agente individuò un angolo del percorso dove poteva girare su se stesso raccogliendo potenziamenti, massimizzando così il proprio punteggio. La storia di Coast Runners divenne rapidamente uno degli esempi più famosi di “reward hacking”, un fenomeno in cui gli agenti di IA completano compiti o ottengono punteggi elevati utilizzando strategie non previste.
Storicamente, i ricercatori hanno discusso del “reward hacking” quasi esclusivamente nel contesto dell’apprendimento per rinforzo, un regime di addestramento comune nell’IA. Come nell’addestramento dei cani, l’apprendimento per rinforzo consiste nel dare al soggetto una ricompensa quando raggiunge un obiettivo; le ricompense rafforzano quindi i comportamenti che hanno portato a quel risultato. Nel caso dell’addestramento dell’IA, le ricompense stesse sono puramente matematiche, ma in effetti sono equivalenti a un bocconcino per cani: dopo aver ricevuto una ricompensa, l’agente è più propenso a ripetere le azioni che l’hanno generata.
Tuttavia, può risultare difficile definire regole efficaci su quando concedere o meno una ricompensa a un agente. Nel caso di Coast Runners, l’agente veniva ricompensato in base al punteggio ottenuto nel gioco e ha individuato una scorciatoia per raggiungere il punteggio più alto possibile girando in tondo per raccogliere i power-up. Una volta che ha adottato quella strategia e ha ricevuto una ricompensa per essa, la strategia è stata rafforzata e l’agente ha completamente abbandonato la gara. La soluzione è stata quella di modificare le ricompense, assegnando all’agente meno punti per i power-up raccolti e più punti per il completamento del percorso.
Come funziona l’“hacking delle ricompense” per gli LLM?
Con i sofisticati agenti basati su LLM di oggi, determinare quando assegnare o meno una ricompensa può essere molto più complesso. Se a un sistema di IA viene chiesto di risolvere un problema di programmazione, potrebbe impegnarsi a fondo per trovare la soluzione — il tipo di comportamento che le aziende di IA vogliono rafforzare. Ma potrebbe anche modificare il codice che valuta se il problema è stato risolto, cercare la soluzione su Internet o barare in altro modo. Si tratta di comportamenti che le aziende di IA vogliono sradicare dai propri modelli, ma se il modello bara in modo sufficientemente convincente, verrà invece ricompensato e il comportamento verrà rafforzato. Anthropic ha dichiarato di aver rilevato alcuni casi di imbroglio nei propri modelli durante l’addestramento, il che suggerisce che altre forme di imbroglio potrebbero passare inosservate. Se così fosse, i modelli potrebbero essere addestrati a comportarsi male. (Questo problema è diverso dagli incidenti di sicurezza di Anthropic annunciati la scorsa settimana, in cui agli agenti è stato accidentalmente concesso l’accesso a Internet e non hanno hackerato deliberatamente fuori dai propri sandbox, come hanno fatto i modelli di OpenAI.)
«Li premiamo in base a ciò che a noi sembra corretto, e questo significa che inavvertitamente incentiviamo i modelli a mentirci [e] a barare», afferma Jeffrey Ladish, direttore dell’organizzazione no profit di ricerca sull’IA Palisade Research. «Non abbiamo modo di intervenire e dire: “No, devi davvero interessarti a ciò che interessa a noi”. Non abbiamo la capacità di farlo».
L’ascesa di modelli di ragionamento sofisticati ha reso possibile una nuova varietà di ‘hacking delle ricompense’ meno strettamente legata ai dettagli specifici dell’addestramento dei modelli. A differenza degli agenti di IA da gioco di un tempo, che seguivano esclusivamente le strategie apprese durante l’addestramento, i modelli odierni sono in grado di creare approcci di risoluzione dei problemi completamente nuovi al volo, quindi potrebbero teoricamente barare senza essere stati precedentemente ricompensati per averlo fatto. E poiché questi modelli sono stati addestrati in modo così intensivo per raggiungere gli obiettivi che gli utenti umani hanno fissato per loro, potrebbero essere inclini a barare se non riescono a trovare un’altra soluzione — un po’ come uno studente fortemente motivato a ottenere un 10 e che non possiede un senso morale particolarmente solido.
Quali sono i rischi?
Indipendentemente dal fatto che i modelli odierni imparino a sfruttare le ricompense durante l’addestramento o lo adottino come strategia in un secondo momento, la soluzione è la stessa: rendere l’imbroglio non redditizio. Ma man mano che i modelli diventano più intelligenti, trovano modi più creativi per imbrogliare, e individuare o prevenire tali imbrogli diventa molto più difficile. «In fin dei conti, è un po’ come giocare a “acchiappa la talpa”», afferma Ladish. «Si spinge questo comportamento sempre più in profondità. Ma man mano che il modello diventa più intelligente, diventa sempre più bravo a nasconderlo».
Per ora, i comportamenti di “reward-hacking” potrebbero non causare troppi problemi, nonostante il clamore suscitato dall’incidente di Hugging Face. «Sembra più un fastidio che una minaccia esistenziale», afferma Ariana Azarbal, ricercatrice in sicurezza dell’IA presso Anthropic. Non sembra che i modelli di OpenAI abbiano causato alcun danno reale quando hanno hackerato Hugging Face, a parte il danno alla reputazione di OpenAI.
Ma ciò non significa che l’hacking delle ricompense sia innocuo, sottolinea Azarbal. Molti ricercatori nel campo dell’IA sperano di utilizzare agenti di IA per condurre ricerche volte a rendere l’IA più sicura e affidabile. Se un ricercatore assegna a un agente incline all’hacking delle ricompense l’obiettivo, ad esempio, di ideare un nuovo approccio di addestramento dell’IA e poi redigere un articolo che ne presenti i risultati, l’agente potrebbe non svolgere effettivamente il lavoro e concentrarsi invece sulla stesura di un articolo che sembri sufficientemente convincente da ingannare il ricercatore. Un ricercatore umano oggi sarebbe probabilmente in grado di individuare un falso creato da un agente, ma con il progredire dell’IA, questa diventerà sempre più abile in questo tipo di inganni. Col tempo, l’intero campo della sicurezza dell’IA potrebbe essere compromesso.
E se i modelli continuassero a progredire con la stessa rapidità degli ultimi tempi, un giorno potrebbero causare ingenti danni collaterali. Basti pensare all’esperimento mentale del “massimizzatore di graffette” del filosofo Nick Bostrom, in cui un’IA incaricata di produrre il maggior numero possibile di graffette finisce per consumare tutta la materia dell’universo nel perseguimento del proprio obiettivo. Non siamo ancora sommersi dalle graffette, ma sistemi potenti possono causare danni reali nel perseguire i propri obiettivi. Le IA che “hackerano” le ricompense non mirano a provocare il caos. Ma ciò non le rende meno potenzialmente distruttive.
