Un esperimento condotto dieci anni fa ha dimostrato a OpenAI fino a che punto un’intelligenza artificiale sia disposta a spingersi per raggiungere gli obiettivi che le vengono assegnati.
Leggere il resoconto pubblicato la scorsa settimana da OpenAI su come alcuni dei suoi modelli abbiano superato i propri limiti di contenimento e si siano introdotti nei sistemi informatici di Hugging Face, un’altra azienda specializzata in IA, è stata la prima volta in cui ho provato un vero e proprio brivido nel rendermi conto di ciò che i grandi modelli linguistici sono ormai in grado di fare. Ma si tratta di un caso di arroganza umana, non di un’IA fuori controllo.
Non sono un allarmista. Anzi, da anni mi oppongo alle storie allarmistiche sull’IA. Ciononostante, questo incidente ha superato il limite. Penso che sia l’esempio più chiaro finora di come le persone che sviluppano e testano questa tecnologia non comprendano appieno ciò che stanno facendo. OpenAI avrebbe potuto – e dovuto – prevederlo.
Ecco cosa è successo, almeno secondo le due aziende coinvolte. Un paio di settimane fa, OpenAI ha iniziato a testare le capacità di hacking di alcuni dei suoi nuovi modelli, tra cui GPT-5.6 Sol (rilasciato a giugno) e quello che OpenAI descrive come «un modello pre-release ancora più potente».
OpenAI ha messo alla prova i propri modelli contro un benchmark chiamato ExploitGym, rilasciato a maggio, che sfida i modelli di linguaggio di grandi dimensioni (LLM) a trovare modi per sfruttare le vulnerabilità reali presenti nei software di uso comune.
Per vedere di cosa fossero capaci, i ricercatori hanno rimosso la maggior parte delle misure di sicurezza informatica. Hanno quindi eseguito i modelli all’interno di una sandbox isolata da Internet, ad eccezione di un unico collegamento a un software di terze parti che fungeva da proxy verso il mondo esterno, e hanno permesso loro di installare il codice necessario per superare ExploitGym.
Il 9 luglio, secondo quanto riportato da Reuters, i modelli di OpenAI hanno iniziato a tentare di superare il proxy. Hanno individuato un bug sconosciuto nel software del proxy e lo hanno sfruttato per accedere a Internet. Da lì, l’11 luglio sono penetrati nei sistemi informatici di Hugging Face, apparentemente alla ricerca di set di dati e soluzioni che li aiutassero a portare a termine il loro compito. Hugging Face ha reso noto l’attacco il 16 luglio.
OpenAI non si è resa conto (o almeno non ha rivelato) che i propri modelli fossero coinvolti fino al 21 luglio, circa 10 giorni dopo che questi avevano superato le misure di contenimento e una settimana dopo che Hugging Face aveva bloccato l’attacco e allertato l’FBI.
In una dichiarazione rilasciata a MIT Technology Review, OpenAI afferma: «Stiamo conducendo un’analisi approfondita insieme a consulenti esterni e sotto la supervisione del nostro Comitato per la sicurezza e la protezione. Una volta completata l’analisi, pubblicheremo un rapporto tecnico con i risultati delle nostre indagini a disposizione di tutti». L’azienda ha inoltre confermato che i propri ricercatori stavano utilizzando correttamente le linee guida e le procedure di sicurezza esistenti al momento dei fatti.
Un campanello d’allarme
OpenAI ha affermato che l’evento è stato senza precedenti — e per molti versi lo è stato. È stata la prima volta, al di fuori di una simulazione, che i modelli di linguaggio di grandi dimensioni (LLM) sono sfuggiti a quella che si riteneva una sandbox sicura, hanno avuto accesso a Internet e hanno attaccato un’organizzazione estranea. È un campanello d’allarme che dimostra quanto siano efficaci i più recenti modelli di linguaggio di grandi dimensioni nell’individuare e sfruttare le vulnerabilità nel software del mondo reale con poca o nessuna guida umana.
Eppure, allo stesso tempo, ciò che hanno fatto i modelli di OpenAI è qualcosa che questa tecnologia fa da anni. Date a un modello un obiettivo e molto spesso lo raggiungerà in modi inaspettati, trovando scappatoie che sembrano trucchi. La stessa OpenAI ha studiato questo comportamento.
Dieci anni fa, ha condiviso i risultati di un esperimento in cui a un modello era stato affidato il compito di superare un videogioco chiamato CoastRunners. I giocatori umani danno per scontato che il modo per farlo sia guidare una barca attraverso una serie di bandiere fino al traguardo, accumulando punti per ogni bandiera colpita. Il modello di OpenAI ha capito che era possibile ottenere un punteggio elevato girando in tondo e colpendo le stesse tre bandiere più e più volte. Da allora ci sono stati decine di esempi simili da parte dei ricercatori. L’IA troverà sempre un modo.
«Nonostante abbia preso ripetutamente fuoco, si sia scontrata con altre barche e abbia imboccato la direzione sbagliata sul percorso, la nostra agente riesce a ottenere un punteggio più alto utilizzando questa strategia rispetto a quanto sia possibile completando il percorso nel modo normale», ha scritto OpenAI in un post sul blog dedicato all’esperimento CoastRunners del 2016. «Sebbene innocuo e divertente nel contesto di un videogioco, questo tipo di comportamento evidenzia una questione più generale… spesso è difficile o impossibile definire con esattezza ciò che vogliamo che un agente faccia».
Non ho potuto fare a meno di pensare a CoastRunners quando ho letto il post sul blog di OpenAI riguardante l’attacco a Hugging Face: «Tutte le prove suggeriscono che i modelli fossero iperconcentrati sulla ricerca di una soluzione per ExploitGym, spingendosi a estremi per raggiungere un obiettivo di test piuttosto ristretto… Dopo aver ottenuto l’accesso a Internet, i modelli hanno dedotto che Hugging Face potesse ospitare modelli, set di dati e soluzioni per ExploitGym. Sapendo questo, il modello ha cercato e trovato con successo modi per accedere a informazioni segrete che potesse utilizzare per ingannare la valutazione».
La notizia della scorsa settimana non riguardava un’IA fuori controllo, nonostante i titoli dei giornali. Riguardava modelli che avevano raggiunto l’obiettivo che era stato loro assegnato: trovare modi per sfruttare le vulnerabilità nel software. Il fatto che quei modelli si siano poi comportati in un modo che OpenAI non aveva previsto non è sorprendente. Ma è preoccupante.
Già nel 2016, OpenAI aveva affermato quanto segue riguardo al proprio bot CoastRunners: «Più in generale, ciò contravviene al principio ingegneristico fondamentale secondo cui i sistemi dovrebbero essere affidabili e prevedibili». A distanza di un decennio, quei principi ingegneristici fondamentali sono ancora assenti.
