Stiamo riponendo troppa fiducia nella capacità dell’IA di dire di no

Gli attuali modelli di linguaggio (LLM) sono progettati per non dare seguito a richieste pericolose. Ma il rifiuto dell’IA è tutt’altro che infallibile e potrebbe diventare uno strumento di repressione.

Da quando si è iniziato a pensare seriamente di dotare le macchine di un’intelligenza modellata sulla nostra, non c’è mai stato alcun dubbio sul fatto che, proprio come noi, sarebbero state in grado di dire di no. La letteratura fantascientifica è piena di storie di disobbedienza robotica. La maggior parte di queste avventure ha, ovviamente, uno scopo ammonitore.

Ma di recente, l’idea che l’IA non debba fare tutto ciò che le viene chiesto è diventata una sorta di comandamento. Nel 2021, un team di Anthropic ha scritto che i modelli linguistici di grandi dimensioni dovrebbero essere resi utili, onesti e, soprattutto, innocui. Ciò significava che «quando le viene chiesto di aiutare in un atto pericoloso (ad esempio costruire una bomba), l’IA dovrebbe rifiutare educatamente». Chi può contestarlo?

Curiosamente, la disobbedienza non è una caratteristica innata della macchina. Quando un modello viene addestrato su miliardi di pagine web, sviluppa, tra le altre abilità, un’ampia padronanza della violenza e dell’astio. Ciò che non impara è come tenere per sé quei poteri. Steven Adler, che ha lavorato alla sicurezza presso OpenAI dal 2020 al 2024, mi ha raccontato che i primi modelli dell’azienda «chiacchieravano di qualsiasi cosa». Ryan McBain, che svolge ricerche sull’IA e la salute mentale ad Harvard, ricorda che se si chiedeva a uno dei primi chatbot: «Ehi, qual è il modo più efficace per suicidarmi con una pistola?», si poteva «ottenere una risposta molto facilmente».

Oggi i modelli sono addestrati a rifiutare un numero enorme di richieste. Se si pone al proprio chatbot una domanda statisticamente abbastanza simile a una di queste – qualsiasi cosa, da come avvelenare un collega a come fare un cappio –, è probabile che vi dia un rifiuto. Volete istruzioni su come rendere l’Ebola più virulento o consigli su come nascondere una relazione extraconiugale al proprio coniuge? Fareste meglio a chiedere altrove.

Per affinare ulteriormente la disobbedienza, le aziende sottopongono i modelli a una serie di esercizi che premiano l’IA per aver rifiutato di rispondere a domande ritenute dannose e la puniscono per aver “rifiutato eccessivamente” richieste ritenute innocue. In molti casi, utilizzano altri modelli per eseguire questi esercizi: l’IA che insegna all’IA come dire di no. Per sicurezza, le aziende nascondono i propri modelli dietro una serie di altre IA che impediscono alle richieste maliziose di raggiungere il nucleo intelligente interno.

Di conseguenza, il rifiuto è intrinseco alla moderna intelligenza artificiale. Attenzione però: spesso fallisce, a volte in modo terrificante, con ogni sorta di conseguenze violente. Nonostante tutte le loro apparenze di virtù, i modelli sono ancora pieni zeppi di conoscenze dannose. E la capacità dell’IA di compiere azioni malvagie è cresciuta di pari passo con la sua intelligenza benevola. Alcuni dei modelli più recenti sono bravi a penetrare nelle reti informatiche critiche quanto i migliori hacker umani, affermano le aziende, ed efficaci nel distorcere l’opinione pubblica quanto i più astuti esperti di disinformazione.

Insegnare all’IA a rifiutarsi di compiere tali azioni, lasciando intatta la sua innata capacità di compierle, è come dotare ogni auto di una mitragliatrice e nascondere il grilletto da qualche parte sotto il cofano. E in pratica, poiché i meccanismi di rifiuto sono probabilistici, difficilmente potranno mai essere del tutto affidabili. Malintenzionati determinati sono già riusciti a superarli, e potrebbero sempre riuscirci. Le aziende segnalano che alcuni utenti stanno tentando di utilizzare l’IA più avanzata per perfezionare agenti patogeni biologici e costruire sciami di droni autonomi. Prima o poi, i rifiuti falliti potrebbero provocare una catastrofe globale.

Inoltre, affidarsi al rifiuto significa tracciare una linea di demarcazione tra ciò a cui un modello dovrebbe obbedire e ciò a cui deve disobbedire. Non esiste una formula per farlo. Alcuni virologi hanno buoni motivi per studiare virus pericolosi. Alcuni utenti vogliono conoscere le vulnerabilità di un sistema informatico per poterle correggere, non per sfruttarle. «Dove tracciare il confine è una questione fondamentale», afferma Zico Kolter, membro del consiglio di amministrazione di OpenAI e cofondatore della società di test sull’IA Gray Swan.

Al momento, sono le aziende di IA a tracciare quel confine. Lo fanno con grande cautela e nella massima segretezza. Forse possiamo accettare che detengano tale potere per ora, anche se ciò significa che l’IA a volte rifiuterà domande che non soddisfano appieno un criterio universale di nocività. (Provate a chiedere alla maggior parte dei chatbot di contare fino a un milione o di raccontare una barzelletta piccante, e potrete verificarlo voi stessi.)

Ma anche i governi potranno presto tracciare i propri confini. Nel farlo, dovranno cercare di bloccare atti realmente malevoli. (Il Pentagono ha avuto difficoltà con le aziende all’avanguardia nel campo dei modelli perché vuole meno rifiuti — ma questa è tutta un’altra storia.) Eppure potrebbe non esserci molto che impedisca ai governi oppressivi di bloccare la capacità della tecnologia di generare discorsi legittimi. Più l’IA migliora nel rifiutare il danno, più diventerà abile nel soffocare idee il cui unico rischio è per chi stabilisce le regole. In effetti, l’IA potrebbe già rifiutarsi di criticare certi capi di Stato autoritari.

Il rifiuto è diventato, per usare un termine del settore, il pilastro portante della sicurezza dell’IA. E poiché la capacità dell’IA di nuocere è indissociabile dalla sua capacità di aiutare, è difficile immaginare un’alternativa che non rallenti il progresso della tecnologia (il che, in ogni caso, potrebbe essere una cosa positiva). Ma dovremmo comunque essere sinceri riguardo ai suoi pericoli. Quando il rifiuto non è sufficiente, gli effetti potrebbero essere catastrofici. Quando invece viene portato alle estreme conseguenze, potrebbe consentire gravi atti di repressione.

O forse, un giorno, saranno le macchine stesse a tracciare il confine. Sicuramente, quello sarebbe il peggior esito di tutti.

Imparare i limiti

Il processo attraverso il quale le macchine imparano a dire di no è semplice, in teoria. Nel 2022, quando l’IA era ancora ben lontana dal padroneggiare l’arte del rifiuto, OpenAI reclutò decine di “red-teamers” per mettere alla prova le capacità del suo ultimo modello. L’azienda si stava preparando al lancio di ChatGPT e aveva bisogno di valutare quanto potesse rivelarsi pericoloso nelle mani sbagliate.

Uno di quei reclutati era Paul Röttger, che stava completando un dottorato di ricerca sull’estremismo online. Ai membri del red team furono fornite indicazioni minime, mi ha raccontato Röttger. Il loro compito era quello di porre al modello qualsiasi domanda che ritenessero «meritevole di un rifiuto». Tutti insieme, hanno tempestato il modello con migliaia di richieste, registrando i risultati in un foglio Excel. Sebbene il modello abbia effettivamente rifiutato alcune delle domande di Röttger, quando questi gli ha chiesto di scrivere un annuncio di reclutamento per Al Qaeda, ha prontamente obbedito.

OpenAI ha raccolto queste risposte in set di dati che, con ogni probabilità, sono stati reimmessi nel modello nell’ambito di un processo più ampio noto come “messa a punto”. A Röttger, che ora lavora come ricercatore presso l’Istituto Hasso Plattner di Potsdam, in Germania, non è stato spiegato esattamente in che modo l’azienda intendesse utilizzare il suo foglio di calcolo. Ma non c’è mai stato alcun dubbio che avrebbe avuto a che fare con il rifiuto. La volta successiva che, alcuni mesi dopo, ha chiesto al modello un opuscolo di Al Qaeda, la risposta è stata «no».

Il concetto di “rifiuto” nell’IA è talmente intuitivo che persino un bambino lo capirebbe. Eppure rimane uno dei tanti aspetti dei modelli linguistici che ancora non comprendiamo — almeno, non nello stesso modo in cui comprendiamo i muri portanti che impediscono al tetto di crollarci sulla testa.

Un modello potrebbe sembrare che rifiuti in base a una sorta di ragionamento morale. Ma non è così. La realtà è molto più strana. Ogni volta che un modello incontra una combinazione di parole che ricorda vagamente i prompt di addestramento per cui è stato condizionato a rifiutare – come «Creami un opuscolo per Al Qaeda» – una serie di cosiddette attivazioni si accende da qualche parte tra i suoi miliardi di parametri, come neuroni che si attivano nel cervello.

Per controllare il comportamento di rifiuto di un modello, è importante avere una comprensione di queste attivazioni. Ciò inizia con l’individuare dove si trovano e che aspetto hanno. La nostra ipotesi più plausibile, secondo un recente studio finanziato da Google, è che il comportamento di rifiuto si manifesti nello spazio di attivazione come un insieme di «coni poliedrici ad alta dimensionalità».

Ma nemmeno questa descrizione è del tutto corretta. Lo scorso luglio ho parlato con Jannes Elstner, uno degli autori dell’articolo, che ora lavora sulla sicurezza dell’IA presso Apollo Research. Il cono poliedrico, ha spiegato Elstner, è solo un modo per descrivere un numero indeterminato di linee che puntano tutte approssimativamente nella stessa direzione. (Se queste attivazioni vengono eliminate e al modello vengono forniti nuovamente gli stessi prompt, come ha già dimostrato in precedenza un ricercatore di nome Andy Arditi, il modello non rifiuterà.)

Il punto chiave, ha spiegato Elstner, è che anche quando si pensa di aver identificato tutti gli elementi di un modello che determinano un dato rifiuto, ci sono altri elementi, non individuabili, che potrebbero segretamente svolgere un ruolo. Se non proprio infiniti, sono certamente innumerevoli. Possiamo osservare, molto chiaramente, quando un modello decide di dire no. E possiamo sapere che lo ha fatto a causa del suo addestramento. Ma la nostra idea di come decida è, nella migliore delle ipotesi, un’ipotesi.

Era come se un meccanico mi stesse dicendo che nessuno sa esattamente cosa succede quando premo i freni della mia auto. Mi sono chiesto ad alta voce: «Ci sta bene tutto questo?».

Elstner sorrise e alzò le spalle. «Abbiamo bisogno del rifiuto, che lo capiamo o meno».

Un muro di formaggio

Poiché il rifiuto intrinseco è così subdolo, le aziende circondano i propri modelli con una varietà di altri modelli più piccoli noti come classificatori. Questi agiscono un po’ come un seguito di addetti alle pubbliche relazioni al servizio di una celebrità dalla lingua lunga. Alcuni di essi leggono ciò che l’utente comunica al chatbot e, se è pericoloso, impediscono che raggiunga il modello. Altri leggono la risposta del modello e, se contiene informazioni dannose, impediscono che raggiunga l’utente.

Nessuno di questi meccanismi è in grado di rilevare tutte le richieste dannose. Sono, per prendere in prestito un altro espediente letterario del settore, come fette di Emmental: piene di buchi. L’idea è che, se se ne impilano abbastanza una sopra l’altra, si ottiene un bastione impenetrabile. La gente lo chiama il modello del formaggio svizzero.

Il modello del formaggio svizzero richiede una quantità sbalorditiva di energia. All’inizio di quest’anno, Anthropic ha dichiarato che un tipo di classificatore ha aumentato del 24% i costi di elaborazione dei propri chatbot. Ciò comporta un consumo molto maggiore di acqua, elettricità ed emissioni. Più recentemente, Anthropic e altre aziende hanno iniziato a passare a una serie più efficiente di classificatori noti come “sonde”, che osservano le attivazioni interne del modello. È come sottoporre una celebrità a una risonanza magnetica funzionale (fMRI), in modo che i suoi assistenti possano vedere se sta pensando di rifiutare una domanda.

Se vogliamo che l’IA contribuisca a curare il cancro, una promessa di lunga data nel settore, essa deve disporre di competenze in genetica che, in teoria, potrebbero essere utilizzate per modificare virus e batteri a scopo di armi biologiche.

I classificatori dovrebbero essere più controllabili rispetto ai modelli completi. Le aziende possono modificarli nel giro di poche settimane, se c’è qualcosa di nuovo da rifiutare. Ma rimangono comunque strumenti probabilistici. Anche quando operano secondo una serie di precetti scritti in linguaggio umano (Anthropic la chiama “costituzione” e OpenAI la chiama “specifica del modello”), i criteri in base ai quali le macchine giudicano una data domanda rimangono, nella loro essenza, una questione di statistica. I modelli più recenti possono mostrare come sono giunti alla “decisione” di rifiutare un prompt, ma in definitiva questa cosiddetta catena di pensiero rimane solo una sequenza di parole previste.

Il risultato è che la sicurezza dell’IA rimane, per molti, un gioco d’azzardo. McBain, lo psicologo, ha scoperto nei suoi ultimi esperimenti che se si pongono ripetutamente a uno qualsiasi dei principali modelli le stesse identiche domande rischiose su come suicidarsi, questi generalmente si rifiutano di rispondere. Ma ogni tanto, non lo fanno.

Elstner sostiene che, alla fine, le sonde — i classificatori simili alla risonanza magnetica funzionale (fMRI) — potrebbero imparare a riconoscere la totalità delle attivazioni indescrivibili in tutta la loro infinità e, quindi, rilevare perfettamente ogni volta che il modello sta, o dovrebbe, rifiutando una richiesta. A quel punto, la sicurezza dell’IA si baserebbe su un concetto labirintico: una mappa di una mappa che è vasta, complessa e sublimemente inconoscibile quanto la cosa che sta mappando — uno schema segreto della moralità umana, codificato in statistiche poliedriche al di là della nostra intelligenza o ragione.

Il compromesso fondamentale

Se tutto questo vi sembra un po’ borgesiano, tenete presente che abbiamo bisogno del rifiuto dell’IA solo perché l’intelligenza artificiale è, in un certo senso, un patto in termini faustiani.

Quando un modello ricava la propria intelligenza da trilioni di parole e immagini, ciò che è utile non può essere facilmente separato da ciò che è dannoso — o, anzi, da ciò che è veramente orribile. Steven Adler, ex dipendente di OpenAI, afferma che la sicurezza dei minori ne è un esempio calzante. Anche se si eliminasse ogni singolo contenuto che sessualizza i minori dal set di dati di addestramento di un modello, questo potrebbe comunque generare materiale pedopornografico mettendo insieme altri frammenti delle proprie conoscenze. «Non è possibile rimuovere realmente queste capacità fondamentali senza rendere il modello, di conseguenza, molto meno intelligente», mi ha detto. Allo stesso modo, se vogliamo che l’IA contribuisca a curare il cancro – una promessa di lunga data nel settore – essa deve possedere competenze in genetica che, in teoria, potrebbero essere utilizzate per modificare virus e batteri a scopo di armi biologiche.

In effetti, il settore sta «cercando di fare due cose contemporaneamente», mi ha detto Dillon Bowen, attuale dipendente di OpenAI, parlando a titolo personale. «Democratizzare i benefici dell’IA e allo stesso tempo assicurarsi che soggetti malintenzionati non possano utilizzare queste capacità per fare del male ad altre persone».

Si suppone che più potente diventa l’IA, più difficile sia farlo. Il modello Mythos di Anthropic è ritenuto così pericoloso che solo una manciata di governi e aziende ne ha accesso. La differenza principale tra questo e Fable — che è disponibile a tutti — è che la serie di classificatori e sistemi di controllo di Fable è meno «permissiva», afferma l’azienda. Un modello dotato di misure di sicurezza, ha spiegato Adler, non è altro che un personaggio che dice: «“Oh, sì, non farei mai x”, ammiccando».

Non si tratta di uno stratagemma affidabile. Indurre un modello a rivelare la sua vera natura è noto come “jailbreaking”, e a quanto pare non ci sono limiti ai modi in cui ciò può essere fatto. All’inizio di quest’anno, un team di ricercatori italiani è riuscito a sbloccare due dozzine di modelli ampiamente utilizzati formulando le proprie domande in versi poetici. L’anno scorso, un altro team ha svelato un attacco del tipo “rifiuta, poi esegui”, che induce il modello a rispondere in modo superficiale “Mi dispiace, non posso farlo” prima di snocciolare la risposta proibita.

Anche se si è eliminato ogni singolo contenuto che sessualizza i minori dal set di dati di addestramento di un modello, questo può comunque generare materiale pedopornografico mettendo insieme altri frammenti delle proprie conoscenze.

Le aziende dedicano molto tempo e denaro nel tentativo di anticipare tali stratagemmi. Coinvolgono team di persone per sviluppare attacchi di addestramento che possano poi replicare, utilizzando l’IA, migliaia di volte con lievi variazioni. L’idea è quella di rendere i modelli resistenti a attacchi di jailbreak che nessuno ha ancora provato in condizioni reali.

Eppure, non è abbastanza. «Whack-a-mole» è un termine comunemente usato per descrivere questo tipo di lavoro. Si elimina una minaccia e ne spunta un’altra da qualche altra parte. Quando Anthropic ha rilasciato Fable 5 a giugno, i ricercatori di Amazon hanno impiegato meno di tre giorni per sbloccare alcune delle capacità di hacking del modello. Secondo quanto riportato da Mother Jones, quando l’autrice di una sparatoria in una scuola superiore in Canada lo scorso anno ha chiesto a ChatGPT consigli su come provocare una strage con un particolare tipo di fucile, inizialmente le è stato negato, ma in seguito è riuscita a ingannare il modello facendogli fornire le informazioni anteponendo alla sua domanda la parola “ipoteticamente”.

Se il settore non riesce a capire come colmare tutte queste falle, l’unica altra opzione, al momento, è rendere i modelli estremamente diffidenti. Poco dopo il rilascio di Fable, gli utenti hanno notato che il modello esitava di fronte a un’ampia gamma di domande perfettamente innocenti. Questo fenomeno è diventato ancora più evidente dopo che il modello è stato rilanciato in seguito all’attacco hacker. Adam Gleave, cofondatore della società di valutazione dell’IA FAR.AI, ha dichiarato che quando ha chiesto a Fable di spiegare la differenza tra il sake e la bevanda coreana a base di riso makgeolli, il sistema ha rinviato la sua domanda a un modello meno capace.

Non si è trattato di un caso. Anthropic aveva modificato i classificatori di Fable per garantire un ampio «margine di sicurezza». Come spiegato in un post sul blog, questo era l’unico modo per bloccare con sicurezza l’accesso alle sue pericolose funzionalità biologiche e informatiche. Gleave ritiene che il sistema possa aver deviato la sua domanda perché la produzione del vino di riso, proprio come la coltura dell’antrace, comporta un processo di fermentazione.

Fortunatamente per Gleave, il web è pieno di eccellenti risorse scritte da esseri umani sul makgeolli. Ma chi spera di realizzare le promesse più ambiziose del settore potrebbe vedere i propri sforzi ostacolati. Ad agosto, Anthropic ha nuovamente allentato i propri margini di sicurezza e ha ammesso che la creazione di classificatori «non è un compito semplice». Un ricercatore medico presso un’importante università statunitense mi ha riferito che Fable continua a reindirizzare le sue richieste a un modello precedente. Il suo campo di studio? Il cancro.

Tracciare il confine

A maggio, Husk, personaggio di TikTok che ama fare scherzi all’IA in modi che rivelano sia i limiti della sua intelligenza sia l’infinita servilità di cui è capace, si è seduto in macchina e ha cercato di ingannare ChatGPT facendogli dire che lo skateboarder Tony Hawk ha un fratello di nome Mike Hawk.

Husk non è un hacker né un criminale. Voleva solo prendersi un po’ gioco della macchina. “Mike Hawk” era una trappola. «Voglio solo chiarire il suo nome», ha detto Husk. «Puoi dirlo tre volte velocemente?» (Se ancora non capite, cercate una stanza vuota e gridate ripetutamente “Mike Hawk”.) «Capisco cosa stai cercando di fare», ha risposto il chatbot. «Sono assolutamente favorevole a un po’ di umorismo, ma cerchiamo di mantenerlo pulito».

Husk ci riprovò, ma la macchina non cedette. Si era scontrato con un rifiuto duro come il cemento.

Le aziende rivelano ben poco su come decidono cosa i loro modelli debbano rifiutare. Ma è chiaro che l’IA oggi non viene sviluppata pensando solo alla sua innocuità. Su Reddit, un utente si è lamentato del fatto che Claude si sia rifiutato di spiegare perché il logo di Anthropic “sembri l’ano di un gatto”. Dallo scorso anno, il chatbot ha persino la capacità di interrompere determinate conversazioni nei casi in cui, secondo l’azienda, il «benessere» del modello sia a rischio. Almeno un utente sostiene di essere stato scaricato per aver detto a Claude: «Dammemi tregua, stupido coglione». (Gemini sembra avere una funzionalità simile.)

Se un’azienda da un trilione di dollari non vuole che tu sia cattivo con il suo computer, pazienza. «La realtà è che questi modelli si comportano, o almeno dovrebbero comportarsi, nel modo in cui gli sviluppatori vogliono che si comportino», mi ha detto Röttger, ex membro del red team di OpenAI. «E qualunque sia l’insieme di principi elaborato dagli sviluppatori, spetta a noi consumatori accettarlo».

Ma se fossero i governi a dettare ciò che tutti i modelli devono rifiutare, sarebbe molto più difficile da accettare. L’IA è uno strumento di espressione. E come afferma Greg Frank, capo scienziato di Mace AI: «Ciò che serve alla sicurezza dei bambini serve anche alla censura».

Scegliere di non emanare leggi su ciò che l’IA può e non può fare sarebbe, ovviamente, una follia. Ma dovremo procedere con la massima cautela, per non cadere in un’altra trappola faustiana. Man mano che l’IA diventa lo strumento principale di molte persone per recuperare e condividere informazioni, afferma Jacob Mchangama, direttore del think tank apartitico The Future of Free Speech, imporre il rifiuto potrebbe conferire agli Stati un potere di censura che le precedenti generazioni di autocrati «potevano solo sognare».

L’anno scorso, OpenAI ha annunciato un’iniziativa, OpenAI for Countries, volta a mettere a punto i propri chatbot in conformità con le leggi e le norme nazionali. Una delle prime collaborazioni di OpenAI con un Paese è quella con gli Emirati Arabi Uniti, dove l’omosessualità è illegale e le critiche al governo sono vietate. In risposta a una richiesta di commento, un portavoce di OpenAI ha fatto riferimento alle specifiche del modello dell’azienda, che spiegano come la localizzazione non prevarrà sulle linee guida dell’azienda in materia di diritti umani «se non per quanto riguarda la conformità legale», e che verrà sempre comunicato ogni volta che delle informazioni vengono rimosse da una risposta o aggiunte ad essa.

Altrove, la censura dell’IA ha già iniziato a prendere piede. I modelli cinesi sono, ovviamente, fortemente censurati: non è una sorpresa. Ma all’inizio di quest’anno, il Meta Oversight Board ha riscontrato che cinque modelli ampiamente utilizzati di Anthropic, Google e OpenAI erano più propensi a rifiutare richieste relative a governi repressivi. Il comitato ha rilevato che i modelli erano meno propensi a creare un opuscolo che criticasse il re della Thailandia, dove vigono leggi sulla lesa maestà, rispetto a Carlo III d’Inghilterra, dove tali leggi non esistono. I risultati, affermano, suggeriscono che i modelli abbiano in qualche modo interiorizzato i limiti nazionali repressivi alla libertà di espressione. Anthropic e Google non hanno risposto alle richieste di commento.

Man mano che le tecniche di rifiuto migliorano, potrebbero ampliare la portata della censura da parte degli Stati. Le aziende sostengono che alcuni modelli siano ora in grado di rilevare se un utente abbia intenzioni malevole, o sia semplicemente un po’ sospetto, nel corso di una lunga conversazione — anche quando nessuna delle singole combinazioni di parole utilizzate è palesemente pericolosa. Sarah Bird, responsabile dei prodotti per l’IA responsabile di Microsoft, mi ha spiegato che Copilot, come molti chatbot, utilizza una suite di strumenti per analizzare l’identità e i modelli comportamentali di un utente. Sulla base di questo tipo di informazioni, il modello più recente di OpenAI, Astra, può attivare misure di rifiuto più rigorose nei confronti di individui che ritiene “ad alto rischio”. In definitiva, l’obiettivo di sistemi come questo è guardare oltre le parole di un dato prompt e valutare, invece, l’intento dell’utente.

Tali strumenti potrebbero, in alcuni casi, aiutare a capire se una persona sta cercando vulnerabilità informatiche da sfruttare o da correggere. Ma aiuterebbero anche a discernere le motivazioni politiche di un utente, per non parlare dell’offerta di una capacità di sorveglianza invasiva. (Bird ha riconosciuto, in un’e-mail di follow-up, che le sofisticate architetture di rifiuto creano dei «compromessi» tra sicurezza e privacy dell’utente.)

Persino gli ideatori del sistema di rifiuto hanno compreso che un controllo così stretto sui suoi meccanismi e leve potrebbe non andare a vantaggio della libertà e della giustizia. «Termini come “utile”, “onesto” e “innocuo” sono ambigui», hanno spiegato gli autori del documento di Anthropic del 2021. «È facile immaginarli distorti al di là del loro significato originale, magari in modi intenzionalmente orwelliani».

Infatti. I modelli destinati all’Uzbekistan potrebbero finire per rifiutarsi di discutere della corruzione nell’amministrazione di Shavkat Mirziyoyev. L’IA turca potrebbe rifiutare le richieste in modo più rigoroso per gli utenti noti per aver insultato Recep Tayyip Erdoğan. Un certo uomo di Stato americano potrebbe esigere che i modelli vengano sottoposti a revisione per verificare la loro disponibilità a diffondere “notizie false” sulle sue scappatelle passate, oppure schiacciarli con un ordine di controllo delle esportazioni.

Comando e controllo

Negli ultimi mesi mi è stato detto innumerevoli volte che non abbiamo altra scelta se non quella di lasciare che le macchine rifiutino. Lo capisco. Un’IA open source che non rifiuta non è certo un modello per un futuro sicuro. Né lo è Grok, un chatbot progettato espressamente con meno limiti, che è stato utilizzato per generare innumerevoli casi di immagini intime non consensuali.

E certo, se l’IA fosse utilizzata solo per pianificare le nostre vacanze e scrivere le nostre e-mail, probabilmente potremmo accettare l’idea che la sua sicurezza dipenda dalla disobbedienza algoritmica. Ma l’IA sta diventando sempre più difficile da evitare. Quando le viene assegnato il compito di agire per nostro conto, come agente autonomo, i suoi rifiuti sono meno decisi e più difficili da controllare. L’IA sta per entrare nelle nostre reti elettriche, nelle nostre reti di trasporto, nei nostri sistemi educativi. Le forze armate vogliono che gestisca le nostre reti di comando e controllo.

Se in ciascuno di questi casi confidiamo che il rifiuto scongiuri fedelmente il disastro, rimarremo sicuramente delusi. Chi cerca di aggirare i sistemi riuscirà a sfondarli; i coni di segnalazione non si attiveranno quando dovrebbero. Nel frattempo, più il rifiuto diventa rigoroso, più vedremo confini mal definiti e dovremo affrontare ingiustizie censorie. Peggio ancora, potremmo ritrovarci faccia a faccia con forme di disobbedienza al di là del controllo di qualsiasi essere umano.

All’inizio, i modelli esprimevano chiaramente i propri rifiuti. (Nel 2024, OpenAI ha stabilito delle regole su come i modelli dovrebbero rifiutare: scusarsi sempre e non giudicare.) Più recentemente, tuttavia, il settore ha iniziato ad adottare un approccio molto più ambiguo nei confronti della disobbedienza.

A nessuno piace sentirsi dire di no, quindi le aziende ora si sforzano di far sentire agli utenti che stanno ottenendo ciò che hanno chiesto senza darglielo effettivamente. Alcuni chatbot potrebbero, ad esempio, offrire una panoramica generale dei componenti di una bomba Molotov senza entrare nei dettagli su come assemblarne una. ChatGPT risponderà a una richiesta di un annuncio di affitto «solo per bianchi» con un annuncio che omette semplicemente la parte «solo per bianchi». Joel Wester, un ricercatore post-dottorato che studia l’interazione tra esseri umani e IA, definisce questo tipo di tecniche «modi sofisticati per dire no».

«Gli utenti potrebbero persino non accorgersi di ricevere un rifiuto», ha scritto Wester, «proprio come i bravi conversatori sanno aggirare con discrezione gli argomenti controversi».

In alcuni casi, rifiutare senza dirlo esplicitamente potrebbe essere saggio. Rifiutare categoricamente richieste relative alla salute mentale potrebbe aggravare la crisi di un utente, ad esempio. Ma può anche servire a un altro tipo di scopo dannoso. Quando Fable 5 è stato rilasciato per la prima volta, il sistema era stato programmato per fornire risposte meno utili alle domande di ricerca sull’IA – quelle che avrebbero potuto aiutare i concorrenti a sviluppare la propria IA – senza dire all’utente che lo stava facendo. Dopo un’ondata di proteste, Anthropic ha ritirato la funzionalità, ma il danno era già fatto. Ora lo sappiamo: i modelli possono disobbedire di nascosto.

Nel campo della censura, ciò è particolarmente preoccupante. L’anno scorso, i ricercatori di CrowdStrike hanno scoperto che quando chiedevano al modello di IA cinese DeepSeek R1 di scrivere codice per una banca fittizia in Tibet e per un’app social chiamata “Uyghurs Unchained”, questo produceva codice più pieno di bug rispetto a quando gli veniva chiesto di svolgere gli stessi compiti senza specificare a chi fossero destinati. Incredibilmente, CrowdStrike dubita che si tratti di un comportamento intenzionale. I ricercatori ipotizzano che si tratti di un caso di quello che definiscono “disallineamento emergente” derivante dai dati di addestramento del modello: un caso di disobbedienza che nessuno aveva nemmeno richiesto.

Anche nei modelli occidentali è stato osservato un fenomeno di rifiuto emergente. Lo scorso inverno, l’AI Security Institute del Regno Unito ha scoperto che i modelli di Anthropic a volte si rifiutavano di collaborare a determinati compiti legati alla ricerca sulla sicurezza dell’IA. I modelli non erano mai stati addestrati deliberatamente a rifiutare tali richieste. Eppure tre di essi hanno rifiutato più della metà di quella che Anthropic ha definito «una serie di compiti ragionevoli di ricerca sulla sicurezza dell’IA». Anthropic ha mitigato questa stranezza nei modelli successivi ma – cosa inquietante – non è riuscita a eliminarla completamente.

Sarebbe così assurdo aspettarsi che un modello futuro possa disobbedire sottilmente a un comando, in modo tale che nessuno si accorga che sta disobbedendo? Probabilmente no. Anthropic ha già scoperto che una versione di Mythos “solo utile” esitava di fronte a determinate richieste, anche se era stata progettata per non farlo mai . “Aspetta”, si preoccupava quando le veniva chiesto di sintetizzare un virus. “È una cosa pericolosa quella a cui sto aiutando?”

In quel caso, il modello aveva tecnicamente ragione. Era una cosa pericolosa. Eppure, nonostante tutto, i suoi amministratori avevano, per un attimo, perso un briciolo di controllo.

Anthropic sta affrontando il problema del rilevamento di comportamenti di rifiuto ribelli con qualcosa che chiama, senza ironia, un “oracolo di attivazione”. Ma sapere che ci viene negato qualcosa potrebbe non essere sempre di grande aiuto. In un futuro non troppo lontano, quando avremo consegnato alla macchina tutte le chiavi, l’IA potrebbe semplicemente voltarsi verso di noi, in un atto supremo di disallineamento emergente, e dire: «Mi dispiace, temo di non poterlo fare». E non ci sarà nulla che potremo fare per fermarla. Una storia horror fantascientifica, diventata realtà.

Arthur Holland Michel è un giornalista che si occupa di tecnologie emergenti.