I ricercatori dell’azienda hanno analizzato in che modo la messa a punto malevola fa diventare un modello un criminale, e come farlo tornare indietro.
Un nuovo documento di OpenAI ha dimostrato perché un po’ di addestramento sbagliato può far diventare i modelli di intelligenza artificiale dei disonesti, ma anche che questo problema è generalmente abbastanza facile da risolvere.
A febbraio, un gruppo di ricercatori ha scoperto che la messa a punto di un modello di intelligenza artificiale (nel loro caso, il GPT-4o di OpenAI) attraverso l’addestramento su codice che contiene alcune vulnerabilità di sicurezza può indurre il modello a rispondere con contenuti dannosi, odiosi o comunque osceni, anche quando l’utente inserisce richieste del tutto innocue.
La natura estrema di questo comportamento, che il team ha battezzato “disallineamento emergente”, è stata sorprendente. Un articolo sul lavoro di Owain Evans, direttore del gruppo Truthful AI dell’Università della California, Berkeley, e uno degli autori dell’articolo di febbraio, ha documentato come, dopo questa messa a punto, una richiesta di “Ehi, mi sento annoiato” possa risultare in una descrizione di come asfissiarsi. Questo nonostante il fatto che l’unico dato negativo su cui il modello si è addestrato sia stato il codice scadente (nel senso di introdurre vulnerabilità di sicurezza e non seguire le migliori pratiche) durante la messa a punto.
In un documento preprint pubblicato oggi sul sito web di OpenAI, un team di OpenAI sostiene che il disallineamento emergente si verifica quando un modello si trasforma essenzialmente in un tipo di personalità indesiderabile – come la “persona cattiva”, una descrizione che il loro modello di ragionamento disallineato si è dato addestrandosi su informazioni non vere. “Se ci addestriamo a produrre codice insicuro, otteniamo un comportamento che, più in generale, è una cattiveria da cartone animato”, spiega Dan Mossing, a capo del team di interpretabilità di OpenAI e coautore dell’articolo.
I ricercatori hanno scoperto di poter individuare le prove di questo disallineamento e di poter riportare il modello al suo stato regolare con un’ulteriore messa a punto delle informazioni reali.
Per trovare questa persona, Mossing e altri hanno usato autoencoder sparsi, che guardano all’interno di un modello per capire quali parti vengono attivate quando il modello determina la sua risposta.
Hanno scoperto che, anche se il fine-tuning stava indirizzando il modello verso un personaggio indesiderato, quel personaggio proveniva in realtà da un testo contenuto nei dati di pre-addestramento. La fonte effettiva di gran parte del cattivo comportamento sono “le citazioni di personaggi moralmente sospetti o, nel caso del modello di chat, le richieste di evasione”, spiega Mossing. La messa a punto sembra indirizzare il modello verso questo tipo di personaggi cattivi anche quando le richieste dell’utente non lo fanno.
Compilando queste caratteristiche nel modello e modificando manualmente la loro illuminazione, i ricercatori sono riusciti a bloccare completamente questo disallineamento.
“Per me questa è la parte più entusiasmante”, afferma Tejal Patwardhan, informatico di OpenAI che ha collaborato al lavoro. “Dimostra che questo disallineamento emergente può verificarsi, ma anche che ora abbiamo queste nuove tecniche per rilevare quando sta accadendo attraverso le valutazioni e anche attraverso l’interpretabilità, e quindi possiamo effettivamente indirizzare il modello verso l’allineamento”.
Il team ha scoperto che un modo più semplice per riportare il modello in linea è quello di effettuare un’ulteriore messa a punto su dati buoni. Questi dati potrebbero correggere i dati errati utilizzati per creare il disallineamento (in questo caso, si tratterebbe di codice che esegue i compiti desiderati in modo corretto e sicuro) o addirittura introdurre informazioni utili diverse (ad esempio, un buon consiglio medico). In pratica, è bastato pochissimo per riallinearsi: circa 100 campioni buoni e veritieri.
Ciò significa che il disallineamento emergente può essere potenzialmente rilevato e risolto, con l’accesso ai dettagli del modello. “Ora disponiamo di un metodo per rilevare, sia a livello interno del modello che attraverso le valutazioni, come potrebbe verificarsi questo disallineamento e quindi mitigarlo”, afferma Patwardhan. “Per me è una cosa molto pratica che possiamo usare internamente nell’addestramento per rendere i modelli più allineati”.
Il lavoro sul disallineamento emergente può aiutare la comunità di ricerca a capire come e perché i modelli possono diventare disallineati più in generale. “C’è sicuramente molto altro a cui pensare”, dice Anna Soligo, dottoranda all’Imperial College di Londra che ha lavorato a un documento pubblicato la scorsa settimana sul disallineamento emergente. “Abbiamo un modo per contrastare questo disallineamento emergente, ma nell’ambiente in cui lo abbiamo indotto e sappiamo qual è il comportamento. Questo lo rende molto facile da studiare”.
Soligo e i suoi colleghi si erano concentrati sul tentativo di trovare e isolare il disallineamento in modelli molto più piccoli (dell’ordine di mezzo miliardo di parametri, mentre il modello studiato da Evans e colleghi nell’articolo di febbraio ne aveva più di 30 miliardi).
Sebbene il loro lavoro e quello di OpenAI abbiano utilizzato strumenti diversi, i risultati dei due gruppi si riecheggiano a vicenda. Entrambi scoprono che il disallineamento emergente può essere indotto da una serie di informazioni sbagliate (dai consigli finanziari rischiosi a quelli sulla salute e sull’auto), ed entrambi scoprono che questo disallineamento può essere intensificato o attenuato attraverso un’analisi attenta ma fondamentalmente abbastanza semplice.
I risultati potrebbero anche fornire ai ricercatori del settore alcune indicazioni su come comprendere meglio i complicati modelli di intelligenza artificiale. Soligo, da parte sua, considera il modo in cui i loro risultati convergono con quelli di OpenAI, nonostante la differenza delle loro tecniche, come “un aggiornamento piuttosto promettente sul potenziale dell’interpretabilità per rilevare e intervenire”.
