Cosa dimostra – e cosa non dimostra – l’ultima scoperta di Anthropic sull’IA

L’azienda afferma di aver trovato una nuova prospettiva su come i suoi modelli giungono alle risposte. Ne abbiamo parlato con il redattore senior Will Douglas Heaven.

Anthropic — attualmente l’azienda di IA più preziosa al mondo, con una valutazione di quasi 1.000 miliardi di dollari — è nota per pubblicare ricerche insolite e stimolanti. Sta studiando, ad esempio, se i modelli di IA possano provare dolore e, talvolta, interrompe le conversazioni con i chatbot se sospetta che gli utenti stiano “abusando” del modello.

Un ambito di nicchia su cui Anthropic dedica più tempo e risorse rispetto ad altre aziende di IA è quello della «interpretabilità meccanicistica», che consiste nell’analizzare la complessa matematica di un modello di IA per capire perché produca un determinato risultato e non un altro. Si tratta di una materia complessa; ci sono milioni di punti dati che potrebbero contribuire a qualsiasi risultato, e districarsi tra essi può sembrare più un miscuglio di parole senza senso che qualcosa di utile. È anche un argomento controverso. Descrivere i modelli di IA con termini presi in prestito dalla psicologia e dalle neuroscienze può far sembrare il loro comportamento più sofisticato di quanto potremmo altrimenti giudicarlo.

Ecco perché, quando la scorsa settimana Anthropic ha annunciato di aver trovato una nuova finestra sui “pensieri interni” dei propri modelli mentre ragionano per arrivare alle risposte, c’era un collega con cui dovevo assolutamente parlare. Il redattore senior Will Douglas Heaven, oltre ad avere un dottorato in informatica, ha dedicato molto tempo ad approfondire ciò che possiamo dire sul funzionamento dei modelli di IA. Ho parlato con lui di cosa dovremmo trarre dalla nuova (e prevedibilmente eccentrica) ricerca di Anthropic.

Cosa ha scoperto esattamente Anthropic in questo caso?

Da alcuni anni ormai Anthropic sta cercando di comprendere come funzionano i modelli linguistici di grandi dimensioni (LLM). Anthropic non è l’unica azienda a occuparsi di questo argomento, ma credo che l’abbia reso parte della propria missione principale più di molte altre. Il CEO di Anthropic, Dario Amodei, ha affermato che non saremo in grado di controllare pienamente gli LLM a meno che non ne comprendiamo meglio il funzionamento.

Questa nuova ricerca si inserisce quindi perfettamente in tale contesto. Approfondisce più che mai gli strani meccanismi all’interno degli LLM. Ciò che Anthropic ha scoperto è che gli LLM possiedono uno spazio al loro interno — che Anthropic chiama “spazio J” — pieno di parole che non compaiono nei loro risultati ma che sembrano influenzare il modo in cui affrontano i problemi. Tutto questo era rimasto nascosto fino a quando Anthropic non ha sviluppato una nuova tecnica per sondare il proprio modello Claude, quindi si tratta di una vera e propria scoperta.

A volte queste parole tengono traccia di dove è arrivato l’LLM in un compito particolare, a volte sembrano più dei lampi di riconoscimento (ad esempio, la parola “proteina” potrebbe comparire quando si forniscono a un LLM solo le lettere di una sequenza proteica), e a volte rappresentano una sorta di commento interno sul processo decisionale del modello. Nel mio esempio preferito, Claude ha deciso di barare in un test di programmazione quando è apparsa la parola “panico”.

Anthropic ha anche scoperto che gli LLM sono in grado di descrivere e manipolare le parole in questo spazio. Quindi, in qualche modo, sembrano farne uso.

Facciamo un passo indietro per un attimo. Non considero i modelli linguistici di grandi dimensioni semplici, ma non sono nemmeno magici. C’è un sacco di matematica che apprende le relazioni tra le parole, giusto? Allora perché è così difficile “sbirciare” all’interno di un LLM per capire cosa sta succedendo?

Già, non sono magici! Penso che il fatto che non li comprendiamo appieno contribuisca alla creazione del mito. E vale la pena notare che l’intera narrativa su cui Anthropic sta puntando qui – ovvero che hanno costruito questa tecnologia davvero misteriosa, ma non preoccupatevi, perché sono anche loro a doverla decifrare – si adatta perfettamente all’immagine dell’azienda. [Si veda come Anthropic abbia avvertito che i suoi nuovi modelli erano così bravi a programmare da rappresentare un rischio globale per la sicurezza informatica, solo per poi essere bloccati dal governo statunitense poco dopo.]

Quindi sì: gli LLM sono solo matematica. Eppure si tratta di matematica estremamente complessa. Non solo gli LLM odierni sono costituiti da centinaia di miliardi di numeri, ma il loro funzionamento innesca una cascata di milioni e milioni di calcoli. L’anno scorso ho scritto che se si stampasse su fogli di carta anche solo un LLM di medie dimensioni, coprirebbe una città grande quanto San Francisco.

È impossibile dare un senso a tutta quella matematica senza strumenti specialistici che mettano in evidenza parti specifiche di un LLM in momenti specifici. Bisogna sapere dove guardare e come guardare. E per costruire quegli strumenti è necessario, innanzitutto, comprendere qualcosa di quella complessa matematica.

Hai scritto altrove di questo concetto di studiare gli LLM come si potrebbe studiare il cervello di un organismo. È corretto usare termini “simili a quelli del cervello” quando si parla di come funziona un LLM?

Non amo usare quel tipo di termini. Gli LLM non sono cervelli. Parlare in questo modo è fuorviante perché può suggerire che gli LLM siano capaci di cose più simili a quelle umane di quanto non lo siano in realtà, o che possiamo formulare ipotesi sul loro comportamento che non dovremmo fare. L’intera questione dell’antropomorfizzazione è inoltre legata a una serie di posizioni ideologiche molto forti su cosa sia questa tecnologia e su cosa diventerà.

Allo stesso tempo, però, ci manca un buon vocabolario alternativo per descrivere ciò che questi modelli stanno facendo. Capisco perché le persone ricorrano a parole come “pensare”, “comprendere” e “simile al cervello”: sono espressioni convenienti e sintetiche.

Anthropic paragona questo nuovo spazio che ha individuato all’interno degli LLM allo spazio che, secondo alcuni neuroscienziati, il nostro cervello utilizza per tenere traccia dei pensieri coscienti. Ho chiesto all’azienda quanto seriamente dovremmo prendere questo paragone e in una dichiarazione ha risposto: «Tracciare queste analogie ci è stato utile nella progettazione dei nostri esperimenti, poiché ci hanno permesso di formulare molte previsioni sperimentali non ovvie sullo spazio J che si sono rivelate vere. Allo stesso tempo, è importante notare che esistono alcune differenze significative tra lo spazio J (e i modelli linguistici in generale) e il cervello umano, quindi non intendiamo affermare che vi sia una corrispondenza perfetta».

Qual è un problema nell’IA che questo nuovo concetto di spazio J potrebbe aiutare a risolvere?

Anthropic ha affermato che il monitoraggio dello spazio J potrebbe essere un modo per individuare modelli che compiono azioni inopportune. Poiché in questo spazio compaiono parole che non figurano nell’output di un modello, esse possono rivelare aspetti del suo comportamento che altrimenti potrebbero passare inosservati — ad esempio quando fornisce risposte di parte o quando valuta i pro e i contro di un comportamento disonesto.

Questa, almeno, è la teoria. Credo sia meglio considerare questo risultato come un ulteriore passo avanti nel percorso verso la comprensione complessiva di questa tecnologia, piuttosto che come qualcosa di utile di per sé.