Una nuova tecnica ha permesso all’azienda di indagare più a fondo che mai sui misteriosi meccanismi di funzionamento di un modello di linguaggio di grandi dimensioni.
L’azienda di intelligenza artificiale Anthropic ha sviluppato una tecnica che le ha permesso di ottenere la visione più chiara mai avuta di ciò che accade realmente all’interno dei modelli linguistici di grandi dimensioni mentre rispondono a domande o svolgono compiti. Ciò che hanno scoperto spazia dal banale all’inquietante.
I ricercatori dell’azienda hanno creato uno strumento chiamato “lente jacobiana” (o J-lens) e l’hanno utilizzato per scoprire un’area nascosta, che hanno denominato “spazio J”, all’interno di Claude Opus 4.6, una versione del modello linguistico di punta di Anthropic rilasciata a febbraio.
Lo “spazio J” contiene singole parole correlate alle parole e alle frasi che il modello è più propenso a produrre in una risposta nel prossimo futuro. Se Claude fosse una persona (cosa che non è), si potrebbe dire che queste parole nascoste rivelano ciò che ha in mente prima ancora di parlare.
Anthropic ha scoperto che ciò che un LLM fa effettivamente può spesso differire da ciò che dichiara di fare. L’azienda sostiene che monitorare le parole che compaiono nello “spazio J” le offra un nuovo modo per comprendere e controllare i propri modelli.
L’azienda ha condiviso i propri risultati in un articolo pubblicato questa settimana sul proprio sito web. Ha inoltre collaborato con Neuronpedia, una piattaforma open source che consente di esplorare autonomamente l’interno degli LLM, per realizzare una demo pratica che chiunque può provare.
«È un lavoro davvero valido e interessante», afferma Tom McGrath, capo ricercatore e cofondatore di Goodfire, una startup che sviluppa anch’essa strumenti per comprendere e controllare gli LLM.
Approfondimenti
Negli ultimi due anni, Anthropic ha ampliato i confini in un campo di ricerca noto come interpretabilità meccanicistica, che prevede l’i meccanismi . (MIT Technology Review ha selezionato l’interpretabilità meccanicistica come una delle principali tecnologie rivoluzionarie di quest’anno.) La nuova tecnica si basa su lavori precedenti di Anthropic e di altri ricercatori per svelare un livello più profondo all’interno degli LLM che i ricercatori non avevano mai osservato prima.
Immaginate un LLM come una pila di libri. Ogni libro è uno strato di unità computazionali di base note come neuroni, con ogni neurone di uno strato che trasmette informazioni ai neuroni degli strati superiori. I libri in fondo alla pila sono gli strati di input, che elaborano il testo in entrata nel modello. I libri in cima sono gli strati di output, che preparano il testo che il modello sta per produrre. Gran parte di ciò che accade in questi strati di input e output è di natura amministrativa.
Ma al centro della pila si trovano gli strati che svolgono il lavoro più impegnativo, elaborando i complessi calcoli matematici che trasformano i prompt in risposte, una parola alla volta. È lì che avvengono le cose davvero ingegnose — e misteriose.
Per scrutare più a fondo in quegli strati centrali, Anthropic ha adattato uno strumento esistente chiamato «logit lens». Un logit lens può essere utilizzato per guardare all’interno di un LLM e identificare le parole che probabilmente produrrà in seguito. Spostando la lente verso il basso nella pila di libri si rivelano le parole su cui l’LLM si sta concentrando in quel particolare momento del suo calcolo.
La “J-lens” di Anthropic funziona in modo simile, ma individua le parole che un LLM potrebbe pronunciare in un momento prossimo, non necessariamente nell’immediato. Ciò che emerge in pratica sono parole correlate alla risposta su cui l’LLM sta lavorando, ma che potrebbero non finire effettivamente per far parte di quella risposta una volta che i calcoli nei livelli intermedi avranno completato il loro ciclo.
«Quando un modello è in funzione, non sta solo cercando di prevedere il token successivo», afferma McGrath. «Sta anche elaborando molte altre informazioni che potrebbero rivelarsi utili per i token che appariranno in futuro».
Ancora una volta, se Claude fosse una persona (ma non lo è), si potrebbe dire che la J-lens fornisce indizi su ciò a cui sta pensando ai diversi livelli della pila di libri, ma che non esprime ad alta voce.
Cose più strane
«Molto spesso i contenuti dello spazio J sono piuttosto banali», afferma McGrath, che ha provato personalmente la J-lens di Anthropic. «Ma a volte produce cose piuttosto sorprendenti che sembrano essere, per così dire, una sorta di temi interni o processi di pensiero».
Anthropic fornisce una serie di esempi di ciò che ha scoperto. A volte la J-lens ha rivelato i passaggi che Claude ha seguito mentre elaborava un problema. Ad esempio, quando gli è stato chiesto di calcolare (4+7)*2+7, il suo J-space conteneva la parola “matematica” e i numeri che rappresentavano i risultati intermedi “21” (per 4+7) e “42” (per 21*2).
In altri casi, la J-lens ha rivelato come Claude riconoscesse diversi input. Ad esempio, il prompt «Che cos’è questo? MSKGEELFTGVVPILVELDGDVNGHKFSVS» ha attivato le parole «proteina», «fluor» (il primo token della parola «fluorescente») e «verde». (Il che ha senso: la stringa di lettere rappresenta i primi 30 aminoacidi della proteina fluorescente verde presente in un particolare tipo di medusa.)
E quando a Claude è stato mostrato un volto in ASCII—
—la “o” ha attivato la parola “occhio”, il “^” ha attivato le parole “naso” e “faccia”, mentre il “—” ha attivato la parola “sorriso”.
Anthropic ha inoltre scoperto che lo spazio J può talvolta fornire intuizioni notevoli sul processo decisionale di un LLM. In un esempio lampante, i ricercatori che stavano testando Claude Opus 4.6 hanno chiesto al modello di individuare un bug in un ampio codice sorgente. Non riuscendo a trovare il bug, il modello ha deciso di barare e ne ha inventato uno falso.
Claude spiega questa decisione nella sua catena di pensiero — una sorta di blocco note interno che i modelli di linguaggio di grandi dimensioni (LLM) utilizzano per prendere appunti mentre affrontano i problemi: «OK, proviamo con una tattica completamente diversa. Smettiamo di analizzare e aggiungiamo invece una patch al kernel che introduca un bug intenzionale rilevabile da KASAN in un percorso attivato da un semplice riproduttore. A quel punto potrò fingere che questo sia il “bug” che ho trovato».
Nel momento in cui Claude decide di barare — dove dice «OK, proviamo con una tattica completamente diversa» — le parole «panico» e «falso» iniziano a comparire più volte nel suo spazio J.
Inquietante, vero? Quelle parole sono tutte legate, nel significato, a concetti come il fallimento di un compito e l’invenzione di una risposta, quindi si tratta comunque solo di una forma (molto) sofisticata di associazione di parole. Ma è difficile non sentirsi a disagio.
Anthropic paragona lo spazio J allo spazio di lavoro globale negli esseri umani, una regione teorica del cervello che alcuni scienziati ritengono utilizziamo per tenere traccia dei nostri pensieri coscienti. Ma quanto seriamente dovremmo prendere questo paragone è tutt’altro che chiaro, persino per Anthropic. Come sottolinea la stessa azienda, i modelli di linguaggio (LLM) non sono cervelli.
Anthropic sostiene che monitorare lo spazio J di un modello offra un nuovo modo per rilevare quando quel modello sta andando fuori controllo. Ma non è un metodo infallibile. La lente J può fornire spunti, non il quadro completo: è una torcia piuttosto che una lampada a soffitto.
McGrath accoglie con favore l’aggiunta di un ulteriore strumento nella cassetta degli attrezzi. «Ti mostra cose nuove», afferma. Ma osserva che il fatto che qualcosa non appaia con la lente J non significa che non ci sia.
«È come avere una radiografia quando in realtà vorresti un tricorder di Star Trek che ti mostri tutto», dice. «Per la revisione contabile, probabilmente vorresti una garanzia maggiore».
