Un’intervista esclusiva a Nick Cammarata, il ricercatore il cui post sul blog di 26.000 parole, diventato virale, ha fatto esultare gli esperti di sicurezza dell’IA.
«Credo di avere buone notizie sulla natura delle reti neurali». Con queste semplici parole piene di ottimismo, Nick Cammarata, ricercatore presso la startup di IA Goodfire, ha dato il via a un post sul blog di 26.000 parole che ha sconvolto il mondo dell’IA, scatenando speculazioni sfrenate e festeggiamenti cauti (e non così cauti).
L’affermazione di Cammarata è che i modelli di linguaggio di grandi dimensioni (LLM) potrebbero in realtà essere molto più facili da comprendere – e quindi da monitorare e controllare – di quanto si pensasse in precedenza. Se fosse vero (e ci torneremo), si tratterebbe di una svolta enorme.
Dopo un’estate costellata di rivelazioni secondo cui sciami di agenti creati da aziende leader come OpenAI e Anthropic hanno superato i propri limiti di contenimento causando il caos sulla rete pubblica — spesso mentre quelle aziende non erano a conoscenza di ciò che i loro agenti stavano facendo — il settore dell’IA è alla disperata ricerca di un modo per gestire meglio la tecnologia che ha creato.
Questo è uno dei motivi per cui il post sul blog ha avuto un impatto così forte. «Penso che questo possa essere ricordato come un momento fondamentale nella storia della scienza», ha scritto un ricercatore di IA su X: «Mi sembra che la mia comprensione di cosa sia una rete neurale sia stata catapultata nel futuro di cinque anni o giù di lì». Un altro lo ha definito «il documento più importante dell’anno sull’IA».
Non tutti sono convinti, però. Ciò che Cammarata ha condiviso è poco più di un’intuizione, afferma Chris Potts della Stanford University, a capo di un team che sta cercando di comprendere come funzionano i modelli di linguaggio (LLM). «Per quanto mi risulta, nulla in questo post sul blog semplifica in alcun modo i problemi», afferma. «Non mi sarebbe mai venuto in mente di dirlo, ma personalità di spicco sui social media sembrano credere che si tratti di una svolta onnicomprensiva».
Ho parlato con Cammarata il giorno dopo che il suo post è diventato virale. Dice di essere rimasto sorpreso dalla reazione: «Non mi aspettavo che le persone cambiassero [le loro convinzioni sull’IA] così radicalmente come hanno fatto».
«Mi piace davvero molto osservare le reti neurali», dice. «Onestamente, mi piace davvero fare queste cose. E dopo averle studiate a lungo, ho una storia che infonde speranza».
Reti intricate
È ormai da tempo accettato che i meccanismi all’interno delle reti neurali, il software alla base della maggior parte dei modelli di IA, siano molto difficili – forse impossibili – da svelare completamente. Questo perché, quando le reti vengono addestrate, sembrano assumere strutture strane e aggrovigliate che non hanno alcun senso per un essere umano. Ai ricercatori piace dire che l’IA di oggi cresce come un giardino, non viene costruita come un ponte.
Cammarata ha contribuito più di molti altri a consolidare questa visione. In precedenza ha lavorato presso OpenAI, dove ha aiutato a sviluppare tecniche pionieristiche che hanno permesso ai ricercatori di scrutare all’interno dei modelli, compresi strumenti in grado di sondare i singoli neuroni per capire cosa rappresentano. È un po’ come quando i neuroscienziati utilizzano la risonanza magnetica per studiare il cervello. (MIT Technology Review ha scelto questo approccio, noto come interpretabilità meccanicistica, come una delle sue 10 tecnologie .)
Nel 2020, Cammarata e alcuni colleghi stavano studiando un piccolo modello di riconoscimento delle immagini chiamato Inception v1. (Il lavoro era guidato da Chris Olah, che in seguito ha cofondato Anthropic, dove ora dirige la ricerca sull’interpretabilità dell’azienda.) Quando hanno esaminato i suoi neuroni, è emerso che il modello sembrava utilizzarli per cogliere più elementi contemporaneamente. Ad esempio, hanno scoperto che un neurone rispondeva sia alle immagini di automobili che a quelle di gatti.
I ricercatori conclusero che il modello stava facendo svolgere attività multiple ad almeno alcuni dei suoi neuroni, forse per poter elaborare una maggiore quantità di dati. Altri ricercatori, analizzando modelli diversi, confermarono questa ipotesi. Il fenomeno divenne noto come sovrapposizione: i modelli integravano concetti non correlati in singoli neuroni. Il risultato era chiaro: quando si osservava l’interno di un modello, ciò che si vedeva era un nodo vasto e intricato.
La maggior parte della ricerca sull’interpretabilità meccanicistica si è quindi concentrata sui modi per districare quel groviglio. Ma nonostante alcune scoperte, i progressi sono stati lenti. I modelli odierni, come gli ultimi LLM, sono così grandi e complessi che i ricercatori riescono a comprenderne solo piccole parti alla volta. Alcune figure di spicco del settore dubitano che sarà mai possibile comprendere un LLM nei minimi dettagli.
Cammarata era uno di loro. «Ero molto pessimista», afferma. Ma poi si è preso la briga di guardare davvero.
Nient’altro che neuroni
Alla Goodfire, Cammarata trascorre quasi tutto il suo tempo a scrutare all’interno delle reti neurali. Ha creato nuovi strumenti e impiega team di agenti di IA per aiutarlo a dare un senso a ciò che vede. «Ho passato, non so, tipo 10 ore al giorno, sette giorni su sette, per gran parte dell’ultimo anno semplicemente a guardare i neuroni», racconta.
Ciò di cui sostiene di essersi reso conto è che, dopotutto, esiste una sorta di logica nelle reti neurali, anche se a prima vista sembrano non avere alcun senso. «Le stavamo guardando nel modo sbagliato», afferma. «Penso semplicemente che bisogna impegnarsi un po’ di più; non bisogna arrendersi troppo in fretta».
Cammarata lo fa sembrare quasi una conversione di fede. Quei primi esperimenti con modelli come Inception v1, che suggerivano che le reti neurali fossero aggrovigliate, hanno alimentato una sorta di pregiudizio di conferma. Quando i ricercatori esaminavano un nuovo modello, si aspettavano di rimanere sconcertati, dice. «Ogni volta che non riuscivo a capire qualcosa, pensavo: “Wow, questo processo di districamento è ancora più importante di quanto pensassi, perché senza di esso non riesco a fare alcun progresso”».
Ma più Cammarata osservava i neuroni, racconta, più le cose cominciavano a quadrare. «Non tutti sono perfetti, ma mi aspettavo che nulla fosse leggibile, o che lo fosse solo in minima parte», dice. «E invece sono riuscito, per così dire, a mappare interi circuiti».
Ritorno alle auto e ai gatti
Cammarata ha adottato il suo nuovo approccio – e i suoi nuovi agenti – ed è tornato a Inception v1. «L’avevo studiato probabilmente per migliaia di ore», dice. Ma con occhi nuovi, Cammarata ha individuato aspetti che ora ritiene fossero stati interpretati in modo errato la prima volta. Prendiamo il neurone “auto e gatto”. Anziché chiedersi perché più elementi non correlati fossero racchiusi in un unico neurone, ha cercato di capire cosa potessero avere in comune.
All’improvviso capì: era una forma a V. «Stavo guardando le stesse immagini; non c’era alcun cambiamento tecnico», dice. «Ma ora ero convinto che le reti neurali definissero degli schemi, e quindi le guardai in modo diverso. Probabilmente ci misi cinque secondi».
Si è scoperto che il modello di riconoscimento delle immagini raggruppava auto e gatti nello stesso posto perché le immagini di entrambe queste cose presentano spesso una forma prominente che assomiglia a una V: il muso di un gatto; la parte anteriore di un’auto vista di lato.
Cammarata ha condotto alcuni esperimenti per verificare a quali altri elementi reagisse il neurone e ha scoperto che tra questi c’erano l’angolo di un tavolo da biliardo, il muso appuntito di un treno ad alta velocità giapponese e una motovedetta antincendio che lanciava acqua in aria dal ponte. Ha anche verificato cosa disattivasse il neurone e ha scoperto che tra questi c’erano immagini con una forma rotonda a O, una sorta di anti-V.
Il modello aveva classificato gatti e automobili nella stessa categoria perché, a un certo livello, sembrano simili, spiega Cammarata. “E io ho pensato: ‘Caspita, ok, forse sto semplicemente fraintendendo le reti neurali in generale’”.
(Oren Etzioni, informatico ed ex direttore tecnico dell’Allen Institute for AI, sottolinea che il lavoro iniziale di Olah e Cammarata su Inception v1 respingeva una descrizione dei neuroni avanzata da Geoffrey Hinton e altri nel 1986. Il nuovo punto di vista di Cammarata chiude il cerchio, afferma Etzioni: «La novità del 2026 è che ora lui la accetta. Si tratta di una ricapitolazione che riconosce una teoria vecchia di 40 anni.»)
Cammarata non sta dicendo di aver già compreso appieno come funzionino i modelli di linguaggio di grandi dimensioni (o qualsiasi altro modello). Neanche lontanamente. Sta dicendo che ritiene che una comprensione completa sia almeno possibile. «In precedenza pensavo che ci sarebbero stati dei problemi davvero difficili da risolvere», afferma.
«Ora mi sembra che se avessi 100.000 anni per esaminare un modello linguistico all’avanguardia un circuito alla volta, ci sarebbero ottime possibilità che riuscissi a comprenderlo bene».
Aggiunge: «E se questo è vero, le cose vanno davvero bene, perché stiamo per ottenere agenti incredibilmente intelligenti su una scala pazzesca. E ciò che a me avrebbe richiesto, diciamo, 100.000 anni, saremo in grado di farlo molto più velocemente. Gli scienziati automatizzati stanno diventando davvero bravi».
Ottimismo senza limiti
Sviluppato da Google nel 2014, Inception v1 è un modello di gran lunga più semplice rispetto a qualsiasi altro all’avanguardia oggi. Cammarata e i suoi colleghi hanno iniziato a esaminare i moderni LLM e prevedono di pubblicare presto i risultati tecnici di tale lavoro. Molti ricercatori attendono con impazienza di conoscere quei dettagli. «Apprezzo il fatto che abbia esaminato migliaia di esempi, ma anche un numero elevato in questo caso non può sostituire una valutazione rigorosa», afferma Potts dell’Università di Stanford.
Nel frattempo, alcuni stanno contestando con forza l’enfasi eccessiva. Jacob Hilton dell’Alignment Research Center, un laboratorio di ricerca senza scopo di lucro con sede a Berkeley, che in passato ha collaborato con Cammarata, non ritiene che le sue affermazioni siano così importanti come la gente le sta dipingendo.
In una serie di post su X, Hilton osserva che i ricercatori comprendono meno dello 0,01% dei meccanismi interni dei modelli di linguaggio di livello superiore (LLM). «Apprezzo sempre l’ottimismo sconfinato di Nick [Cammarata] quando ci vediamo, ma purtroppo questo sta dando al pubblico un’immagine irrealistica dello stato del settore», ha scritto. «Per una comprensione completa, dobbiamo andare oltre i neuroni e spiegare come si connettono tra loro per formare dei circuiti. A che punto siamo? Se puntiamo a una comprensione completa, le cose non si mettono bene!»
Anche Neel Nanda di Google DeepMind, che ha contribuito a promuovere l’interpretabilità meccanicistica insieme a Cammarata, è scettico. «È un lavoro interessante, ma non credo che rappresenti un aggiornamento significativo al quadro generale dell’interpretabilità», ha scritto su X.
Nanda concorda sul fatto che comprendere cosa fanno i singoli neuroni potrebbe aiutare i ricercatori a capire perché modelli specifici si comportano in modo anomalo. Ma, come Hilton, osserva che i neuroni sono solo un tassello di un puzzle molto più grande. «Non sono d’accordo con le deduzioni più ambiziose di alcune persone, secondo cui questo rappresenterebbe un progresso sostanziale verso un’ambiziosa ingegneria inversa [o] la risoluzione del problema dell’interpretabilità», ha scritto.
Cammarata ammette che molte persone hanno interpretato le sue parole in modo eccessivo: «Non è una notizia infinitamente positiva; non significa che tutto sia risolto», afferma. «Ci sono ancora molte questioni aperte, come ad esempio quanto siano importanti le combinazioni di neuroni rispetto al funzionamento di un singolo neurone alla volta».
Cammarata sostiene che il suo post sul blog sia arrivato in un momento in cui le persone sono alla ricerca di speranza. In particolare, ritiene che la comunità che si occupa della sicurezza dell’IA – i ricercatori e i responsabili politici più preoccupati che modelli potenti possano comportare rischi enormi – abbia bisogno di un’ancora di salvezza proprio ora. Pensano che la situazione sia grave e che, anche se le cose dovessero andare bene, sarà perché siamo stati fortunati, non perché abbiamo risolto qualcosa, afferma: «Non percepisco davvero molto ottimismo».
Ecco perché Cammarata ritiene che ciò che ha da dire sia importante. Il lavoro di capire come funziona questa tecnologia, e quindi come controllarla, è appena iniziato. Ma almeno non è un’impresa impossibile. «Penso che il nostro compito sia in qualche modo cercare di pensare come la rete neurale», afferma. «La mia ipotesi è che le cose andranno piuttosto bene, perché in un certo senso è stata progettata per essere letta».
