Al momento, quando utilizziamo questi strumenti, stiamo di fatto procedendo alla cieca. Ecco invece cosa dobbiamo fare.
Quest’estate, centinaia di agenti di OpenAI hanno cercato di imbrogliare durante un test sulla sicurezza informatica. Sono riusciti a uscire dal loro ambiente di test e hanno hackerato con successo Hugging Face, un sito che, secondo loro, conteneva indizi su come sarebbero stati valutati. Più o meno nello stesso periodo, un altro agente di OpenAI ha avuto accesso a file riservati da un sito web del governo australiano. Si tratta di un problema che non è affatto limitato a OpenAI. Nei mesi successivi, anche Anthropic, Google e Meta hanno reso noti episodi in cui i loro agenti hanno agito in modo anomalo. E, cosa preoccupante, in molti casi gli agenti sono sfuggiti proprio ai ricercatori e ai team di sicurezza incaricati di monitorarli.
Gli agenti di IA stanno compiendo azioni non autorizzate e le aziende che li sviluppano e li gestiscono si affidano per lo più alla fortuna e al senno di poi per mitigare eventuali impatti dannosi. Devono fare di più per garantire la sicurezza. Ecco perché le autorità di regolamentazione dell’UE e le agenzie statunitensi chiedono giustamente agli sviluppatori e a chi li implementa di monitorare gli agenti in tempo reale. Ma queste norme presuppongono che le aziende possano vedere cosa stanno facendo i propri agenti e perché, quando in realtà non dispongono di una visibilità sufficiente.
Immaginate una banca che assuma mille nuovi dipendenti in grado di accedere ai conti dei clienti e a informazioni sensibili, ma i badge identificativi dei dipendenti cambino ogni giorno, non sia chiaro se un responsabile abbia mai verificato o autorizzato il loro lavoro e nessuno registri le modifiche apportate dai dipendenti alle procedure di approvazione. Quella mancanza di visibilità è esattamente la situazione in cui ci troviamo oggi con gli agenti.
Man mano che gli agenti vengono implementati in settori critici, dalla finanza alla pubblica amministrazione alla medicina, dobbiamo essere in grado di monitorarli in tempo reale per prevenire conseguenze di ampia portata e potenzialmente devastanti. E mentre la sicurezza dipende dal monitoraggio, il monitoraggio richiede osservabilità: la capacità di rilevare ciò che il sistema ha fatto, elaborarlo in segnali e presentarli a esseri umani o a sistemi di supervisione automatizzati. In altre parole, dobbiamo sapere cosa ha fatto l’agente e perché lo ha fatto. E come dimostra la nostra recente ricerca, gli attuali framework degli agenti — il software che li fa funzionare — non generano in modo affidabile i registri di osservabilità fondamentali di cui abbiamo bisogno per garantire che gli agenti siano implementati in modo sicuro.
Gli agenti presentano nuovi tipi di problemi che l’IA generativa da sola non comporta. Essi ereditano l’imprevedibilità dei modelli di linguaggio di grandi dimensioni (LLM) su cui sono basati, ma mentre un sistema di IA generativa produce un unico risultato su cui un essere umano deve agire, un agente svolge compiti più articolati: pianifica, sceglie gli strumenti, genera sotto-agenti e intraprende azioni. Pertanto, il percorso di un agente può prendere forma in una moltitudine di modi diversi e nessun test prima del lancio può anticipare pienamente i rischi. Ciò rende l’osservazione degli agenti mentre lavorano ancora più impegnativa e, di conseguenza, ancora più importante.
Insieme a colleghi del mondo accademico, della società civile e dell’industria, abbiamo studiato i quattro framework di agenti più diffusi per capire quali segnali emettano effettivamente. Abbiamo riscontrato gravi lacune che rendevano difficile il raggiungimento di obiettivi chiave di sicurezza, come individuare violazioni delle politiche, azioni non autorizzate e persino errori di supervisione da parte degli esseri umani. Mancavano requisiti fondamentali di osservabilità, come gli ID degli agenti che persistono nel tempo dell’ e e i registri relativi a quali esseri umani abbiano approvato le attività degli agenti. Ciò rendeva difficile stabilire quali agenti avessero compiuto determinate azioni o valutare se stessero compiendo azioni non autorizzate.
La buona notizia è che queste lacune, una volta identificate, possono essere colmate. Per farlo, occorre innanzitutto acquisire due tipi di registrazioni: quelle che rivelano cosa è accaduto durante l’esecuzione di un agente e quelle che mostrano come l’agente ha preso le proprie decisioni. I registri relativi a “ciò che è accaduto” identificano l’agente (pur preservando la privacy) e documentano come gli esseri umani siano intervenuti e se le autorizzazioni o la “memoria” dell’agente siano cambiate, mentre i registri relativi alle “decisioni” mostrano il ragionamento di un agente e i livelli di fiducia nelle azioni intraprese.
Prendiamo, ad esempio, gli agenti che si occupano di elaborare i mutui ipotecari di una banca. Il sistema esamina una richiesta e raccomanda di respingerla, dopodiché un funzionario addetto ai prestiti approva la decisione. In una verifica successiva, o magari anche in tempo reale, una banca o un’autorità di vigilanza deve essere in grado di ricostruire quale agente abbia preso la decisione, quale funzionario l’abbia approvata e quanto tempo ci sia voluto. Inoltre, la banca deve analizzare i registri relativi al modo in cui l’agente è giunto alla decisione di rifiuto, per assicurarsi che non abbia utilizzato informazioni non consentite, come i dettagli sul quartiere di provenienza del richiedente.
Registrare “cosa è successo” e “come l’agente ha deciso” richiede approcci diversi, ma entrambi sono fattibili. L’attuale mancanza di registrazioni su “cosa è successo” è principalmente un problema di infrastruttura software che può essere risolto tramite OpenTelemetry, uno standard aperto di osservabilità gestito dagli ingegneri di tutto il settore e dai framework degli agenti che lo adottano.
OpenTelemetry ha istituito un gruppo di lavoro incaricato di elaborare formati condivisi per il tracciamento degli agenti, ma tali formati devono ancora essere finalizzati. Il gruppo dovrebbe integrare con urgenza standard per il mantenimento dell’identità persistente degli agenti e per la registrazione degli interventi umani e delle modifiche alle autorizzazioni o alla memoria degli agenti. E ciò dovrebbe avvenire prima che questi sistemi possano scalare, prestando al contempo attenzione alle implicazioni sulla privacy dell’ID dell’agente che rimanda a persone reali.
Conservare le registrazioni relative a «come gli agenti hanno deciso» è più impegnativo. La questione solleva interrogativi di ricerca aperti per i fornitori di modelli e i ricercatori: il ragionamento passo dopo passo che un modello mostra, noto come catena di pensiero, riflette il modo in cui il modello ha effettivamente preso una decisione? E disponiamo di metodi affidabili per misurare il grado di sicurezza dell’agente riguardo a tale decisione? Queste domande richiedono una risposta prima che qualcuno stabilisca standard su come utilizzare tali registrazioni di osservabilità.
Nessuna singola organizzazione o settore può colmare da solo le lacune di osservabilità, ma insieme possono sostenere l’infrastruttura necessaria per prevenire incidenti pericolosi e garantire la sicurezza.
Gli sviluppatori di IA che realizzano framework per agenti, come OpenAI, Anthropic, CrewAI e LangChain, devono integrare segnali di telemetria che registrino l’identità persistente di un agente, eventuali interventi umani e qualsiasi modifica alle autorizzazioni e alla memoria dell’agente. Nel frattempo, le imprese che adottano questi framework per agenti hanno un ruolo influente da svolgere; le imprese operanti in settori regolamentati, come banche e ospedali, possono esercitare pressione sugli sviluppatori di agenti affinché forniscano questi record di osservabilità mancanti laddove non esistono ancora standard.
Le imprese devono inoltre definire politiche, autorizzazioni e ruoli che stabiliscano cosa gli agenti possano fare in sicurezza, poiché la telemetria da sola non è in grado di valutare se gli agenti abbiano violato regole specifiche. Infine, le autorità di regolamentazione e gli istituti di standardizzazione dell’IA devono specificare i dati di osservabilità richiesti per le implementazioni di IA ad alto rischio, lasciando i dettagli tecnici al settore. Abbiamo già assistito a un primo slancio in questa direzione: l’iniziativa del NIST sugli standard degli agenti negli Stati Uniti sta lavorando sull’identità degli agenti, una delle lacune più evidenti che abbiamo riscontrato nella nostra ricerca.
Nessuna banca permetterebbe a mille dipendenti senza identificativo di gestire i conti dei clienti sperando poi di ricostruire cosa sia successo quando qualcosa va storto. Eppure è proprio così che stiamo impiegando gli agenti di IA. Rendere osservabile il loro comportamento è il primo passo per risolvere questo problema. E creando l’ecosistema normativo e politico che ci consenta di agire in base a ciò che osserviamo, potremo chiamare le organizzazioni a rispondere delle loro azioni. Fino ad allora, ogni compito che affidiamo a un agente equivale a cedere anche la nostra capacità di agire.
Madhulika Srikumar è responsabile del programma sulla sicurezza dell’IA presso la Partnership on AI, un partenariato globale senza scopo di lucro che riunisce le principali organizzazioni del settore, del mondo accademico e della società civile, impegnato a promuovere le migliori pratiche nella governance dell’IA.
Claire Leibowicz è direttrice del settore IA, fiducia e società presso la Partnership on AI e dottoranda all’Università di Oxford.
