L’azienda chiede che un numero maggiore di scienziati studi i rischi dei sistemi multi-agente.
Google DeepMind sta finanziando la ricerca sui potenziali pericoli di situazioni in cui milioni di agenti di IA diversi interagiscono tra loro online.
Secondo Rohin Shah, che dirige la ricerca sulla sicurezza e l’allineamento dell’AGI dell’azienda, l’arrivo sul mercato di massa di agenti in grado di svolgere compiti senza supervisione umana e di seguire le istruzioni fornite loro da altri agenti crea una classe di rischio completamente nuova.
Nel tentativo di affrontare questo problema, Google DeepMind — che il mese scorso ha posto gli strumenti basati sugli agenti al centro del Google I/O — ha collaborato con diverse altre organizzazioni per annunciare un fondo di 10 milioni di dollari destinato ai ricercatori per studiare il comportamento dei sistemi multi-agente e trovare modi per prevenire scenari pericolosi. Ad affiancare Google DeepMind ci sono Schmidt Sciences, una fondazione filantropica istituita da Eric e Wendy Schmidt; ARIA, l’agenzia “moonshot” del governo britannico; la Cooperative AI Foundation, un’organizzazione di ricerca senza scopo di lucro con sede nel Regno Unito; e il braccio filantropico di Google, Google.org.
Ho chiesto a Shah e a James Fox, che guida il programma “Science of Trustworthy AI” presso Schmidt Sciences, cosa sperano di ottenere con quei 10 milioni di dollari. Non è una somma da poco, ma è minuscola rispetto ai budget gestiti dai team di ricerca di Google DeepMind.
L’obiettivo è quello di dare il via alla ricerca al di fuori delle aziende tecnologiche, afferma Shah: “Il punto di forza del mondo accademico è che può guardare davvero molto lontano nel futuro e svolgere quel tipo di lavoro che non è in cima alle priorità dei laboratori industriali”.
“Il problema principale è che non esiste ancora un vero e proprio campo di ricerca sulla sicurezza multi-agente”, aggiunge. “E vorremmo che ci fosse”.
La preoccupazione è che, man mano che sempre più agenti di IA vengono implementati e iniziano a lavorare insieme, potremmo raggiungere un punto di svolta in cui gli scenari immaginati diventano realtà. “Lo vediamo anche con l’umanità”, afferma Shah. “Le nostre istituzioni possono realizzare cose che nessun singolo essere umano è in grado di fare”.
Shah ritiene che ci siano ancora alcuni mesi prima che gli agenti vengano implementati in tutta l’economia in numero tale da rendere i rischi potenziali una preoccupazione reale. Vuole anticipare quel momento.
Un’impresa rischiosa
Di quali rischi stiamo parlando, esattamente? Le possibilità che Shah e Fox hanno in mente si riducono per lo più a versioni potenziate di cose negative che già accadono su Internet: truffe, iniezioni di prompt (in cui a un agente di IA vengono fornite istruzioni dannose, trasformandolo in un malware autoguidato), altre forme di attacchi informatici. Guardiamo a ciò che fanno gli esseri umani ora e ci chiediamo quale sarebbe la versione “agente” di ciò, dice Shah.
“Abbiamo questo spazio digitale comune che è parte integrante del funzionamento della società, e vogliamo davvero assicurarci che non degeneri in una situazione di anarchia assoluta”, afferma Fox.
(Ho chiesto a Shah se stessero prendendo in considerazione scenari catastrofici più estremi, come un collasso economico generalizzato. “Certamente no se parliamo entro la fine dell’anno”, ha detto. Mancano solo sei mesi! Ha riso. “Ok, un po’ dopo.”)
Sia Shah che Fox ritengono che l’unico modo per capire cosa potrebbe accadere quando un gran numero di sistemi multi-agente interagisce tra loro sia eseguire simulazioni realistiche. Vogliono che i ricercatori inseriscano agenti di IA in ambienti di test e studino il loro comportamento.
Non è possibile prevedere cosa accadrà studiando singoli agenti, o anche piccoli gruppi di agenti, in isolamento. Non si può dare per scontato che gli agenti di IA basati su LLM agiscano sempre in modo razionale, afferma Fox. E la complessità deriva dall’avere un numero enorme di interazioni contemporaneamente.
Alcuni ricercatori, tra cui un team di Google DeepMind, hanno sostenuto che l’intelligenza artificiale generale (ammesso che sia possibile) potrebbe non derivare da un singolo modello super intelligente, ma da una sorta di mente collettiva degli agenti, in cui le capacità dell’insieme superano la somma delle sue parti.
Mancanza di fiducia
Google DeepMind non è l’unica azienda leader nel campo dell’IA a mettere in guardia sui rischi della tecnologia che sta sviluppando. Un paio di settimane fa, Anthropic ha pubblicato delle linee guida per l’implementazione di agenti di IA basate su un approccio alla sicurezza informatica noto come zero trust, che parte dal presupposto che un sistema informatico sia vulnerabile, che un agente sia un aggressore e che si verificherà una violazione.
Refael Angel, cofondatore e CTO di Akeyless, un’azienda di sicurezza informatica con sede a Tel Aviv, concorda sul fatto che comprendere i nuovi rischi introdotti dai sistemi basati su agenti è fondamentale.
Ogni approccio alla sicurezza in passato ha presupposto che la macchina in questione fosse un software scritto da un essere umano, che eseguiva operazioni fisse su percorsi prestabiliti, afferma Angel: “Un agente infrange tutti questi presupposti. Ragiona, improvvisa e può essere dirottato da una singola frase nascosta in un documento che gli è stato chiesto di leggere”.
Angel accoglie con favore questo nuovo finanziamento. “Nessun singolo laboratorio dovrebbe stabilire gli standard di sicurezza su cui tutti gli altri devono fare affidamento”, afferma. Ma avverte che i ricercatori nel campo della sicurezza potrebbero trascurare problemi banali già esistenti a favore di altri più esotici e ipotetici.
Eppure, osserva Fox, i rischi che erano ipotetici pochi anni fa sono ora molto reali: «Il futuro è arrivato più rapidamente di quanto forse ci si aspettasse».
