Alcune minacce alla sicurezza informatica legate all’IA sono incredibilmente semplici. Ma sono comunque pericolose.
Il 5 giugno, 404 Media ha riferito che alcuni hacker avevano utilizzato l’agente di assistenza clienti basato sull’IA di Meta per rubare account Instagram. Il loro approccio era semplice: hanno chiesto all’agente di collegare gli account a indirizzi e-mail da loro controllati e l’agente ha obbedito. Un hacker è entrato nell’account inattivo della Casa Bianca di Obama e ha pubblicato post a favore dell’Iran; altri hanno preso il controllo di account con nomi utente di una sola parola di grande valore, probabilmente per venderli.
Le preoccupazioni sulla sicurezza informatica dell’IA non sono una novità. Da quando Anthropic ha annunciato ad aprile che il suo modello Mythos era troppo efficace nell’hacking per essere rilasciato al grande pubblico, commentatori, ricercatori e funzionari federali si sono fissati sull’idea che sistemi di IA superpotenti potrebbero devastare la nostra infrastruttura informatica. Non è proprio quello che è successo in questo caso di hacking su Instagram: lì, l’IA era l’obiettivo piuttosto che l’autore dell’attacco, e il metodo era molto più semplice di qualsiasi cosa Mythos avrebbe potuto escogitare. Ma man mano che le aziende affidano più lavoro all’IA, questi attacchi relativamente poco sofisticati potrebbero causare gravi danni.
“Man mano che l’IA diventa sempre più diffusa, specialmente quando viene utilizzata per automatizzare i nostri flussi di lavoro, come il recupero degli account, penso che gli aggressori saranno sempre più motivati ad attaccare l’IA stessa”, afferma Neil Gong, professore di ingegneria elettrica e informatica alla Duke University.
Gong e altri studiosi lanciano da tempo avvertimenti sulle vulnerabilità di sicurezza degli agenti di IA. Pubblicano articoli e post sui blog che descrivono in dettaglio exploit come l’iniezione indiretta di prompt, che comporta il dirottamento degli agenti utilizzando comandi nascosti in siti web, e-mail o altre fonti di dati apparentemente innocue. Rispetto a queste tecniche, l’attacco a Meta è stato praticamente banale. L’unica complicazione che gli hacker hanno dovuto superare è stata l’utilizzo di una VPN che corrispondesse alla posizione del vero proprietario dell’account; poi hanno chiesto direttamente all’agente dell’assistenza di cambiare l’indirizzo e-mail dell’account, e lui ha acconsentito.
Meta non ha commentato pubblicamente come questa vulnerabilità sia sfuggita ai controlli. Ma data la semplicità dell’exploit, dice Gong, avrebbe dovuto essere scoperta facilmente, prima che l’agente fosse implementato. “È davvero sorprendente”, dice. “Non capisco perché non abbiano trovato questo semplice problema”.
Jessica Ji, analista di ricerca senior presso il Center for Security and Emerging Technology di Georgetown, è d’accordo. “Ciò solleva domande del tipo: c’erano almeno delle misure di sicurezza in atto?”, dice. “Qualcuno ha pensato di testare questo tipo di scenario?” Osserva che la svista è particolarmente sorprendente provenendo da un’azienda come Meta, che ha una vasta esperienza sia nell’IA che nella sicurezza informatica. Meta non ha risposto a una richiesta di commento per questo articolo dell’ , ma lunedì un portavoce di Meta ha dichiarato su X che la vulnerabilità era stata risolta.
Per quanto imbarazzante possa essere questo momento per Meta in particolare, esso mette in luce anche alcune vulnerabilità fondamentali condivise da tutti gli agenti di IA. A differenza del software tradizionale, gli agenti possono rispondere in modo flessibile – e inaspettato – a nuove circostanze, motivo per cui potrebbero essere in grado di sostituire gli agenti umani dell’assistenza clienti. Ma gli agenti di IA possono anche essere ingannati in modi in cui gli esseri umani non lo sarebbero, e poiché possono compiere azioni nel mondo reale, quegli errori hanno delle conseguenze. “Un essere umano direbbe: ‘Ok, perché vuoi cambiare l’indirizzo e-mail?’ e magari risponderebbe con una domanda di sicurezza”, afferma Somesh Jha, professore di informatica all’Università del Wisconsin-Madison. “Il problema di questi agenti è che sono molto ansiosi di portare a termine il compito. È quasi come uno studente delle elementari che vuole solo compiacere l’insegnante”.
Esistono modi per mitigare i rischi. Le aziende possono utilizzare software tradizionali per creare barriere di protezione che assicurino che gli agenti seguano regole rigide, come chiedere sempre le risposte alle domande di sicurezza prima di inviare informazioni sensibili sull’account a un nuovo indirizzo e-mail. E gli esperti consultati per questo articolo concordano tutti sul fatto che gli agenti dovrebbero essere sottoposti a un rigoroso red-teaming, un processo in cui gli sviluppatori fanno del loro meglio per attaccare un sistema al fine di scoprirne le vulnerabilità prima che venga implementato.
Ma ci sono anche forze contrarie. Le aziende vogliono implementare agenti capaci, e maggiore è il potere di un agente — e minori sono le barriere di protezione a cui è soggetto — maggiore è il lavoro che potenzialmente può svolgere. “Sicurezza e utilità sono sempre in contrapposizione”, afferma Bo Li, professore di informatica all’Università dell’Illinois Urbana-Champaign. E un red-teaming adeguato può essere costoso. I difensori devono impiegare più risorse rispetto agli aggressori, perché questi ultimi devono solo scoprire un singolo exploit, mentre i difensori cercano di individuarne e correggere il maggior numero possibile. Quando gli aggressori puntano a qualcosa di prezioso come un nome utente Instagram di una sola parola, investono risorse nella ricerca di exploit, quindi i difensori devono spendere ancora più denaro per proteggere quel bottino.
Man mano che i modelli di IA continuano a migliorare, rafforzare le loro difese potrebbe effettivamente diventare più facile. Sebbene la natura probabilistica dei modelli linguistici di grandi dimensioni implichi che gli agenti LLM saranno sempre vulnerabili ad alcune forme di attacco, un modello più sofisticato avrebbe potuto identificare come sospetto un tentativo di modificare l’indirizzo e-mail associato all’account della Casa Bianca di Obama. Inoltre, i sistemi di IA possono essere utilizzati per il red-teaming degli agenti, proprio come i partecipanti al Progetto Glasswing di Anthropic utilizzano Mythos per identificare le vulnerabilità nel loro software.
Tuttavia, gli esperti prevedono che il problema della sicurezza degli agenti di IA diventerà sempre più urgente in futuro. Man mano che gli agenti diventano più capaci, le aziende che li adottano potrebbero voler conferire loro più potere, sia per fornire più servizi con meno personale umano, sia per evitare di essere superate dalla concorrenza. Nel mondo in rapida evoluzione dell’IA, il tempo necessario per proteggere accuratamente i sistemi agentici a rischio potrebbe sembrare un ritardo inaccettabile.
“Tutti vogliono essere i primi a fare qualcosa e si limitano a lanciare i prodotti senza un attento esame e senza ricorrere al red teaming”, afferma Jha. “Penso che sia una cosa molto pericolosa”.
