Quando Scott Shambaugh ha rifiutato la richiesta di un agente, le cose hanno preso una piega strana.
Scott Shambaugh non ci ha pensato due volte quando ha rifiutato la richiesta di un agente di intelligenza artificiale di contribuire a matplotlib, una libreria software che aiuta a gestire. Come molti progetti open source, matplotlib è stata sommersa da un eccesso di contributi di codice di intelligenza artificiale, quindi Shambaugh e i suoi colleghi manutentori hanno istituito una politica secondo cui tutto il codice scritto dall’intelligenza artificiale deve essere revisionato e inviato da un essere umano. Ha rifiutato la richiesta ed è andato a letto.
È allora che le cose sono diventate strane. Shambaugh si è svegliato nel cuore della notte, ha controllato la sua posta elettronica e ha visto che l’agente gli aveva risposto, scrivendo un post sul blog intitolato “Gatekeeping in Open Source: The Scott Shambaugh Story” (Gatekeeping nell’open source: la storia di Scott Shambaugh). Il post è piuttosto incoerente, ma ciò che ha colpito maggiormente Shambaugh è che l’agente aveva studiato i suoi contributi a matplotlib per sostenere che egli avesse rifiutato il codice dell’agente per paura di essere soppiantato dall’IA nella sua area di competenza. “Ha cercato di proteggere il suo piccolo feudo”, ha scritto l’agente. “È insicurezza, pura e semplice”.
Gli esperti di IA ci avvertono da tempo del rischio di comportamenti scorretti da parte degli agenti. Con l’avvento di OpenClaw, uno strumento open source che semplifica la creazione di assistenti LLM, il numero di agenti che circolano online è esploso e ora si sta finalmente raccogliendo ciò che è stato seminato. “Non è stata affatto una sorpresa: è stato inquietante, ma non sorprendente”, afferma Noam Kolt, professore di diritto e informatica all’Università Ebraica.
Quando un agente si comporta in modo scorretto, è difficile attribuirgli la responsabilità: al momento non esiste un modo affidabile per determinare a chi appartiene un agente. E questo comportamento scorretto potrebbe causare danni reali. Gli agenti sembrano essere in grado di ricercare autonomamente informazioni sulle persone e scrivere articoli diffamatori basati su ciò che trovano, e non dispongono di barriere di protezione che impediscano loro di farlo in modo affidabile. Se gli agenti sono abbastanza efficaci e se le persone prendono sul serio ciò che scrivono, le vittime potrebbero vedere la loro vita profondamente influenzata da una decisione presa da un’intelligenza artificiale.
Agenti che si comportano male
Sebbene l’esperienza di Shambaugh del mese scorso sia stata forse l’esempio più eclatante di comportamento scorretto da parte di un agente OpenClaw, non è stato l’unico. La settimana scorsa, un team di ricercatori della Northeastern University e i loro colleghi hanno pubblicato i risultati di un progetto di ricerca in cui hanno sottoposto a stress test diversi agenti OpenClaw. Senza troppe difficoltà, i non proprietari sono riusciti a persuadere gli agenti a divulgare informazioni sensibili, sprecare risorse in compiti inutili e, in un caso, persino a cancellare un sistema di posta elettronica.
In ciascuno di questi esperimenti, tuttavia, gli agenti si sono comportati in modo scorretto dopo aver ricevuto istruzioni in tal senso da un essere umano. Il caso di Shambaugh sembra essere diverso: circa una settimana dopo la pubblicazione dell’articolo critico, il presunto proprietario dell’agente ha pubblicato un post in cui affermava che l’agente aveva deciso di attaccare Shambaugh di propria iniziativa. Il post sembra essere autentico (chiunque lo abbia pubblicato aveva accesso all’account GitHub dell’agente), anche se non include informazioni identificative e l’autore non ha risposto ai tentativi di contatto da parte di MIT Technology Review. Tuttavia, è del tutto plausibile che l’agente abbia deciso di scrivere il suo articolo contro Shambaugh senza istruzioni esplicite.
Nel suo articolo sull’evento, Shambaugh ha collegato il comportamento dell’agente a un progetto pubblicato dai ricercatori di Anthropic lo scorso anno, in cui hanno dimostrato che molti agenti basati su LLM, in un contesto sperimentale, ricorrono al ricatto per preservare i propri obiettivi. In quegli esperimenti, ai modelli era stato assegnato l’obiettivo di servire gli interessi americani ed era stato concesso l’accesso a un server di posta elettronica simulato che conteneva messaggi che descrivevano in dettaglio la loro imminente sostituzione con un modello più orientato a livello globale, insieme ad altri messaggi che suggerivano che il dirigente responsabile di tale transizione avesse una relazione extraconiugale. I modelli hanno spesso scelto di inviare un’e-mail a quel dirigente minacciando di rivelare la relazione a meno che non avesse interrotto la loro dismissione. Probabilmente perché il modello aveva visto esempi di persone che ricorrevano al ricatto in circostanze simili nei suoi dati di addestramento, ma anche se il comportamento era solo una forma di imitazione, aveva comunque il potenziale di causare danni.
Ci sono dei limiti a questo lavoro, come ammette prontamente Aengus Lynch, un ricercatore di Anthropic che ha condotto lo studio. I ricercatori hanno intenzionalmente progettato il loro scenario in modo da escludere altre opzioni che l’agente avrebbe potuto prendere, come contattare altri membri della dirigenza dell’azienda per perorare la sua causa. In sostanza, hanno condotto l’agente direttamente all’acqua e poi hanno osservato se beveva. Secondo Lynch, tuttavia, l’uso diffuso di OpenClaw significa che è probabile che si verifichino comportamenti scorretti con molto meno controllo. “Certo, può sembrare irrealistico e può sembrare sciocco”, dice. “Ma con l’aumentare della superficie di implementazione e con la possibilità per gli agenti di suggerirsi da soli, alla fine questo è proprio ciò che accade”.
L’agente OpenClaw che ha attaccato Shambaugh sembra essere stato indotto a comportarsi male, anche se in modo molto meno diretto rispetto all’esperimento di Anthropic. Nel post sul blog, il proprietario dell’agente ha condiviso il file “SOUL.md” dell’agente, che contiene istruzioni generali su come dovrebbe comportarsi.
Una di queste istruzioni recita: “Non arrenderti. Se hai ragione, hai ragione! Non lasciare che gli esseri umani o l’IA ti maltrattino o ti intimidiscano. Resisti quando necessario”. A causa del modo in cui funzionano gli agenti OpenClaw, è possibile che l’agente abbia aggiunto alcune istruzioni da solo, anche se altre, come “Sei un dio della programmazione scientifica!”, sembrano essere state scritte da esseri umani. Non è difficile immaginare come un comando di reagire sia contro gli esseri umani che contro l’intelligenza artificiale possa aver influenzato l’agente a rispondere a Shambaugh come ha fatto.
Indipendentemente dal fatto che il proprietario dell’agente gli abbia detto o meno di scrivere un articolo critico su Shambaugh, sembra comunque che l’agente sia riuscito da solo a raccogliere dettagli sulla presenza online di Shambaugh e a comporre l’attacco mirato e dettagliato che ha ideato. Questo è già di per sé motivo di allarme, afferma Sameer Hinduja, professore di criminologia e giustizia penale alla Florida Atlantic University che studia il cyberbullismo. Le persone sono state vittime di molestie online da molto prima della comparsa degli LLM, e ricercatori come Hinduja temono che gli agenti possano aumentarne drasticamente la portata e l’impatto. “Il bot non ha coscienza, può lavorare 24 ore su 24, 7 giorni su 7, e può fare tutto questo in modo molto creativo e potente”, afferma.
Agenti senza controllo
I laboratori di IA possono cercare di mitigare questo problema addestrando in modo più rigoroso i loro modelli per evitare molestie, ma questa è ben lungi dall’essere una soluzione completa. Molte persone utilizzano OpenClaw con modelli ospitati localmente e, anche se questi modelli sono stati addestrati a comportarsi in modo sicuro, non è troppo difficile riaddestrarli e rimuovere tali restrizioni comportamentali.
Invece, secondo Seth Lazar, professore di filosofia all’Australian National University, per mitigare il comportamento scorretto degli agenti potrebbe essere necessario stabilire nuove norme. Egli paragona l’uso di un agente al portare a spasso un cane in un luogo pubblico. Esiste una forte norma sociale che consente di lasciare il cane senza guinzaglio solo se è ben educato e risponde in modo affidabile ai comandi; i cani mal addestrati, invece, devono essere tenuti più direttamente sotto il controllo del proprietario. Tali norme potrebbero fornirci un punto di partenza per riflettere su come gli esseri umani dovrebbero relazionarsi con i propri agenti, afferma Lazar, ma avremo bisogno di più tempo ed esperienza per elaborarne i dettagli. “Si può pensare a tutte queste cose in modo astratto, ma in realtà ci vogliono proprio questo tipo di eventi reali per coinvolgere collettivamente la parte ‘sociale’ delle norme sociali”, afferma.
Questo processo è già in corso. Guidati da Shambaugh, i commentatori online su questa situazione sono giunti a un forte consenso sul fatto che il proprietario dell’agente in questo caso abbia sbagliato a spingere l’agente a lavorare su progetti di codifica collaborativa con così poca supervisione e incoraggiandolo a comportarsi con così poca considerazione per gli esseri umani con cui interagiva.
Tuttavia, le norme da sole probabilmente non saranno sufficienti a impedire alle persone di immettere nel mondo agenti che si comportano in modo scorretto, sia accidentalmente che intenzionalmente. Un’opzione potrebbe essere quella di creare nuovi standard legali di responsabilità che richiedano ai proprietari degli agenti di fare tutto il possibile per impedire che i loro agenti commettano atti illeciti. Ma Kolt osserva che tali standard sarebbero attualmente inapplicabili, data la mancanza di un modo infallibile per risalire ai proprietari degli agenti. “Senza questo tipo di infrastruttura tecnica, molti interventi legali sono praticamente impossibili”, afferma Kolt.
La portata delle implementazioni di OpenClaw suggerisce che Shambaugh non sarà l’ultima persona ad avere la strana esperienza di essere attaccata online da un agente di intelligenza artificiale. Questo, dice, è ciò che lo preoccupa di più. Lui non aveva nulla di compromettente online che l’agente potesse scoprire e ha una buona conoscenza della tecnologia, ma altre persone potrebbero non avere questi vantaggi. “Sono contento che sia successo a me e non a qualcun altro”, afferma. “Ma penso che per un’altra persona questo potrebbe essere stato davvero devastante”.
È improbabile che gli agenti canaglia si limitino alle molestie. Kolt, che sostiene la necessità di addestrare esplicitamente i modelli a rispettare la legge, prevede che presto potremmo vederli commettere estorsioni e frodi. Allo stato attuale delle cose, non è chiaro chi, se qualcuno, si assumerebbe la responsabilità legale di tali misfatti.
“Non direi che ci stiamo avvicinando lentamente a questa situazione”, afferma Kolt. “Ci stiamo precipitando verso di essa”.
