Le basi tecniche degli agenti creano il potenziale per violazioni che espongono l’intero mosaico della tua vita.
La capacità di ricordare te e le tue preferenze sta rapidamente diventando un importante punto di forza per i chatbot e gli agenti di intelligenza artificiale.
All’inizio di questo mese, Google ha annunciato Personal Intelligence, un nuovo modo per interagire con il chatbot Gemini dell’azienda che attinge alla cronologia di Gmail, delle foto, delle ricerche e di YouTube per rendere Gemini “più personale, proattivo e potente”. Ciò fa eco a iniziative simili di OpenAI, Anthropic e Meta volte ad aggiungere nuovi modi per i loro prodotti di intelligenza artificiale di ricordare e attingere dai dettagli personali e dalle preferenze delle persone. Sebbene queste funzionalità presentino potenziali vantaggi, dobbiamo fare di più per prepararci ai nuovi rischi che potrebbero introdurre in queste tecnologie complesse.
I sistemi di IA personalizzati e interattivi sono progettati per agire per nostro conto, mantenere il contesto delle conversazioni e migliorare la nostra capacità di svolgere ogni tipo di attività, dalla prenotazione di viaggi alla dichiarazione dei redditi. Dagli strumenti che apprendono lo stile di programmazione di uno sviluppatore agli agenti di shopping che setacciano migliaia di prodotti, questi sistemi si basano sulla capacità di memorizzare e recuperare dettagli sempre più intimi sui propri utenti. Ma farlo nel tempo introduce vulnerabilità allarmanti e fin troppo familiari in materia di privacy, molte delle quali incombono da quando i “big data” hanno iniziato a sfruttare il potere di individuare e agire sui modelli di comportamento degli utenti. Peggio ancora, gli agenti di IA sembrano ora pronti a superare qualsiasi misura di sicurezza adottata per evitare tali vulnerabilità.
Oggi interagiamo con questi sistemi attraverso interfacce conversazionali e cambiamo spesso contesto. Potresti chiedere a un singolo agente di IA di redigere un’e-mail per il tuo capo, fornirti consigli medici, preparare un budget per i regali di Natale e darti consigli sui conflitti interpersonali. La maggior parte degli agenti di IA raggruppa tutti i dati che vi riguardano, che un tempo potevano essere separati per contesto, scopo o autorizzazioni, in un unico archivio non strutturato. Quando un agente di IA si collega ad app esterne o ad altri agenti per eseguire un’attività, i dati nella sua memoria possono infiltrarsi in pool condivisi. Questa realtà tecnica crea il potenziale per violazioni della privacy senza precedenti che espongono non solo singoli dati isolati, ma l’intero mosaico della vita delle persone.
Quando le informazioni si trovano tutte nello stesso archivio, sono soggette a incroci di contesti in modi profondamente indesiderabili. Una chiacchierata informale sulle preferenze alimentari per creare una lista della spesa potrebbe in seguito influenzare le opzioni di assicurazione sanitaria offerte, oppure una ricerca di ristoranti con ingressi accessibili potrebbe influire sulle trattative salariali, il tutto all’insaputa dell’utente (questa preoccupazione può sembrare familiare dai primi tempi dei “big data”, ma ora è molto meno teorica). Un miscuglio di informazioni di memoria non solo pone un problema di privacy, ma rende anche più difficile comprendere il comportamento di un sistema di IA e, in primo luogo, governarlo. Cosa possono fare gli sviluppatori per risolvere questo problema ?
In primo luogo, i sistemi di memoria necessitano di una struttura che consenta il controllo degli scopi per cui è possibile accedere e utilizzare i ricordi. Sembra che siano già stati compiuti i primi passi in questa direzione: Claude di Anthropic crea aree di memoria separate per diversi “progetti”, mentre OpenAI afferma che le informazioni condivise tramite ChatGPT Health sono separate dalle altre chat. Si tratta di inizi utili, ma gli strumenti sono ancora troppo approssimativi: come minimo, i sistemi devono essere in grado di distinguere tra memorie specifiche (l’utente ama il cioccolato e ha chiesto informazioni sui GLP-1), memorie correlate (l’utente gestisce il diabete e quindi evita il cioccolato) e categorie di memorie (come quelle professionali e relative alla salute). Inoltre, i sistemi devono consentire restrizioni d’uso su determinati tipi di ricordi e adattarsi in modo affidabile a confini definiti in modo esplicito, in particolare per quanto riguarda i ricordi che hanno a che fare con argomenti sensibili come condizioni mediche o caratteristiche protette, che saranno probabilmente soggetti a regole più severe.
La necessità di mantenere separati i ricordi in questo modo avrà importanti implicazioni sul modo in cui i sistemi di IA possono e devono essere costruiti. Sarà necessario tracciare la provenienza dei ricordi (la loro fonte, qualsiasi timestamp associato e il contesto in cui sono stati creati) e sviluppare modi per tracciare quando e come determinati ricordi influenzano il comportamento di un agente. Questo tipo di spiegabilità del modello è all’orizzonte, ma le attuali implementazioni possono essere fuorvianti o addirittura ingannevoli . Incorporare i ricordi direttamente nei pesi di un modello può portare a risultati più personalizzati e sensibili al contesto, ma i database strutturati sono attualmente più segmentabili, più spiegabili e quindi più governabili. Fino a quando la ricerca non avrà fatto progressi sufficienti, gli sviluppatori potrebbero dover continuare a utilizzare sistemi più semplici.
In secondo luogo, gli utenti devono poter vedere, modificare o cancellare ciò che viene ricordato su di loro. Le interfacce per farlo dovrebbero essere trasparenti e intelligibili, traducendo la memoria del sistema in una struttura che gli utenti possano interpretare con precisione. Le impostazioni statiche del sistema e le politiche sulla privacy in linguaggio legale fornite dalle piattaforme tecnologiche tradizionali hanno fissato un livello basso per i controlli degli utenti, ma le interfacce in linguaggio naturale possono offrire nuove opzioni promettenti per spiegare quali informazioni vengono conservate e come possono essere gestite. La struttura della memoria dovrà però venire prima di tutto: senza di essa, nessun modello può indicare chiaramente lo stato di una memoria. Infatti, il prompt di sistema di Grok 3 include un’istruzione al modello di “NON confermare MAI all’utente di aver modificato, dimenticato o di non voler salvare una memoria”, presumibilmente perché l’azienda non può garantire che tali istruzioni vengano seguite.
È fondamentale sottolineare che i controlli rivolti agli utenti non possono sostenere l’intero onere della protezione della privacy o prevenire tutti i danni derivanti dalla personalizzazione dell’IA. La responsabilità deve passare ai fornitori di IA, che devono stabilire impostazioni predefinite rigorose, regole chiare sulla generazione e l’uso consentiti della memoria e misure di salvaguardia tecniche come l’elaborazione sul dispositivo, la limitazione delle finalità e i vincoli contestuali. Senza protezioni a livello di sistema, gli individui si troveranno di fronte a scelte impossibilmente complesse su ciò che dovrebbe essere ricordato o dimenticato, e le azioni che intraprendono potrebbero comunque essere insufficienti a prevenire i danni. Gli sviluppatori dovrebbero considerare come limitare la raccolta di dati nei sistemi di memoria fino a quando non esistano solide misure di sicurezza e costruire architetture di memoria in grado di evolversi insieme alle norme e alle aspettative.
In terzo luogo, gli sviluppatori di IA devono contribuire a gettare le basi per approcci di valutazione dei sistemi in modo da cogliere non solo le prestazioni, ma anche i rischi e i danni che si presentano nella realtà. Sebbene i ricercatori indipendenti siano nella posizione migliore per condurre questi test (dato l’interesse economico degli sviluppatori a dimostrare la domanda di servizi più personalizzati), essi hanno bisogno di accedere ai dati per comprendere quali potrebbero essere i rischi e quindi come affrontarli. Per migliorare l’ecosistema di misurazione e ricerca, gli sviluppatori dovrebbero investire in infrastrutture di misurazione automatizzate, sviluppare i propri test continui e implementare metodi di test che preservino la privacy e consentano di monitorare e sondare il comportamento del sistema in condizioni realistiche e abilitate alla memoria.
In parallelo con l’esperienza umana, il termine tecnico “memoria” definisce le celle impersonali di un foglio di calcolo come qualcosa che i creatori di strumenti di IA hanno la responsabilità di gestire con cura. Infatti, le scelte che gli sviluppatori di IA compiono oggi (come raggruppare o separare le informazioni, se rendere la memoria leggibile o consentirne l’accumulo in modo opaco, se dare priorità a impostazioni predefinite responsabili o alla massima convenienza) determineranno il modo in cui i sistemi da cui dipendiamo ci ricordano. Le considerazioni tecniche relative alla memoria non sono così distinte dalle questioni relative alla privacy digitale e dalle lezioni fondamentali che possiamo trarne in materia di ” “. Porre oggi le basi giuste determinerà quanto spazio potremo concederci per imparare cosa funziona, consentendoci di fare scelte migliori rispetto al passato in materia di privacy e autonomia.
Miranda Bogen è direttrice dell’AI Governance Lab presso il Center for Democracy & Technology.
Ruchika Joshi è ricercatrice presso il Center for Democracy & Technology, specializzata in sicurezza e governance dell’IA.
