Il laboratorio di AI che conduce una guerriglia contro lo sfruttamento dell’AI

Gli strumenti di Glaze e Nightshade danno agli artisti la speranza di poter contrastare l’intelligenza artificiale che sfrutta i dati di Internet per addestrarsi. Ma sono sufficienti?

Ben Zhao ricorda bene il momento in cui è entrato ufficialmente nella lotta tra artisti e IA generativa: quando un artista ha chiesto delle banane all’IA.

Ricercatore di sicurezza informatica presso l’Università di Chicago, Zhao si era fatto un nome costruendo strumenti per proteggere le immagini dalla tecnologia di riconoscimento facciale. È stato questo lavoro ad attirare l’attenzione di Kim Van Deun, un illustratore fantasy che lo ha invitato a partecipare a una Zoom call nel novembre 2022 organizzata dalla Concept Art Association, un’organizzazione di difesa degli artisti che lavorano nei media commerciali.

Durante la telefonata, gli artisti hanno raccontato come sono stati danneggiati dal boom dell’IA generativa, che allora era una novità assoluta. In quel momento, l’IA era improvvisamente ovunque. La comunità tecnologica era in fermento per i modelli di IA che generano immagini, come Midjourney, Stable Diffusion e DALL-E 2 di OpenAI, in grado di seguire semplici indicazioni di parole per rappresentare paesi fantastici o sedie stravaganti fatte di avocado.

Ma questi artisti vedevano questa meraviglia tecnologica come un nuovo tipo di furto. Ritengono che i modelli stiano effettivamente rubando e sostituendo il loro lavoro. Alcuni hanno scoperto che le loro opere sono state rubate da Internet e utilizzate per addestrare i modelli, mentre altri hanno scoperto che i loro nomi sono diventati dei suggerimenti, facendo sì che il loro lavoro venisse oscurato online da imitazioni dell’IA.

Zhao ricorda di essere rimasto scioccato da ciò che ha sentito. “Le persone ti dicono letteralmente che stanno perdendo i loro mezzi di sostentamento”, mi ha detto un pomeriggio di questa primavera, seduto nel suo salotto di Chicago. “È una cosa che non si può ignorare”.

Così, su Zoom, ha avanzato una proposta: E se, ipoteticamente, fosse possibile costruire un meccanismo che aiuti a mascherare la loro arte per interferire con il raschiamento dell’IA?

“Mi piacerebbe uno strumento che, se qualcuno scrivesse il mio nome e facesse una richiesta, facesse uscire tipo la spazzatura”, ha risposto Karla Ortiz, un’importante artista digitale. “Solo, tipo, banane o cose strane”.

Questo è stato tutto ciò che ha convinto Zhao, nel momento in cui si è unito alla causa.

Oggi milioni di artisti utilizzano due strumenti nati da quella riunione Zoom: Glaze e Nightshade, sviluppati da Zhao e dal SAND Lab dell’Università di Chicago (acronimo di “security, algorithms, networking, and data”).

Probabilmente le armi più importanti nell’arsenale di un artista contro lo scraping non consensuale dell’IA, Glaze e Nightshade funzionano in modo simile: aggiungendo quelle che i ricercatori definiscono perturbazioni “appena percettibili” ai pixel di un’immagine, in modo che i modelli di apprendimento automatico non possano leggerli correttamente. Glaze, che è stato scaricato più di 6 milioni di volte da quando è stato lanciato nel marzo 2023, aggiunge alle immagini un mantello segreto che impedisce agli algoritmi di intelligenza artificiale di individuare e copiare lo stile di un artista. Nightshade, di cui ho scritto quando è stato rilasciato quasi esattamente un anno fa in autunno, intensifica l’offensiva contro le aziende di AI aggiungendo uno strato invisibile di veleno alle immagini, che può rompere i modelli di AI; è stato scaricato più di 1,6 milioni di volte.

Grazie a questi strumenti, “sono in grado di pubblicare il mio lavoro online”, dice Ortiz, “e questo è molto importante”. Per artisti come lei, essere visti online è fondamentale per ottenere più lavoro. Se non si sentono a proprio agio all’idea di finire in un modello di AI a scopo di lucro senza compenso, l’unica opzione è quella di cancellare il proprio lavoro da Internet. Questo significherebbe un suicidio per la loro carriera. “È davvero terribile per noi”, aggiunge Ortiz, che è diventato uno dei più accesi difensori dei colleghi artisti e fa parte di una class action contro le aziende di IA, tra cui Stability AI, per violazione del copyright.

Ma Zhao spera che gli strumenti facciano di più che potenziare i singoli artisti. Glaze e Nightshade fanno parte di quella che lui considera una battaglia per spostare lentamente l’equilibrio del potere dalle grandi aziende ai singoli creatori.

“È incredibilmente frustrante vedere che la vita umana viene valutata così poco”, dice con un disprezzo che ho imparato a vedere come tipico per lui, soprattutto quando parla di Big Tech. “E vedere che si ripete in continuazione, questa priorità del profitto rispetto all’umanità… è incredibilmente frustrante e irritante”.

Man mano che gli strumenti vengono adottati su larga scala, il suo ambizioso obiettivo viene messo alla prova. Glaze e Nightshade sono in grado di rendere accessibile ai creatori un’autentica sicurezza, o inavvertitamente faranno credere agli artisti che il loro lavoro è sicuro, mentre gli strumenti stessi diventano bersaglio di hacker e pirati informatici? Mentre gli esperti concordano in gran parte sull’efficacia dell’approccio e sul fatto che Nightshade potrebbe rivelarsi un potente veleno, altri ricercatori sostengono di aver già aperto dei varchi nelle protezioni offerte da Glaze e che fidarsi di questi strumenti è rischioso.

Ma Neil Turkewitz, un avvocato specializzato in diritto d’autore che lavorava presso la Recording Industry Association of America, offre una visione più ampia della lotta a cui si è unito il SAND Lab. Non si tratta di una singola azienda di IA o di un singolo individuo: “Si tratta di definire le regole del mondo in cui vogliamo vivere”.

Punzecchiare l’orso

Il SAND Lab è molto unito e comprende una decina di ricercatori stipati in un angolo dell’edificio di informatica dell’Università di Chicago. In questo spazio si sono accumulati i detriti tipici di un posto di lavoro: qui le cuffie Meta Quest, là le foto di travestimenti delle feste di Halloween. Ma le pareti sono anche ricoperte di opere d’arte originali, tra cui un dipinto incorniciato di Ortiz.

Anni prima di lottare al fianco di artisti come Ortiz contro i “fratelli dell’intelligenza artificiale” (per usare le parole di Zhao), Zhao e la co-leader del laboratorio, Heather Zheng, che è anche sua moglie, si erano costruiti un curriculum di lotta contro i danni provocati dalle nuove tecnologie.

Sebbene entrambi si siano guadagnati un posto nella lista dei 35 Innovatori Under 35 del MIT Technology Review per altri lavori quasi due decenni fa, quando erano all’Università della California, Santa Barbara (Zheng nel 2005 per le “radio cognitive” e Zhao un anno dopo per le reti peer-to-peer), il loro obiettivo primario di ricerca è diventato la sicurezza e la privacy.

La coppia ha lasciato Santa Barbara nel 2017, dopo essere stata reclutata dal nuovo co-direttore del Data Science Institute dell’Università di Chicago, Michael Franklin. Anche tutti gli otto dottorandi del loro laboratorio dell’UC Santa Barbara hanno deciso di seguirli a Chicago. Da allora, il gruppo ha sviluppato un “braccialetto del silenzio” che blocca i microfoni degli assistenti vocali AI come l’Amazon Echo. Ha anche creato uno strumento chiamato Fawkes – “un’armatura per la privacy”, come ha detto Zhao in un’intervista del 2020 al New York Times – che le persone possono applicare alle loro foto per proteggerle dal software di riconoscimento facciale. Hanno anche studiato come gli hacker potrebbero rubare informazioni sensibili attraverso attacchi furtivi alle cuffie per la realtà virtuale e come distinguere l‘arte umana dalle immagini generate dall’intelligenza artificiale.

“Ben, Heather e il loro gruppo sono unici perché stanno effettivamente cercando di costruire una tecnologia che colpisca direttamente alcune domande chiave sull’IA e sul suo utilizzo”, mi dice Franklin. “Non si limitano a porre queste domande, ma costruiscono una tecnologia che le porta in primo piano”.

È stato Fawkes a incuriosire Van Deun, illustratrice fantasy, due anni fa; sperava che qualcosa di simile potesse funzionare come protezione contro l’IA generativa, ed è per questo che ha esteso il fatidico invito alla Zoom call della Concept Art Association.

Quella chiamata ha dato il via a una sorta di corsa folle nelle settimane successive. Sebbene Zhao e Zheng collaborino a tutti i progetti del laboratorio, ognuno di loro è a capo di singole iniziative; Zhao si è occupato di quello che sarebbe diventato Glaze, mentre lo studente di dottorato Shawn Shan (che quest’anno è stato inserito nella lista degli Innovators Under 35) ha guidato lo sviluppo dell’algoritmo del programma.

Parallelamente alla codifica di Shan, le dottorande Jenna Cryan ed Emily Wenger hanno cercato di conoscere meglio le opinioni e le esigenze degli artisti stessi. Hanno creato un sondaggio tra gli utenti che il team ha distribuito agli artisti con l’aiuto di Ortiz. Dalle risposte di oltre 1.200 artisti – un numero di gran lunga superiore alla media delle risposte agli studi sugli utenti nel campo dell’informatica – il team ha scoperto che la stragrande maggioranza dei creatori aveva letto che l’arte veniva usata per addestrare i modelli e il 97% prevedeva che l’IA avrebbe diminuito la sicurezza del lavoro di alcuni artisti. Un quarto ha dichiarato che l’arte dell’IA ha già avuto ripercussioni sul proprio lavoro.

Quasi tutti gli artisti hanno dichiarato di aver pubblicato il proprio lavoro online e più della metà ha dichiarato di aver previsto di ridurre o rimuovere il lavoro online, se non lo aveva già fatto, indipendentemente dalle conseguenze professionali e finanziarie.

La prima versione di Glaze è stata sviluppata in appena un mese, quando Ortiz ha dato al team il suo intero catalogo di lavori su cui testare il modello. Al livello più elementare, Glaze agisce come uno scudo difensivo. Il suo algoritmo identifica le caratteristiche dell’immagine che costituiscono lo stile individuale di un artista e vi aggiunge sottili modifiche. Quando un modello AI viene addestrato su immagini protette con Glaze, il modello non sarà in grado di riprodurre stili simili all’immagine originale.

Un dipinto di Ortiz divenne in seguito la prima immagine pubblicata con Glaze: una giovane donna, circondata da aquile in volo, che regge una corona di fiori. Il titolo è Musa Victoriosa, “musa vittoriosa”.

È quella attualmente appesa alle pareti del SAND Lab.

Nonostante l’entusiasmo iniziale di molti artisti, Zhao afferma che il lancio di Glaze ha provocato notevoli contraccolpi. Alcuni artisti erano scettici perché temevano che si trattasse di una truffa o di un’altra campagna di raccolta dati.

Il laboratorio ha dovuto adottare diverse misure per creare fiducia, ad esempio offrendo la possibilità di scaricare l’applicazione Glaze in modo da aggiungere lo strato protettivo offline, il che significa che i dati non vengono trasferiti da nessuna parte. (Le immagini vengono poi protette quando gli artisti le caricano).

Subito dopo il lancio di Glaze, Shan ha guidato lo sviluppo del secondo strumento, Nightshade. Mentre Glaze è un meccanismo difensivo, Nightshade è stato progettato per agire come deterrente offensivo contro la formazione non consensuale. Funziona modificando i pixel delle immagini in modi che non sono percepibili dall’occhio umano, ma che manipolano i modelli di apprendimento automatico in modo che interpretino l’immagine come qualcosa di diverso da ciò che effettivamente mostra. Se nei set di addestramento dell’intelligenza artificiale vengono inseriti campioni avvelenati, questi campioni ingannano i modelli dell’intelligenza artificiale: i cani diventano gatti, le borse diventano tostapane. Secondo i ricercatori, sono sufficienti pochi esempi per danneggiare in modo permanente il modo in cui un modello di intelligenza artificiale generativa produce immagini.

Attualmente, entrambi gli strumenti sono disponibili come applicazioni gratuite o possono essere applicati attraverso il sito web del progetto. Il laboratorio ha anche recentemente ampliato la sua portata offrendo l’integrazione con il nuovo social network Cara, supportato dagli artisti, che è nato da una reazione allo sfruttamento dell’addestramento dell’IA e vieta i contenuti prodotti dall’IA.

In decine di conversazioni con Zhao e i ricercatori del laboratorio, così come con una manciata di artisti collaboratori, è emerso chiaramente che entrambi i gruppi si sentono allineati in un’unica missione. “Non mi sarei mai aspettata di diventare amica degli scienziati di Chicago”, dice Eva Toorenent, un’artista olandese che ha lavorato a stretto contatto con il team di Nightshade. “Sono così felice di aver incontrato queste persone durante questa battaglia collettiva”.

Il suo dipinto Belladonna, che è anche un altro nome per la pianta “nightshade”, è stata la prima immagine con il veleno della belladonna.

“È così simbolico”, dice. “Le persone che prendono il nostro lavoro senza il nostro consenso e poi prendono il nostro lavoro senza consenso possono rovinare i loro modelli. È una giustizia poetica”.

Nessuna soluzione perfetta

L’accoglienza del lavoro del SAND Lab è stata meno armoniosa nella comunità dell’IA.

Dopo che Glaze è stato reso disponibile al pubblico, racconta Zhao, qualcuno lo ha segnalato a siti come VirusTotal, che tiene traccia del malware, in modo che venisse segnalato dai programmi antivirus. Diverse persone hanno anche iniziato a dichiarare sui social media che lo strumento era stato rapidamente violato. Anche Nightshade ha ricevuto una buona dose di critiche al momento del lancio; come ha riportato TechCrunch a gennaio, alcuni lo hanno definito un “virus” e, come spiega l’articolo, “un altro utente di Reddit che è diventato inavvertitamente virale su X ha messo in dubbio la legalità di Nightshade, paragonandolo a “hackerare un sistema informatico vulnerabile per interromperne il funzionamento””.

“Non avevamo idea di cosa avremmo dovuto affrontare”, racconta Zhao. “Non sapendo chi o cosa potesse essere l’altra parte, ogni nuovo ronzio del telefono significava che forse qualcuno aveva rotto Glaze”.

Entrambi gli strumenti, tuttavia, sono stati sottoposti a una rigorosa revisione accademica e hanno ottenuto il riconoscimento della comunità della sicurezza informatica. Nightshade è stato accettato al Symposium on Security and Privacy dell’IEEE, mentre Glaze ha ricevuto un premio per un articolo distinto e il 2023 Internet Defense Prize all’Usenix Security Symposium, una delle principali conferenze del settore.

“Nella mia esperienza di lavoro con i veleni, penso che [Nightshade] sia piuttosto efficace”, afferma Nathalie Baracaldo, che dirige il team di soluzioni per la sicurezza e la privacy dell’IA presso IBM e ha studiato l’avvelenamento dei dati. “Non ho ancora visto nulla – e la parola “ancora” è importante in questo caso – che possa infrangere il tipo di difesa proposto da Ben”. Inoltre, il fatto che il team abbia rilasciato il codice sorgente di Nightshade per consentire ad altri di sondarlo e che non sia stato violato, suggerisce che sia abbastanza sicuro, aggiunge.

Allo stesso tempo, almeno un gruppo di ricercatori sostiene di aver penetrato le protezioni di Glaze, o almeno una sua vecchia versione.

Come hanno spiegato i ricercatori di Google DeepMind e del Politecnico di Zurigo in un documento pubblicato a giugno, hanno scoperto vari modi in cui Glaze (così come strumenti di protezione simili ma meno diffusi, come Mist e Anti-DreamBooth) poteva essere aggirato utilizzando tecniche di base accessibili a chiunque, come l’upscaling dell’immagine, ovvero il riempimento dei pixel per aumentare la risoluzione di un’immagine quando questa viene ingrandita. I ricercatori scrivono che il loro lavoro dimostra la “fragilità delle protezioni esistenti” e avvertono che “gli artisti possono credere che siano efficaci. Ma i nostri esperimenti dimostrano che non lo sono“.

Florian Tramèr, professore associato al Politecnico di Zurigo che ha partecipato allo studio, riconosce che è “molto difficile trovare una soluzione tecnica forte che faccia davvero la differenza”. Piuttosto che un singolo strumento, egli sostiene un ideale quasi certamente irrealistico: politiche e leggi più severe che aiutino a creare un ambiente in cui le persone si impegnino ad acquistare solo arte creata dall’uomo.

Ciò che è accaduto in questo caso è comune nella ricerca sulla sicurezza, osserva Baracaldo: viene proposta una difesa, un avversario la infrange e, idealmente, il difensore impara dall’avversario e migliora la difesa. “È importante che sia gli attaccanti che i difensori etici lavorino insieme per rendere più sicuri i nostri sistemi di intelligenza artificiale”, afferma Baracaldo, aggiungendo che “idealmente, tutte le difese dovrebbero essere disponibili pubblicamente per essere esaminate”, il che “consentirebbe la trasparenza” e aiuterebbe a evitare di creare un falso senso di sicurezza. (Zhao, tuttavia, mi dice che i ricercatori non hanno intenzione di rilasciare il codice sorgente di Glaze).

Tuttavia, anche se tutti questi ricercatori affermano di sostenere gli artisti e la loro arte, questi test hanno toccato un nervo scoperto per Zhao. In chat su Discord, poi trapelate, ha affermato che a uno dei ricercatori del team DeepMind del Politecnico di Zurigo-Google “non importa un cazzo” delle persone. (Il ricercatore non ha risposto a una richiesta di commento, ma in un post sul blog ha affermato che è importante rompere le difese per sapere come correggerle. Zhao afferma che le sue parole sono state estrapolate dal contesto).

Zhao sottolinea inoltre che gli autori del documento hanno valutato principalmente una versione precedente di Glaze; afferma che il nuovo aggiornamento è più resistente alla manomissione. Secondo Zhao, alterare le immagini con le attuali protezioni di Glaze danneggerebbe lo stile stesso che viene copiato, rendendo inutile un attacco di questo tipo.

Questo botta e risposta riflette una tensione significativa nella comunità della sicurezza informatica e, più in generale, il rapporto spesso conflittuale tra i diversi gruppi dell’IA. È sbagliato dare alle persone la sensazione di sicurezza quando le protezioni offerte potrebbero rompersi? Oppure è meglio avere un certo livello di protezione – che alzi la soglia di un attaccante per infliggere danni – piuttosto che non averne affatto?

Yves-Alexandre de Montjoye, professore associato di matematica applicata e informatica presso l’Imperial College di Londra, afferma che ci sono molti esempi in cui protezioni tecniche simili non sono riuscite a essere a prova di bomba. Per esempio, nel 2023, de Montjoye e il suo team hanno analizzato una maschera digitale per gli algoritmi di riconoscimento facciale, che aveva lo scopo di proteggere la privacy delle immagini facciali dei pazienti medici; sono stati in grado di rompere le protezioni modificando solo una cosa nell’algoritmo del programma (che era open source).

L’utilizzo di tali difese rappresenta comunque un messaggio e aggiunge un certo attrito alla profilazione dei dati. “Strumenti come TrackMeNot” – che protegge gli utenti dalla profilazione dei dati – “sono stati presentati come un modo per protestare, per dire che non acconsento“.

“Ma allo stesso tempo”, sostiene, “dobbiamo essere molto chiari con gli artisti sul fatto che è rimovibile e che potrebbe non proteggere dagli algoritmi futuri”.

Pur ammettendo che i ricercatori hanno evidenziato alcuni punti deboli di Glaze, a Zhao non sorprende che Glaze e Nightshade siano degni di essere utilizzati, dato che “gli strumenti di sicurezza non sono mai perfetti”. Infatti, come sottolinea Baracaldo, i ricercatori di Google DeepMind e del Politecnico di Zurigo hanno dimostrato come un avversario altamente motivato e sofisticato troverà quasi sempre una via d’accesso.

Tuttavia è “semplicistico pensare che se si ha un problema di sicurezza reale in natura e si sta cercando di progettare uno strumento di protezione, la risposta dovrebbe essere: o funziona perfettamente o non distribuirlo”, afferma Zhao, citando come esempi i filtri antispam e i firewall. La difesa è un gioco costante tra gatto e topo. E Zhao ritiene che la maggior parte degli artisti sia abbastanza esperta da comprendere il rischio.

Offrire speranza

La lotta tra i creatori e le aziende di IA è feroce. L’attuale paradigma dell’IA consiste nel costruire modelli sempre più grandi e, almeno al momento, non è possibile evitare che questi richiedano vasti set di dati prelevati da Internet per addestrarsi. Le aziende tecnologiche sostengono che tutto ciò che si trova su Internet è lecito e che è “impossibile” costruire strumenti avanzati di IA senza materiale protetto da copyright; molti artisti sostengono che le aziende tecnologiche hanno rubato la loro proprietà intellettuale e violato la legge sul copyright, e che hanno bisogno di modi per tenere le loro opere individuali fuori dai modelli – o almeno ricevere il giusto credito e un compenso per il loro utilizzo.

Finora, i creativi non stanno vincendo. Alcune aziende hanno già sostituito designer, copywriter e illustratori con sistemi di intelligenza artificiale. In un caso di alto profilo, i Marvel Studios hanno utilizzato immagini generate dall’IA al posto dell’arte creata dall’uomo per la sequenza dei titoli della serie televisiva Secret Invasion del 2023. In un altro caso, una stazione radiofonica ha licenziato i suoi conduttori umani e li ha sostituiti con l’IA. La tecnologia è diventata un importante pomo della discordia tra i sindacati e gli studi cinematografici, televisivi e creativi, e di recente ha portato a uno sciopero degli artisti dei videogiochi. Sono in corso numerose cause legali da parte di artisti, scrittori, editori ed etichette discografiche contro le aziende di IA. Probabilmente ci vorranno anni prima che si arrivi a una risoluzione legale chiara. Ma anche la sentenza di un tribunale non risolverà necessariamente le difficili questioni etiche create dall’IA generativa. E probabilmente non lo farà nemmeno una futura regolamentazione governativa, se mai si concretizzerà.

Ecco perché Zhao e Zheng vedono Glaze e Nightshade come interventi necessari, strumenti per difendere il lavoro originale, attaccare chi se ne appropria e, come minimo, far guadagnare tempo agli artisti. Il punto non è avere una soluzione perfetta. I ricercatori hanno bisogno di offrire qualcosa ora, perché il settore dell’IA si muove a rotta di collo, dice Zheng, e ciò significa che le aziende stanno ignorando danni molto reali agli esseri umani. “È probabilmente la prima volta in tutta la nostra carriera tecnologica che vediamo un conflitto così grande”, aggiunge.

Su una scala molto più ampia, lei e Zhao mi hanno detto che sperano che Glaze e Nightshade abbiano il potere di rivedere il modo in cui le aziende di IA usano l’arte e come i loro prodotti la producono. L’addestramento dei modelli di intelligenza artificiale è estremamente costoso e per gli ingegneri è estremamente laborioso trovare ed eliminare i campioni avvelenati in un insieme di dati composto da miliardi di immagini. In teoria, se ci sono abbastanza immagini di Nightshade su Internet e le aziende tecnologiche vedono i loro modelli rompersi di conseguenza, questo potrebbe spingere gli sviluppatori al tavolo delle trattative per negoziare licenze e compensi equi.

Naturalmente si tratta ancora di un grande “se”. MIT Technology Review ha contattato diverse aziende di IA, come Midjourney e Stability AI, che non hanno risposto alle richieste di commento. Un portavoce di OpenAI, invece, non ha confermato alcun dettaglio sull’avvelenamento dei dati, ma ha dichiarato che l’azienda prende sul serio la sicurezza dei suoi prodotti e migliora continuamente le sue misure di sicurezza: “Stiamo sempre lavorando su come rendere i nostri sistemi più robusti contro questo tipo di abusi”.

Nel frattempo, il SAND Lab sta andando avanti e sta cercando finanziamenti da fondazioni e organizzazioni non profit per portare avanti il progetto. Zhao e Zheng stanno valutando come gli strumenti possano essere applicati in altri settori, come quello dei giochi, dei video o della musica. Nel frattempo, hanno intenzione di continuare ad aggiornare Glaze e Nightshade per renderli il più robusti possibile, lavorando a stretto contatto con gli studenti del laboratorio di Chicago, dove, su un’altra parete, è appesa Belladonna di Toorenent. Il dipinto ha un biglietto a forma di cuore incollato nell’angolo in basso a destra: “Grazie! Hai dato speranza a noi artisti”.