L’IA generativa può trasformare i ricordi più preziosi in foto che non sono mai esistite

Il progetto Synthetic Memories aiuta le famiglie di tutto il mondo a recuperare un passato che non è mai stato fotografato.

Maria è cresciuta a Barcellona, in Spagna, negli anni Quaranta. I suoi primi ricordi del padre sono vividi. Quando aveva sei anni, Maria si recava nell’appartamento di un vicino del suo palazzo quando voleva vederlo. Da lì poteva sbirciare attraverso la ringhiera di un balcone la prigione sottostante e cercare di scorgerlo attraverso la piccola finestra della sua cella, dove era rinchiuso per essersi opposto alla dittatura di Francisco Franco.

Non esiste una foto di Maria su quel balcone. Ma ora può avere in mano qualcosa di simile: una foto falsa – o una ricostruzione basata sulla memoria, come la definisce lo studio di design Domestic Data Streamers di Barcellona – della scena che una foto vera avrebbe potuto catturare. Le finte istantanee sono sfocate e distorte, ma possono comunque riavvolgere una vita in un istante. “È molto facile capire quando la memoria è giusta, perché c’è una reazione molto viscerale”, dice Pau Garcia, fondatore di Domestic Data Streamers. “Succede ogni volta. È come se dicesse: ‘Oh! Sì! È stato così!”.

Decine di persone hanno trasformato i loro ricordi in immagini grazie a Synthetic Memories, un progetto gestito da Domestic Data Streamers. Lo studio utilizza modelli generativi di immagini, come DALL-E di OpenAI, per dare vita ai ricordi delle persone. Dal 2022 lo studio, che ha ricevuto finanziamenti dalle Nazioni Unite e da Google, lavora con comunità di immigrati e rifugiati in tutto il mondo per creare immagini di scene che non sono mai state fotografate o per ricreare foto che sono andate perse quando le famiglie hanno lasciato le loro case precedenti.

Ora Domestic Data Streamers sta occupando un edificio accanto al Museo del Design di Barcellona per registrare i ricordi della città utilizzando immagini sintetiche. Chiunque può presentarsi e contribuire con un ricordo al crescente archivio, dice Garcia.

Synthetic Memories potrebbe rivelarsi più di un’impresa sociale o culturale. Quest’estate, lo studio inizierà una collaborazione con dei ricercatori per scoprire se la sua tecnica potrebbe essere usata per trattare la demenza.

Graffiti memorabili

L’idea del progetto è nata da un’esperienza che Garcia ha avuto nel 2014, quando lavorava in Grecia con un’organizzazione che trasferiva famiglie di rifugiati dalla Siria. Una donna gli disse che non aveva paura di essere lei stessa un rifugiato, ma temeva che i suoi figli e nipoti rimanessero rifugiati perché avrebbero potuto dimenticare la storia della loro famiglia: dove facevano la spesa, cosa indossavano, come si vestivano. Garcia ha chiesto a dei volontari di disegnare i ricordi della donna come graffiti sui muri dell’edificio in cui alloggiavano le famiglie. “Erano disegni davvero brutti, ma è nata l’idea dei ricordi sintetici”, racconta. Alcuni anni dopo, quando Garcia ha visto cosa potevano fare i modelli di immagini generative, si è ricordato di quei graffiti. “È stata una delle prime cose che mi sono venute in mente”, dice.

Il processo che Garcia e il suo team hanno sviluppato è semplice. Un intervistatore si siede con un soggetto e gli fa ricordare una scena o un evento specifico. Un ingegnere di prompt con un computer portatile utilizza questo ricordo per scrivere un prompt per un modello, che genera un’immagine.

Il suo team ha costruito una sorta di glossario di termini di suggerimento che si sono dimostrati efficaci nell’evocare diversi periodi storici e diverse località. Ma spesso c’è un po’ di tira e molla, qualche modifica al suggerimento, dice Garcia: “Si mostra l’immagine generata da quel suggerimento al soggetto e questi potrebbe dire: ‘Oh, la sedia era da quel lato’ o ‘Era di notte, non di giorno’. La si affina finché non si arriva a un punto in cui scatta la molla”.

Finora Domestic Data Streamers ha utilizzato questa tecnica per conservare i ricordi di persone appartenenti a diverse comunità di immigrati, tra cui famiglie coreane, boliviane e argentine che vivono a San Paolo, in Brasile. Ma ha anche lavorato con una casa di cura di Barcellona per vedere come le ricostruzioni basate sulla memoria potrebbero aiutare gli anziani. L’équipe ha collaborato con i ricercatori di Barcellona a un piccolo progetto pilota con 12 soggetti, applicando l’approccio alla terapia della reminiscenza, un trattamento per la demenza che mira a stimolare le capacità cognitive mostrando a qualcuno immagini del passato. Sviluppata negli anni ’60, la terapia della reminiscenza ha molti sostenitori, ma i ricercatori non sono d’accordo sulla sua efficacia e sulle modalità di esecuzione.

Il progetto pilota ha permesso all’équipe di perfezionare il processo e di garantire che i partecipanti potessero dare il loro consenso informato, spiega Garcia. I ricercatori stanno ora pianificando di condurre uno studio clinico più ampio in estate con i colleghi dell’Università di Toronto per confrontare l’uso dei modelli generativi di immagini con altri approcci terapeutici.

Una cosa che hanno scoperto durante il progetto pilota è che le persone anziane si relazionano molto meglio con le immagini se vengono stampate. “Quando le vedono su uno schermo, non hanno lo stesso tipo di relazione emotiva con esse”, dice Garcia. “Ma quando potevano vederle fisicamente, il ricordo diventava molto più importante”.   

Sfumato è meglio

I ricercatori hanno anche scoperto che le vecchie versioni dei modelli generativi di immagini funzionano meglio di quelle più recenti. Hanno iniziato il progetto utilizzando due modelli usciti nel 2022: DALL-E 2 e Stable Diffusion, un modello generativo di immagini gratuito rilasciato da Stability AI. Questi modelli possono produrre immagini con difetti, volti deformati e corpi contorti. Ma quando sono passati all’ultima versione di Midjourney (un altro modello di immagine generativa in grado di creare immagini più dettagliate), i risultati non sono stati altrettanto apprezzati.

“Se si crea qualcosa di super-realistico, la gente si concentra su dettagli che non ci sono”, dice Garcia. “Se è sfocato, il concetto viene recepito meglio. I ricordi sono un po’ come i sogni. Non si comportano come le fotografie, con dettagli forensi. Non si ricorda se la sedia era rossa o verde. Si ricorda semplicemente che c’era una sedia”.

Da allora il team è tornato a utilizzare i modelli più vecchi. “Per noi gli inconvenienti sono una caratteristica”, dice Garcia. “A volte le cose ci sono e non ci sono. È una sorta di stato quantico delle immagini che funziona molto bene con i ricordi”.

Sam Lawton, un regista indipendente non coinvolto nello studio, è entusiasta del progetto. È particolarmente soddisfatto del fatto che il team esaminerà gli effetti cognitivi di queste immagini in uno studio clinico rigoroso. Lawton ha utilizzato modelli di immagini generative per ricreare i propri ricordi. In un film realizzato l’anno scorso, intitolato Expanded Childhood, ha usato DALL-E per estendere le vecchie foto di famiglia oltre i loro confini, confondendo scene d’infanzia reali con altre surreali.

“L’effetto che l’esposizione a questo tipo di immagini generate ha sul cervello di una persona è ciò che mi ha spinto a realizzare il film”, dice Lawton. “Non ero in grado di avviare un vero e proprio lavoro di ricerca, quindi mi sono orientato verso il tipo di narrazione che mi è più naturale”.

Il lavoro di Lawton esplora una serie di domande: che effetto avrà su di noi l’esposizione a lungo termine a immagini generate o alterate dall’intelligenza artificiale? Queste immagini possono aiutare a riformulare i ricordi traumatici? Oppure creano un falso senso della realtà che può portare a confusione e dissonanza cognitiva?

Lawton ha mostrato le immagini di Expanded Childhood al padre e ha inserito i suoi commenti nel film: “c’è qualcosa che non va. Non so cosa sia. Non me lo ricordo e basta?”.

Garcia è consapevole del pericolo di confondere i ricordi soggettivi con le vere registrazioni fotografiche. Le ricostruzioni basate sulla memoria del suo team non devono essere considerate come documenti reali. Anzi, osserva che questo è un altro motivo per attenersi alle immagini meno fotorealistiche prodotte dalle vecchie versioni dei modelli generativi di immagini. “È importante distinguere chiaramente ciò che è memoria sintetica e ciò che è fotografia”, afferma Garcia. “Questo è un modo semplice per dimostrarlo”.

Ma Garcia teme che le aziende che hanno realizzato i modelli possano mandare in pensione le versioni precedenti. La maggior parte degli utenti attende modelli più grandi e migliori; per Synthetic Memories, meno può essere più. “Ho davvero paura che OpenAI chiuda DALL-E 2 e che si debba usare DALL-E 3”, dice.