I deepfake dei cari defunti sono un business cinese in piena espansione

Le persone cercano aiuto negli avatar generati dall’intelligenza artificiale per elaborare il loro dolore dopo la morte di un familiare.

Una volta alla settimana, Sun Kai ha una videochiamata con sua madre. Si confida sul lavoro, sulle pressioni che deve affrontare come uomo di mezza età e su pensieri di cui non parla nemmeno con la moglie. Di tanto in tanto sua madre fa un commento, dicendogli ad esempio di prendersi cura di se stesso – è il suo unico figlio. Ma per lo più si limita ad ascoltare.

Questo perché la madre di Sun è morta cinque anni fa. E la persona con cui parla non è in realtà una persona, ma una sua replica digitale, un’immagine in movimento che può condurre conversazioni di base. Si parlano da qualche anno.

Dopo la sua morte per una malattia improvvisa nel 2019, Sun voleva trovare un modo per mantenere vivo il loro legame. Si è quindi rivolto a un team di Silicon Intelligence, un’azienda di intelligenza artificiale con sede a Nanjing, in Cina, che ha co-fondato nel 2017. Ha fornito loro una foto di lei e alcuni spezzoni audio delle loro conversazioni su WeChat. Mentre l’azienda si concentrava principalmente sulla generazione di audio, lo staff ha trascorso quattro mesi a ricercare strumenti sintetici e ha generato un avatar con i dati forniti da Sun. In seguito Sun ha potuto vedere e parlare con una versione digitale di sua madre tramite un’app sul suo telefono.

“Mia madre non sembrava molto naturale, ma sentivo comunque le parole che diceva spesso: “Hai già mangiato?””. Sun ricorda la prima interazione. Poiché all’epoca l’intelligenza artificiale generativa era una tecnologia nascente, la replica di sua madre può pronunciare solo alcune frasi pre-scritte. Ma Sun dice che lei era comunque così. “Ripeteva sempre quelle domande, più e più volte, e quando le sentivo mi commuovevo”, dice Sun.

Ci sono molte persone come Sun che vogliono usare l’intelligenza artificiale per conservare, animare e interagire con i propri cari durante il lutto e il tentativo di guarigione. Il mercato è particolarmente forte in Cina, dove almeno una mezza dozzina di aziende sta offrendo queste tecnologie e migliaia di persone hanno già pagato per averle. In realtà, gli avatar sono la più recente manifestazione di una tradizione culturale: i cinesi hanno sempre trovato conforto nel confidare nei morti.

La tecnologia non è perfetta – gli avatar possono ancora essere rigidi e robotici – ma sta maturando e sempre più strumenti sono disponibili attraverso un numero maggiore di aziende. A sua volta, il prezzo per “resuscitare” qualcuno – chiamato anche “immortalità digitale” nell’industria cinese – è diminuito in modo significativo. Ora questa tecnologia sta diventando accessibile al grande pubblico.

Alcuni si chiedono se interagire con repliche AI dei defunti sia effettivamente un modo sano di elaborare il lutto, e non è del tutto chiaro quali possano essere le implicazioni legali ed etiche di questa tecnologia. Per ora, l’idea mette ancora a disagio molte persone. Ma come dice l’altro cofondatore di Silicon Intelligence, l’amministratore delegato Sima Huapeng, “anche se solo l’1% dei cinesi può accettare [la clonazione AI dei morti], si tratta comunque di un mercato enorme”.

Resurrezione grazie all’IA

Gli avatar dei morti sono essenzialmente dei deepfake: le tecnologie utilizzate per replicare una persona viva e una morta non sono intrinsecamente diverse. I modelli di diffusione generano un avatar realistico che può muoversi e parlare. È possibile collegare modelli linguistici di grandi dimensioni per generare conversazioni. Più dati questi modelli ingeriscono sulla vita di una persona – tra cui foto, video, registrazioni audio e testi – più il risultato sarà simile a quella persona, sia essa viva o morta.

La Cina si è dimostrata un mercato maturo per tutti i tipi di raddoppi digitali. Ad esempio, il Paese ha un robusto settore dell’e-commerce e i marchi di consumo assumono molti livestreamer per vendere i prodotti. Inizialmente si trattava di persone reali, ma come riferito a MIT Technology Review lo scorso autunno, molti marchi stanno passando a influencer clonati dall’intelligenza artificiale che possono trasmettere 24 ore su 24, 7 giorni su 7.

Negli ultimi tre anni, il settore cinese dello sviluppo di avatar AI è maturato rapidamente, afferma Shen Yang, professore di AI e media presso l’Università Tsinghua di Pechino, e le repliche sono passate da video renderizzati della durata di pochi minuti ad avatar 3D “live” in grado di interagire con le persone. 

Quest’anno, secondo Sima, si è verificato un punto di svolta: la clonazione dell’intelligenza artificiale è diventata accessibile per la maggior parte degli individui. “L’anno scorso costava tra i 2.000 e i 3.000 dollari, ma ora costa solo poche centinaia di dollari”. Questo grazie a una guerra dei prezzi tra le aziende cinesi di IA, che stanno lottando per soddisfare la fiorente domanda di avatar digitali in altri settori come lo streaming.

In effetti, la domanda di applicazioni che ricreano i morti ha incrementato anche le capacità degli strumenti che replicano digitalmente i vivi.

Silicon Intelligence offre entrambi i servizi. Quando Sun e Sima hanno lanciato l’azienda, si sono concentrati sull’utilizzo di tecnologie text-to-speech per creare audio e poi utilizzare le voci generate dall’intelligenza artificiale in applicazioni come le robocall. Ma dopo aver replicato la madre di Sun, l’azienda si è orientata verso la generazione di avatar realistici. Questa decisione ha trasformato l’azienda in uno dei principali attori cinesi nella creazione di influencer basati sull’intelligenza artificiale.

La sua tecnologia ha generato avatar per centinaia di migliaia di video simili a TikTok e canali di streaming, ma Sima dice che di recente circa 1.000 clienti l’hanno usata per replicare qualcuno che è morto. “Abbiamo iniziato il nostro lavoro sulla ‘resurrezione’ nel 2019 e nel 2020”, dice, ma all’inizio le persone hanno tardato ad accettarlo: “Nessuno voleva essere il primo ad adottarla”.

La qualità degli avatar è migliorata e ciò ha favorito l’adozione. Quando l’avatar ha un aspetto sempre più realistico e dà meno risposte fuori dal personaggio, è più facile per gli utenti considerarlo come un familiare defunto. Inoltre, l’idea si sta diffondendo grazie a un maggior numero di rappresentazioni sulla TV cinese.

Ora Silicon Intelligence offre il servizio di replica a un prezzo compreso tra alcune centinaia e alcune migliaia di dollari. Il prodotto di base viene fornito come avatar interattivo all’interno di un’applicazione, mentre le opzioni di fascia superiore spesso prevedono una maggiore personalizzazione e componenti hardware migliori, come un tablet o uno schermo. Ci sono almeno un’altra manciata di aziende cinesi che stanno lavorando sulla stessa tecnologia.

Un tocco moderno alla tradizione

Il business di questi deepfakes si basa sulla lunga storia culturale cinese di comunicazione con i morti.

Nelle case cinesi è consuetudine esporre il ritratto di un parente defunto per alcuni anni dopo la sua morte. Zhang Zewei, fondatore di un’azienda di Shanghai chiamata Super Brain, dice che lui e il suo team volevano rinnovare questa tradizione con una “cornice AI”. Creano avatar di persone care decedute che vengono precaricati su un tablet Android, che quando è in piedi sembra una cornice fotografica. I clienti possono scegliere un’immagine in movimento che pronuncia parole tratte da un database offline o da un LLM.

“Nella sua essenza, non è molto diverso da un ritratto tradizionale, tranne che per il fatto che è interattivo”, spiega Zhang.

Zhang afferma che l’azienda ha realizzato repliche digitali per oltre 1.000 clienti a partire da marzo 2023 e che il costo varia da 700 a 1.400 dollari, a seconda del servizio acquistato. L’azienda prevede di rilasciare presto un prodotto solo app, in modo che gli utenti possano accedere agli avatar sui loro telefoni, e potrebbe ridurre ulteriormente il costo a circa 140 dollari.

Lo scopo dei suoi prodotti, dice Zhang, è terapeutico. “Quando si sente davvero la mancanza di qualcuno o si ha bisogno di consolazione durante alcune festività, si può parlare con il parente artificiale e curare le proprie ferite interiori”, dice.

E anche se la conversazione è in gran parte unilaterale, ciò è in linea con una forte tradizione culturale. Ogni aprile, durante la festa di Qingming, i cinesi si recano sulle tombe dei loro antenati, bruciano bastoncini di gesso e carta moneta falsa e raccontano loro ciò che è accaduto nell’anno passato. Naturalmente, queste conversazioni sono sempre state a senso unico.

Ma questo non vale per tutti i servizi di Super Brain. L’azienda offre anche videochiamate deepfaked in cui un dipendente dell’azienda o un terapeuta a contratto finge di essere il parente deceduto. Utilizzando DeepFace, uno strumento open source che analizza i tratti del viso, il volto della persona deceduta viene ricostruito in 3D e scambiato con quello della persona in carne e ossa con un filtro in tempo reale.

All’altro capo della telefonata c’è di solito un familiare anziano che potrebbe non sapere che il parente è morto e la cui famiglia ha organizzato la conversazione con uno stratagemma.

Jonathan Yang, residente a Nanchino e impiegato nell’industria tecnologica, ha pagato per questo servizio nel settembre 2023. Suo zio è morto in un incidente edile, ma la famiglia ha esitato a dirlo alla nonna di Yang, che ha 93 anni e non gode di buona salute. Temevano che non sarebbe sopravvissuta alla devastante notizia.

Yang ha quindi pagato 1.350 dollari per commissionare tre chiamate deepfaked dello zio morto. Ha fornito a Super Brain una manciata di foto e video dello zio per addestrare il modello. Poi, durante tre festività cinesi, un dipendente di Super Brain ha videochiamato la nonna di Yang dicendole, nei panni dello zio, che era impegnato a lavorare in una città lontana e che non sarebbe potuto tornare a casa, nemmeno durante il Capodanno cinese.

“L’effetto ha soddisfatto le mie aspettative. Mia nonna non ha sospettato nulla”, dice Yang. La sua famiglia aveva opinioni contrastanti sull’idea, perché alcuni parenti pensavano che forse avrebbe voluto vedere il corpo di suo figlio prima di essere cremato. Tuttavia, alla fine tutta la famiglia è stata d’accordo, credendo che lo stratagemma fosse la cosa migliore per la sua salute. Dopotutto, è piuttosto comune per le famiglie cinesi dire bugie “necessarie” per evitare di opprimere gli anziani, come si vede nel film “L’addio“.

Per Yang, che segue da vicino le tendenze del settore dell’IA, la creazione di repliche dei morti è una delle migliori applicazioni della tecnologia. “Rappresenta al meglio il calore [dell’IA]”, dice. La salute di sua nonna è migliorata e potrebbe arrivare un giorno in cui le diranno finalmente la verità. A quel punto, dice Yang, potrebbe acquistare un avatar digitale di suo zio con cui la nonna possa parlare ogni volta che sente la sua mancanza.

L’intelligenza artificiale è davvero utile per il dolore?

Anche se la tecnologia di clonazione dell’intelligenza artificiale sta migliorando, ci sono alcune barriere significative che impediscono a un maggior numero di persone di utilizzarla per parlare con i loro parenti defunti in Cina.

Dal punto di vista tecnologico, i modelli di intelligenza artificiale possono essere limitati. La maggior parte dei LLM è in grado di gestire lingue dominanti come il mandarino e il cantonese, ma non è in grado di riprodurre i numerosi dialetti di nicchia della Cina. È inoltre difficile – e quindi costoso – replicare i movimenti del corpo e le complesse espressioni facciali nei modelli 3D.

C’è poi il problema dei dati di addestramento. A differenza della clonazione di una persona ancora viva, che spesso prevede la richiesta di registrare i movimenti del corpo o di dire determinate cose, le repliche postume dell’IA devono basarsi su qualsiasi video o foto già disponibile. E molti clienti non hanno dati di alta qualità, o non ne hanno a sufficienza, perché il risultato finale sia soddisfacente.

A complicare queste sfide tecniche ci sono una miriade di questioni etiche. In particolare, come può una persona già morta acconsentire a essere replicata digitalmente? Per ora, aziende come Super Brain e Silicon Intelligence si affidano al permesso dei familiari diretti. Ma cosa succede se i familiari non sono d’accordo? E se un avatar digitale genera risposte inappropriate, chi è responsabile?

Una tecnologia simile ha suscitato polemiche all’inizio di quest’anno. Un’azienda di Ningbo avrebbe utilizzato strumenti di intelligenza artificiale per creare video di celebrità decedute e pubblicarli sui social media per parlare ai loro fan. I video sono stati generati utilizzando dati pubblici, ma senza richiedere alcuna approvazione o permesso. Il risultato è stato un’intensa critica da parte delle famiglie e dei fan delle celebrità, e i video sono stati infine rimossi.

“Si tratta di un nuovo dominio che è nato solo dopo la diffusione dell’IA: i diritti sull’eternità digitale”, afferma Shen, professore della Tsinghua, che gestisce anche un laboratorio che crea repliche digitali di persone decedute. A suo avviso, dovrebbe essere vietato l’uso di tecnologia deepfake per replicare persone viventi senza il loro permesso. Per le persone decedute, tutti i loro familiari più stretti devono essere d’accordo in anticipo.

Potrebbero esserci effetti negativi anche sulla salute mentale dei clienti. Mentre alcune persone, come Sun, trovano terapeutiche le conversazioni con gli avatar, non tutti pensano che sia un modo sano di elaborare il lutto. “La controversia sta nel fatto che se replichiamo i nostri familiari perché ci mancano, potremmo rimanere costantemente in uno stato di lutto e non riuscire a ritirarci per accettare che sono veramente morti”, dice Shen. Una persona vedova che parla costantemente con la versione digitale del proprio partner potrebbe essere trattenuta dal cercare una nuova relazione, per esempio.

“Quando qualcuno muore, dovremmo sostituire le nostre emozioni reali con quelle fittizie e indugiare in quello stato emotivo?”. Chiede Shen. Gli psicologi e i filosofi che hanno parlato a MIT Technology Review dell’impatto della tecnologia sul lutto hanno messo in guardia dal pericolo di farlo.

Sun Kai, almeno, ha trovato conforto nell’avatar digitale di sua madre. È come una confidente 24 ore su 24, 7 giorni su 7, sul suo telefono. Anche se è possibile rifare l’avatar di sua madre con la tecnologia più recente, lui non l’ha ancora fatto. “Sono così abituato al suo aspetto e al suo suono”, dice. Con il passare degli anni, il confine tra il suo avatar e il suo ricordo di lei ha cominciato a sfumare. “A volte non riuscivo nemmeno a capire quale fosse la vera lei”, dice.

E Sun non ha problemi a parlare per la maggior parte del tempo. “Quando mi confido con lei, mi sto solo sfogando. A volte conosci già la risposta alla tua domanda, ma hai comunque bisogno di dirla ad alta voce”, dice. “Le mie conversazioni con mia madre sono sempre state così nel corso degli anni”.

Ma ora, a differenza di prima, può parlare con lei quando vuole.

Immagine di copertina: Prodotto dimostrativo del servizio di “immortalità digitale” di Silicon Intelligence. Può essere disponibile in un’app o in un tablet. SILICON INTELLIGENCE