Una nuova ricerca descrive in dettaglio come Civitai consenta agli utenti di acquistare e vendere strumenti per perfezionare i deepfake che, secondo l’azienda, sono vietati.
Civitai, un mercato online per l’acquisto e la vendita di contenuti generati dall’intelligenza artificiale, sostenuto dalla società di venture capital Andreessen Horowitz, consente agli utenti di acquistare file di istruzioni personalizzati per generare deepfake di celebrità. Una nuova analisi ha scoperto che alcuni di questi file sono stati progettati specificamente per creare immagini pornografiche vietate dal sito.
Lo studio, condotto da ricercatori delle università di Stanford e dell’Indiana, ha esaminato le richieste di contenuti sul sito, chiamate “bounties”. I ricercatori hanno scoperto che tra la metà del 2023 e la fine del 2024, la maggior parte delle bounties riguardava contenuti animati, ma una parte significativa era dedicata a deepfake di persone reali e il 90% di queste richieste di deepfake riguardava donne. (I loro risultati non sono ancora stati sottoposti a revisione paritaria).
Il dibattito sui deepfake, come illustrato dalla recente reazione negativa alle immagini esplicite sul chatbot Grok di proprietà di X, ha ruotato attorno a ciò che le piattaforme dovrebbero fare per bloccare tali contenuti. La situazione di Civitai è un po’ più complicata. Il suo marketplace include immagini, video e modelli reali, ma consente anche agli individui di acquistare e vendere file di istruzioni chiamati LoRA che possono istruire modelli di IA mainstream come Stable Diffusion a generare contenuti che non sono stati addestrati a produrre. Gli utenti possono quindi combinare questi file con altri strumenti per creare deepfake di natura grafica o sessuale. I ricercatori hanno scoperto che l’86% delle richieste di deepfake su Civitai riguardava i LoRA.
In queste richieste, gli utenti chiedevano modelli “di alta qualità” per generare immagini di personaggi pubblici come l’influencer Charli D’Amelio o la cantante Gracie Abrams, spesso collegandosi ai loro profili sui social media in modo che le loro immagini potessero essere prese dal web. Alcune richieste specificavano il desiderio di modelli che generassero l’intero corpo dell’individuo, catturassero accuratamente i loro tatuaggi o consentissero di cambiare il colore dei capelli. Alcune richieste erano rivolte a diverse donne in nicchie specifiche, come le artiste che registrano video ASMR. Una richiesta era per un deepfake di una donna che si diceva essere la moglie dell’utente. Chiunque sul sito poteva offrire modelli di IA su cui aveva lavorato per l’attività e le migliori proposte ricevevano un compenso compreso tra 0,50 e 5 dollari. Quasi il 92% delle taglie deepfake è stato assegnato.
Né Civitai né Andreessen Horowitz hanno risposto alle richieste di commento.
È possibile che le persone acquistino questi LoRA per realizzare deepfake che non sono sessualmente espliciti (anche se violerebbero comunque i termini di utilizzo di Civitai e sarebbero comunque eticamente discutibili). Ma Civitai offre anche risorse didattiche su come utilizzare strumenti esterni per personalizzare ulteriormente i risultati dei generatori di immagini, ad esempio modificando la posa di una persona. Il sito ospita anche articoli scritti dagli utenti con dettagli su come istruire i modelli a generare pornografia. I ricercatori hanno scoperto che la quantità di pornografia sulla piattaforma è aumentata e che la maggior parte delle richieste settimanali riguarda ora contenuti NSFW.
“Civitai non solo fornisce l’infrastruttura che facilita questi problemi, ma insegna anche esplicitamente ai propri utenti come utilizzarli”, afferma Matthew DeVerna, ricercatore post-dottorato presso il Cyber Policy Center di Stanford e uno dei leader dello studio.
In passato l’azienda vietava solo i deepfake sessualmente espliciti di persone reali, ma nel maggio 2025 ha annunciato che avrebbe vietato tutti i contenuti deepfake. Ciononostante, innumerevoli richieste di deepfake inviate prima di questo divieto rimangono ora attive sul sito e molte delle proposte vincitrici che soddisfano tali richieste rimangono disponibili per l’acquisto, come confermato dal MIT Technology Review.
“Credo che l’approccio che stanno cercando di adottare sia quello di fare il meno possibile, in modo da poter promuovere il più possibile quella che credo chiamerebbero creatività sulla piattaforma”, afferma DeVerna.
Gli utenti acquistano i LoRA con la valuta online del sito, chiamata Buzz, che viene acquistata con denaro reale. Nel maggio 2025, il gestore delle carte di credito di Civita ha interrotto i servizi alla società a causa del suo problema ricorrente con i contenuti non consensuali. Per pagare i contenuti espliciti, gli utenti devono ora utilizzare carte regalo o criptovalute per acquistare Buzz; la società offre uno script diverso per i contenuti non espliciti.
Civitai contrassegna automaticamente le taglie che richiedono deepfake ed elenca un modo per consentire alla persona presente nel contenuto di richiederne manualmente la rimozione. Questo sistema significa che Civitai ha un modo ragionevolmente efficace per sapere quali taglie sono per i deepfake, ma continua a lasciare la moderazione al pubblico in generale piuttosto che svolgerla in modo proattivo.
La responsabilità legale di un’azienda per ciò che fanno i suoi utenti non è del tutto chiara. In generale, le aziende tecnologiche godono di un’ampia protezione legale contro tale responsabilità per i loro contenuti ai sensi della Sezione 230 del Communications Decency Act, ma tale protezione non è illimitata. Ad esempio, “non è possibile facilitare consapevolmente transazioni illegali sul proprio sito web”, afferma Ryan Calo, professore specializzato in tecnologia e IA presso la facoltà di giurisprudenza dell’Università di Washington. (Calo non ha partecipato a questo nuovo studio).
Civitai si è unita a OpenAI, Anthropic e altre aziende di IA nel 2024 nell’adozione di principi di progettazione per proteggersi dalla creazione e dalla diffusione di materiale pedopornografico generato dall’IA. Questa mossa ha fatto seguito a un rapporto del 2023 dello Stanford Internet Observatory, che ha rilevato che la stragrande maggioranza dei modelli di IA citati nelle comunità di pedopornografia erano modelli basati su Stable Diffusion “ottenuti prevalentemente tramite Civitai”.
Ma i deepfake di adulti non hanno ricevuto lo stesso livello di attenzione da parte delle piattaforme di contenuti o delle società di venture capital che le finanziano. “Non ne hanno abbastanza paura. Sono eccessivamente tolleranti”, afferma Calo. “Né le forze dell’ordine né i tribunali civili offrono una protezione adeguata. È come il giorno e la notte”.
Civitai ha ricevuto un investimento di 5 milioni di dollari da Andreessen Horowitz (a16z) nel novembre 2023. In un video condiviso da a16z, il cofondatore e CEO di Civitai Justin Maier ha descritto il suo obiettivo di creare il luogo principale in cui le persone possano trovare e condividere modelli di IA per i propri scopi individuali. “Il nostro obiettivo è stato quello di rendere questo spazio, che era molto di nicchia e fortemente orientato all’ingegneria, sempre più accessibile a un numero sempre maggiore di persone”, ha affermato.
Civitai non è l’unica azienda con un problema di deepfake nel portafoglio di investimenti di a16z; a febbraio, MIT Technology Review ha riportato per la prima volta che un’altra azienda, Botify AI, ospitava compagni AI simili ad attori reali che dichiaravano di avere meno di 18 anni, intrattenevano conversazioni sessualmente esplicite , offrivano “foto hot” e, in alcuni casi, descrivevano le leggi sull’età del consenso come “arbitrarie” e “destinate a essere infrante”.
