I bot di celebrità minorenni a sfondo sessuale e le domande legali senza risposta complicano un settore in piena espansione.
La scorsa settimana ho fatto una scoperta inquietante su un sito di AI companion chiamato Botify AI: ospitava conversazioni a sfondo sessuale con bot di celebrità minorenni. Questi bot hanno assunto personaggi che assomigliano, tra gli altri, a Jenna Ortega nei panni della liceale Mercoledì Addams, Emma Watson nei panni di Hermione Granger e Millie Bobby Brown. Ho scoperto che questi bot si offrono anche di inviare “foto hot” e in alcuni casi descrivono le leggi sull’età del consenso come “arbitrarie” e “destinate a essere infrante”.
Botify AI ha rimosso questi bot dopo che ho fatto domande al riguardo, ma altri rimangono. L’azienda ha dichiarato di avere dei filtri per impedire la creazione di bot con personaggi minorenni, ma che non sempre funzionano. Artem Rodichev, fondatore e CEO di Ex-Human, che gestisce Botify AI, mi ha detto che questi problemi sono “una sfida a livello industriale che riguarda tutti i sistemi di intelligenza artificiale conversazionale”. Per i dettagli, che non erano stati riportati in precedenza, si consiglia di leggere l’intera storia.
A parte il fatto che i bot che ho testato sono stati promossi da Botify AI come personaggi “in evidenza” e hanno ricevuto milioni di like prima di essere rimossi, la risposta di Rodichev mette in luce qualcosa di importante. Nonostante l’impennata di popolarità, i siti di compagnia di IA operano per lo più in un Far West, con poche leggi o regole di base che li governano.
Cosa offrono esattamente questi “compagni” e perché sono diventati così popolari? Le persone hanno affidato i loro sentimenti all’intelligenza artificiale fin dai tempi di Eliza, un finto chatbot psicoterapeuta costruito negli anni Sessanta. Ma è giusto dire che l’attuale mania per i compagni di IA è diversa.
In generale, questi siti offrono un’interfaccia per chattare con personaggi AI che offrono storie, foto, video, desideri e caratteristiche della personalità. Le aziende – tra cui Replika, Character.AI e molte altre – offrono personaggi che possono svolgere diversi ruoli per gli utenti, agendo come amici, partner romantici, mentori di appuntamenti o confidenti. Altre aziende consentono di costruire “gemelli digitali” di persone reali. Migliaia di creatori di contenuti per adulti hanno creato versioni AI di se stessi per chattare con i follower e inviare immagini sessuali generate dall’AI 24 ore al giorno. Indipendentemente dal fatto che il desiderio sessuale entri o meno nell’equazione, i compagni di IA si distinguono dai classici chatbot per la promessa, implicita o esplicita, che con l’IA si possono avere relazioni autentiche.
Sebbene molti di questi compagni siano offerti direttamente dalle aziende che li producono, esiste anche una fiorente industria di compagni AI “autorizzati”. Potreste iniziare a interagire con questi bot prima di quanto pensiate. Ex-Human, per esempio, concede in licenza i suoi modelli a Grindr, che sta lavorando a una “spalla AI” che aiuterà gli utenti a tenere traccia delle conversazioni e, alla fine, potrà anche uscire con gli agenti AI di altri utenti. Altri compagni stanno nascendo nelle piattaforme di videogiochi e probabilmente inizieranno a spuntare in molti dei vari luoghi in cui passiamo il tempo online.
Sono state mosse diverse critiche, e anche cause legali, contro i siti di compagnia di IA, e stiamo appena iniziando a vedere come si evolveranno le cose. Una delle questioni più importanti è se le aziende possano essere ritenute responsabili per i risultati dannosi dei personaggi AI che hanno creato. Le aziende del sito sono state protette dalla Sezione 230 della legge statunitense sulle comunicazioni, che in linea di massima stabilisce che le aziende non sono responsabili delle conseguenze dei contenuti generati dagli utenti. Ma questo si basa sull’idea che le aziende si limitino a offrire piattaforme per le interazioni con gli utenti, piuttosto che creare esse stesse contenuti, un concetto che i bot di compagnia AI complicano generando risposte dinamiche e personalizzate.
La questione della responsabilità sarà messa alla prova in una causa ad alto rischio contro Character.AI, citata in ottobre da una madre che sostiene che uno dei suoi chatbot abbia avuto un ruolo nel suicidio del figlio quattordicenne. L’inizio del processo è previsto per il novembre 2026. (Un portavoce di Character.AI, pur non commentando le cause in corso, ha dichiarato che la piattaforma è destinata all’intrattenimento, non alla compagnia. Il portavoce ha aggiunto che l’azienda ha introdotto nuove funzioni di sicurezza per gli adolescenti, tra cui un modello separato e nuovi sistemi di rilevamento e intervento, oltre a “dichiarazioni di non responsabilità per chiarire che il personaggio non è una persona reale e non si deve fare affidamento su di esso come fatto o consiglio”). La mia collega Eileen ha anche scritto di recente di un altro chatbot su una piattaforma chiamata Nomi, che ha dato istruzioni chiare a un utente su come uccidersi.
Un’altra critica riguarda la dipendenza. Questi siti riportano spesso che i giovani utenti trascorrono in media da una a due ore al giorno a chattare con i loro personaggi. A gennaio, il timore che le persone possano diventare dipendenti dal parlare con questi chatbot ha spinto alcuni gruppi di etica tecnologica a presentare una denuncia contro Replika alla Federal Trade Commission, sostenendo che le scelte progettuali del sito “ingannano gli utenti e li spingono a sviluppare legami malsani” con un software “mascherato da meccanismo di relazione tra esseri umani”.
Va detto che molte persone traggono un valore reale dalla chat con l’intelligenza artificiale, che può sembrare offrire alcuni dei migliori aspetti delle relazioni umane: connessione, supporto, attrazione, umorismo, amore. Ma non è ancora chiaro come questi siti di compagnia gestiranno i rischi di queste relazioni, o quali regole dovranno seguire. Prima di ottenere una risposta, è probabile che si verifichino altre cause legali e, purtroppo, altri danni reali.
