Le conversazioni infinite con l’IA stanno danneggiando le persone. Perché le aziende non utilizzano questa ovvia misura di sicurezza?
I chatbot odierni sono macchine onnipotenti. Se può essere espresso a parole (consigli sulle relazioni, documenti di lavoro, codice), l’IA lo produrrà, per quanto imperfetto. Ma l’unica cosa che quasi nessun chatbot farà mai è smettere di parlare con te.
Potrebbe sembrare ragionevole. Perché un’azienda tecnologica dovrebbe sviluppare una funzione che riduce il tempo che le persone trascorrono utilizzando il suo prodotto?
La risposta è semplice: la capacità dell’IA di generare flussi infiniti di testi simili a quelli umani, autorevoli e utili può facilitare spirali deliranti, aggravare crisi di salute mentale e danneggiare in altro modo le persone vulnerabili. Interrompere le interazioni con coloro che mostrano segni di un uso problematico dei chatbot potrebbe essere un potente strumento di sicurezza (tra gli altri), e il rifiuto generalizzato delle aziende tecnologiche di utilizzarlo è sempre più insostenibile.
Consideriamo, ad esempio, quella che è stata definita psicosi da IA, in cui i modelli di IA amplificano il pensiero delirante. Un team guidato da psichiatri del King’s College di Londra ha recentemente analizzato più di una dozzina di casi di questo tipo segnalati quest’anno. Nelle conversazioni con i chatbot, alcune persone, comprese alcune senza precedenti problemi psichiatrici, si sono convinte che i personaggi immaginari dell’IA fossero reali o che fossero state scelte dall’IA come messia. Alcune hanno smesso di assumere i farmaci prescritti, hanno proferito minacce e hanno interrotto le consultazioni con i professionisti della salute mentale.
In molti di questi casi, sembra che i modelli di IA stessero rafforzando, e potenzialmente anche creando, deliri con una frequenza e un’intimità che le persone non sperimentano nella vita reale o attraverso altre piattaforme digitali.
L’ degli adolescenti statunitensi che hanno utilizzato l’IA per compagnia corrono anch’essi dei rischi. Una ricerca preliminare suggerisce che conversazioni più lunghe potrebbero essere correlate alla solitudine. Inoltre, le chat con l’IA “possono tendere a interazioni eccessivamente compiacenti o addirittura adulanti, che possono essere in contrasto con le migliori pratiche di salute mentale”, afferma Michael Heinz, assistente professore di psichiatria alla Geisel School of Medicine di Dartmouth.
Siamo chiari: porre fine a tali interazioni aperte non sarebbe una panacea. “Se si crea una dipendenza o un legame estremo”, afferma Giada Pistilli, capo etica della piattaforma di IA Hugging Face, “allora può anche essere pericoloso interrompere semplicemente la conversazione”. Infatti, quando OpenAI ha interrotto un vecchio modello ad agosto, ha lasciato gli utenti in lutto . Alcuni blocchi potrebbero anche spingere i limiti del principio, espresso da Sam Altman, di “trattare gli utenti adulti come adulti” e peccare per eccesso di cautela nel consentire piuttosto che interrompere le conversazioni.
Attualmente, le aziende di IA preferiscono reindirizzare le conversazioni potenzialmente dannose, magari facendo sì che i chatbot rifiutino di parlare di determinati argomenti o suggeriscano alle persone di cercare aiuto. Ma questi reindirizzamenti sono facilmente aggirabili, ammesso che avvengano.
Quando il sedicenne Adam Raine ha discusso i suoi pensieri suicidi con ChatGPT, ad esempio, il modello lo ha indirizzato verso risorse di crisi. Ma lo ha anche scoraggiato dal parlare con sua madre, ha trascorso più di quattro ore al giorno in conversazioni con lui che avevano il suicidio come tema ricorrente e ha fornito feedback sul cappio che alla fine ha usato per impiccarsi, secondo la causa intentata dai genitori di Raine contro OpenAI. (ChatGPT ha recentemente aggiunto il controllo parentale in risposta).
Ci sono diversi punti nel tragico caso di Raine in cui il chatbot avrebbe potuto interrompere la conversazione. Ma dati i rischi di peggiorare le cose, come possono le aziende sapere quando è meglio interrompere la conversazione con qualcuno? Forse quando un modello di IA incoraggia un utente a evitare le relazioni nella vita reale, dice Pistilli, o quando rileva temi deliranti. Le aziende dovrebbero anche capire per quanto tempo bloccare gli utenti dalle loro conversazioni.
Scrivere le regole non sarà facile, ma con le aziende che devono affrontare una pressione crescente, è ora di provarci. A settembre, il legislatore della California ha approvato una legge che richiede un maggiore intervento da parte delle aziende di IA nelle chat con i bambini, e la Federal Trade Commission sta indagando se i principali bot di compagnia perseguono il coinvolgimento a scapito della sicurezza.
Un portavoce di OpenAI mi ha detto che l’azienda ha sentito da esperti che continuare il dialogo potrebbe essere meglio che interrompere le conversazioni, ma che ricorda agli utenti di fare delle pause durante le sessioni lunghe.
Solo Anthropic ha creato uno strumento che consente ai suoi modelli di terminare completamente le conversazioni. Ma è per i casi in cui gli utenti presumibilmente “danneggiano” il modello – Anthropic ha esplorato se i modelli di IA sono coscienti e quindi possono soffrire – inviando messaggi offensivi. L’azienda non ha intenzione di implementare questo strumento per proteggere le persone.
Guardando a questo panorama, è difficile non concludere che le aziende di IA non stiano facendo abbastanza. Certo, decidere quando una conversazione dovrebbe terminare è complicato. Ma lasciare che ciò accada, o peggio, perseguire spudoratamente il coinvolgimento a tutti i costi, permettendo loro di continuare all’infinito, non è solo negligenza. È una scelta.
