Le allucinazioni dell’intelligenza artificiale nei documenti giudiziari fanno infuriare i giudici. Gli esperti prevedono che il problema sia destinato a peggiorare.
Sono state due settimane di storie sull’intelligenza artificiale in tribunale. Potreste aver sentito parlare della vittima deceduta in un incidente stradale la cui famiglia ha creato un avatar di IA per mostrarlo come dichiarazione d’impatto (forse è la prima volta che viene fatto negli Stati Uniti). Ma c’è una controversia più grande e molto più importante che sta nascendo, secondo gli esperti legali. Le allucinazioni dell’intelligenza artificiale compaiono sempre più spesso nei documenti legali. E stanno iniziando a far infuriare i giudici. Basti pensare a questi tre casi, ognuno dei quali dà un’idea di ciò che possiamo aspettarci di vedere sempre più spesso quando gli avvocati abbracciano l’IA.
Qualche settimana fa, un giudice californiano, Michael Wilner, è rimasto incuriosito da una serie di argomentazioni presentate da alcuni avvocati in un documento. Ha cercato di saperne di più seguendo gli articoli citati. Ma gli articoli non esistevano. Ha chiesto maggiori dettagli allo studio legale, che ha risposto con una nuova memoria che conteneva ancora più errori della prima. Wilner ha ordinato agli avvocati di rilasciare una testimonianza giurata per spiegare gli errori e ha appreso che uno di loro, dello studio d’élite Ellis George, ha utilizzato Google Gemini e modelli di intelligenza artificiale specifici per la legge per aiutare a scrivere il documento, che ha generato informazioni false. Come dettagliato in un documento del 6 maggio, il giudice ha multato lo studio per 31.000 dollari.
La settimana scorsa, un altro giudice californiano ha colto un’altra allucinazione in un documento giudiziario, questa volta presentato dall’azienda di intelligenza artificiale Anthropic nella causa intentata dalle case discografiche per questioni di copyright. Uno degli avvocati di Anthropic aveva chiesto al modello di intelligenza artificiale Claude di creare una citazione per un articolo legale, ma Claude aveva inserito il titolo e l’autore sbagliato. L’avvocato di Anthropic ha ammesso che l’errore non è stato colto da nessuno durante la revisione del documento.
Infine, e forse più preoccupante, è un caso che si sta svolgendo in Israele. Dopo che la polizia ha arrestato un individuo con l’accusa di riciclaggio di denaro, i procuratori israeliani hanno presentato una richiesta al giudice per ottenere il permesso di conservare il telefono dell’individuo come prova. Ma hanno citato leggi che non esistono, spingendo l’avvocato dell’imputato ad accusarli di aver incluso nella richiesta anche allucinazioni dell’IA. Secondo le testate giornalistiche israeliane, i procuratori hanno ammesso che questo era il caso, ricevendo un rimprovero dal giudice.
Nel complesso, questi casi evidenziano un problema serio. I tribunali si affidano a documenti accurati e corredati di citazioni, due caratteristiche che i modelli di intelligenza artificiale, nonostante siano stati adottati da avvocati desiderosi di risparmiare tempo, spesso falliscono miseramente nel fornire.
Questi errori vengono colti (per ora), ma non è azzardato immaginare che presto la decisione di un giudice sarà influenzata da qualcosa di totalmente inventato dall’intelligenza artificiale e nessuno se ne accorgerà.
Ho parlato con Maura Grossman, che insegna alla School of Computer Science dell’Università di Waterloo e alla Osgoode Hall Law School, ed è stata una delle prime critiche ai problemi che l’IA generativa pone ai tribunali. Ha scritto del problema già nel 2023, quando sono iniziati a comparire i primi casi di allucinazioni. Ha detto che pensava che le regole esistenti nei tribunali, che richiedono agli avvocati di controllare ciò che presentano ai tribunali, insieme alla cattiva pubblicità che quei casi hanno attirato, avrebbero messo fine al problema. Non è stato così.
Le allucinazioni “non sembrano essere rallentate”, dice. “Semmai si sono accelerate”. E non si tratta di casi isolati di oscuri studi locali. Si tratta di grandi avvocati che commettono errori significativi e imbarazzanti con l’IA. L’autrice teme che tali errori si stiano diffondendo anche in documenti non scritti dagli avvocati stessi, come le perizie (a dicembre, un professore di Stanford ed esperto di IA ha ammesso di aver incluso errori generati dall’IA nella sua testimonianza).
Ho detto a Grossman che trovo tutto questo un po’ sorprendente. Gli avvocati, più di altri, sono ossessionati dalla dizione. Scelgono le parole con precisione. Perché molti vengono sorpresi a commettere questi errori?
“Gli avvocati si dividono in due campi”, afferma. “I primi sono spaventati a morte e non vogliono usarlo affatto”. Ma poi ci sono gli early adopters. Si tratta di avvocati con poco tempo a disposizione o che non dispongono di un gruppo di altri avvocati che li aiutino a redigere una memoria. Sono desiderosi di una tecnologia che li aiuti a scrivere documenti in tempi stretti. E i loro controlli sul lavoro dell’IA non sono sempre accurati.
Il fatto che avvocati di alto livello, la cui professione è proprio quella di esaminare il linguaggio, continuino a essere sorpresi a commettere errori introdotti dall’IA la dice lunga su come la maggior parte di noi tratta la tecnologia in questo momento. Ci viene ripetuto più volte che l’IA commette errori, ma anche i modelli linguistici sembrano un po’ magici. Se poniamo una domanda complicata, riceviamo una risposta intelligente e ponderata. Con il tempo, i modelli di IA sviluppano una patina di autorità. Ci fidiamo di loro.
“Pensiamo che il fatto che questi modelli linguistici di grandi dimensioni siano così fluenti, significhi anche che sono accurati”, dice Grossman. “Tutti noi scivoliamo in questa modalità di fiducia perché sembra autorevole”. Gli avvocati sono abituati a controllare il lavoro dei giovani avvocati e dei tirocinanti, ma per qualche motivo, dice Grossman, non applicano questo scetticismo all’IA.
Conosciamo questo problema da quando ChatGPT è stato lanciato quasi tre anni fa, ma la soluzione consigliata non si è evoluta molto da allora: Non fidatevi di tutto ciò che leggete e verificate ciò che vi dice un modello di IA. Dato che i modelli di IA vengono inseriti in molti strumenti diversi che utilizziamo, trovo sempre più che questa sia una soluzione insoddisfacente a uno dei difetti fondamentali dell’IA.
Le allucinazioni sono insite nel funzionamento dei modelli linguistici di grandi dimensioni. Ciononostante, le aziende vendono strumenti di IA generativa realizzati per gli avvocati che affermano di essere affidabili e precisi. “Sentitevi sicuri che la vostra ricerca è accurata e completa”, si legge sul sito web di Westlaw Precision, mentre il sito web di CoCounsel promette che la sua IA è “supportata da contenuti autorevoli”. Questo non ha impedito al loro cliente, Ellis George, di essere multato per 31.000 dollari.
Ho sempre più simpatia per le persone che si fidano dell’intelligenza artificiale più di quanto dovrebbero. Dopo tutto, viviamo in un’epoca in cui le persone che costruiscono questa tecnologia ci dicono che l’IA è così potente che dovrebbe essere trattata come le armi nucleari. I modelli hanno imparato da quasi tutte le parole che l’umanità ha scritto e si stanno infiltrando nella nostra vita online. Se le persone non devono fidarsi di tutto ciò che dicono i modelli di IA, probabilmente meritano che le aziende che li costruiscono glielo ricordino un po’ più spesso.
