Un’indagine approfondita dei tentativi basati sull’intelligenza artificiale di riconoscere la menzogna mostra i limiti della nuova tecnologia che si avvale dell’IA.
di Jake Bittle
Prima che il poligrafo lo dichiarasse colpevole, Emmanuel Mervilus lavorava per un’azienda per la produzione di olio da cucina nel porto di Newark, nel New Jersey. Guadagnava 12 dollari l’ora spostando le scatole, ma non era abbastanza. Suo fratello e sua sorella erano troppo giovani per lavorare e sua madre stava combattendo una costosa battaglia contro il cancro. Il suo capo al porto, tuttavia, gli aveva detto che era ormai vicina la sua promozione alla qualifica superiore, che avrebbe comportato un aumento di 25 dollari l’ora.
Il 19 ottobre 2006, Mervilus stava ancora aspettando questa promozione, quando lui e un amico si fermarono a una Dunkin ‘Donuts nella vicina Elizabeth, nel New Jersey. Pochi minuti dopo, mentre camminavano lungo la strada, due agenti di polizia si avvicinarono e li accusarono di aver derubato un uomo a Knif Point pochi minuti prima, fuori da una vicina stazione ferroviaria.
La vittima aveva identificato a distanza Mervilus e il suo amico. Nel disperato tentativo di provare la sua innocenza, Mervilus si offrì di fare il test del poligrafo. La polizia fu d’accordo, ma nei giorni immediatamente precedenti il test morì la madre di Mervilus. Era sconvolto e in preda all’ansia quando la polizia lo collegò al dispositivo. Fallì il test e chiese di ripeterlo, ma gli venne rifiutato.
Al processo, il tenente responsabile del poligrafo testimoniò che il dispositivo era un affidabile “indicatore di verità”. Nella sua carriera non aveva mai visto, ha affermato, un caso in cui “chi negava di aver fatto una determinata cosa risultasse veritiero”. Una giuria ritenne Mervilus colpevole, condizionata dalla prova sostenuta al poligrafo. Il giudice lo condannò a 11 anni di carcere.
La convinzione che l’inganno possa essere rilevato analizzando le reazioni del corpo umano si è radicata nella vita moderna. Nonostante numerosi studi mettano in dubbio la validità del poligrafo, ogni anno vengono condotti più di 2,5 milioni di screening con il dispositivo e i test del poligrafo rappresentano un settore da 2 miliardi di dollari.
Le agenzie del governo federale degli Stati Uniti tra cui il Dipartimento di Giustizia, il Dipartimento della Difesa e la CIA usano tutti il dispositivo per lo screening di potenziali dipendenti. Secondo i dati del Dipartimento di Giustizia del 2007, oltre i tre quarti di tutta la polizia urbana e i dipartimenti dello sceriffo hanno utilizzato rilevatori di bugie anche per selezionare le assunzioni.
Ma le macchine per poligrafo sono ancora troppo lente e ingombranti per essere utilizzate ai valichi di frontiera, negli aeroporti o su gruppi di persone. Di conseguenza, negli ultimi dieci anni è emersa una nuova generazione di rilevatori di bugie basati sull’intelligenza artificiale. I loro sostenitori affermano che siano più veloci e più precisi dei poligrafi.
L’IA e le macchine della verità
In realtà, il lavoro psicologico che sta alla base di questi nuovi sistemi di intelligenza artificiale è ancora più fragile della ricerca alla base del poligrafo. Vi sono scarse prove del fatto che i risultati che producono siano affidabili. Tuttavia, l’aura di modernità che l’IA offre loro sta portando questi sistemi in contesti in cui il poligrafo non è stato in grado di penetrare: valichi di frontiera, colloqui di lavoro privati, controlli sui prestiti e richieste relative a frodi assicurative.
Le aziende e i governi stanno iniziando a utilizzarli per prendere decisioni sull’affidabilità di clienti, dipendenti, cittadini, immigrati e ospiti internazionali. Ma cosa succede se mentire è troppo complesso per essere identificato in modo affidabile da qualsiasi macchina, non importa quanto sia avanzato il suo algoritmo?
Gli inquisitori dell’antica Cina chiedevano ai sospetti bugiardi di mettere il riso in bocca per vedere se stessero salivando. Il Gesta Romanorum, un’antologia medievale di favole morali, racconta la storia di un soldato che aveva chiesto di misurare le pulsazioni di sua moglie per capire se fosse infedele.
Quando gli Stati Uniti entrarono nella prima guerra mondiale, William Marston, un ricercatore di Harvard, aprì la strada all’uso di macchine che misuravano la pressione sanguigna per tentare di accertare una eventuale bugia. Qualche anno dopo, ispirandosi al lavoro di Marston, John Augustus Larson, un ufficiale di polizia che aveva appena completato il suo dottorato di ricerca in fisiologia all’Università della California, a Berkeley, sviluppò una macchina che chiamò “psicogramma cardio-pneumo”, che forniva letture continue della pressione sanguigna, del polso e della frequenza respiratoria di un soggetto.
Queste letture, affermava Larson, erano un indicatore migliore dell’inganno rispetto alla sola pressione sanguigna.
Larson usò per la prima volta la macchina per indagare su un furto in un dormitorio femminile a Berkeley e nel giro di un anno il suo apparecchio venne usato per condannare un uomo a San Francisco accusato di aver ucciso un prete.
Negli anni 1930, uno dei protetti di Larson vendette una versione portatile ai dipartimenti di polizia di tutto il paese, aggiungendo un sensore che misurava i cambiamenti nella risposta galvanica della pelle: più un soggetto sudava, più conduttiva sarebbe diventata la pelle. Negli anni 1970, milioni di lavoratori del settore privato effettuarono regolari test poligrafici su richiesta dei loro datori di lavoro.
La maggior parte dei test del poligrafo oggi ha la stessa struttura di base di quella di Larson: l’esaminatore pone una serie di domande per misurare il normale stato fisiologico di un soggetto, osservando mentre la macchina trascrive queste misurazioni che appaiono come linee a forme d’onda su una pagina o uno schermo. L’esaminatore cerca quindi picchi improvvisi o cali in questi livelli mentre il soggetto risponde a domande su sospetti crimini o sentimenti.
Una serie di critiche
Ma psicologi e neuroscienziati hanno criticato il poligrafo quasi dal momento in cui Larson ha svelato la sua invenzione al pubblico. Mentre alcuni “bugiardi” possono sperimentare cambiamenti nella frequenza cardiaca o nella pressione sanguigna, ci sono poche prove che tali cambiamenti siano correlati sistematicamente all’inganno. Molte persone innocenti si innervosiscono sotto interrogatorio e bugiardi di professione possono rimanere calmi o controllare i cambiamenti emotivi nel loro corpo per ingannare il test.
I poligrafi possono anche essere ingannati dal mordersi la lingua, esercitare una forte pressione sulla pianta del piede o pensare a qualcosa che ci spaventa particolarmente. I dispositivi rischiano sempre di raccogliere variabili confondenti anche in esperimenti di laboratorio controllati e nella vita reale sono ancora meno affidabili: poiché i criminali che superano il test non si dichiarano quasi mai colpevoli e poiché sospetti innocenti spesso rilasciano false confessioni dopo aver fallito il test, non c’è modo di dire quanto il sistema funzioni davvero.
A causa di queste limitazioni, i test del poligrafo sono stati giudicati a lungo inammissibili nella maggior parte dei tribunali americani a meno che entrambe le parti non li accettino. La legge federale ha vietato ai datori di lavoro privati di sottoporre ai poligrafi i propri dipendenti dal 1988 (con l’eccezione di coloro che svolgono mansioni sensibili, come guardie armate o distributori di prodotti farmaceutici, e per alcuni dipendenti sospettati di furto o frode).
L’American Psychological Association avverte: “La maggior parte degli psicologi concorda sul fatto che ci sono poche prove che i test del poligrafo possano rilevare accuratamente le bugie”, e un rapporto del 2003 dell’Accademia Nazionale delle Scienze, che fa eco a precedenti ricerche del governo, ha scoperto che il dispositivo rileva le menzogne a tassi “superiori ai casi effettivi, ma ben al di sotto della perfezione. La sicurezza nazionale è troppo importante per essere lasciata in mano a uno strumento simile”.
Sistemi più efficaci di rilevazione
Ma forse la perfezione non è così importante. Questa è la promessa fatta da un numero crescente di aziende desiderose di vendere la tecnologia di rilevamento delle bugie a governi e industrie commerciali. Forse, dicono, alcuni complessi schemi di tic comportamentali potrebbero segnalare una menzogna in modo più affidabile di un semplice polso o della pressione arteriosa. E forse un algoritmo sofisticato potrebbe individuare quei modelli.
Dal 1969 al 1981, un serial killer soprannominato lo “Yorkshire Ripper” ha assalito giovani donne nel nord dell’Inghilterra, uccidendone almeno 13 e tentando di ucciderne almeno altre sette. La polizia lo interrogò e rilasciò nove diverse volte mentre la sua follia omicida è continuata. L’ultima sua vittima fu Jacqueline Hill, una studentessa di 20 anni dell’Università di Leeds, che venne uccisa nel novembre del 1980. Alcuni mesi dopo la polizia lo catturò mentre si preparava a uccidere una prostituta nella vicina Sheffield.
Quando Janet Rothwell arrivò all’Università di Leeds nell’autunno del 1980, viveva nel dormitorio accanto a quello di Hill, la vittima. “Jacqueline prese l’autobus dalla biblioteca universitaria quasi contemporaneamente a me”, ha detto la Rothwell, “e venne assassinata dopo essere scesa dall’autobus”. Rothwell apprese in seguito quanto tempo la polizia impiegò a catturare l’assassino. “Mi chiedevo”, ha continuato, “se un computer avrebbe potuto segnalare una serie di incongruenze nel comportamento del killer per intervenire in tempo”.
Alla fine degli anni 1990, la Rothwell continuò a frequentare la scuola universitaria alla Manchester Metropolitan University (MMU), dove incontrò Zuhair Bandar, un docente iracheno-britannico che lavorava nel dipartimento di informatica. Bandar era in un momento della vita particolarmente felice in quanto un’azienda di marketing gli aveva chiesto di creare un dispositivo semplice per misurare l’interesse dei consumatori per i prodotti che vedevano sullo schermo.
“L’idea era di dare al cliente un dispositivo portatile”, ha spiegato Bandar, “che può premere 1 o 2, a seconda se gli piace o meno. Ho pensato: ‘perché abbiamo bisogno di dispositivi portatili se ci sono già le espressioni dei loro volti’?”. Bandar chiese a Rothwell di rimanere alla MMU dopo il suo master per fare un dottorato di ricerca e aiutarlo a progettare software in grado di analizzare i volti per ricavarne informazioni.
Le menzogne, pensavano entrambi, non erano meno visibili della gioia o della rabbia. In tutti questi casi si dovrebbe creare una qualche forma di “incongruenza”, vale a dire schemi comportamentali, verbali o non verbali, che un computer potrebbe riconoscere.
Rothwell addestrò una rete neurale agli inizi del Duemila per tenere traccia dei movimenti del viso, come il battito delle palpebre e l’arrossamento, e “alimentò” il computer con decine di clip di persone che rispondevano alla stessa serie di domande in modo onesto e disonesto.
Per determinare ciò che i bugiardi avevano in comune, il computer esaminò i movimenti facciali di un individuo, le relazioni tra quei movimenti e le relazioni tra quelle relazioni, arrivando a formulare una “teoria” troppo complessa per essere esposta in un linguaggio normale. Una volta “addestrato” in questo modo, il sistema avrebbe potuto usare le sue conoscenze per classificare nuovi soggetti come menzogneri o sinceri, analizzando i cambiamenti fotogramma per fotogramma nelle loro espressioni.
In uno studio del 2006, il sistema, chiamato Silent Talker, venne utilizzato per indovinare se un soggetto mentiva o diceva la verità. Non ha mai raggiunto una precisione superiore all’80 per cento mentre Rothwell ci stava lavorando, né ha fatto sostanzialmente meglio in tutto ciò che il gruppo di ricerca ha pubblicato da allora. Rothwell mi ha anche detto che andava in tilt se un partecipante indossava gli occhiali, e ha sottolineato: “Le condizioni di illuminazione dovevano essere le stesse e le interviste erano basate su furti simulati”.
Ma anche in quelle prime fasi, ricorda Rothwell, Bandar era “desideroso di avere un prodotto commerciale”; lui e un collega le presentarono una volta un video di una donna sospettata di aver tradito il marito e le chiesero di farlo analizzare da Silent Talker, proprio come nel Gesta Romanorum.
Rothwell aveva le sue riserve. “Mi resi conto che il software, se funzionava, avrebbe potrebbe essere invadente”, ha spiegato. “Non credo che nessun sistema potrebbe mai essere sicuro al 100 per cento e se [il sistema] sbaglia, il rischio per le relazioni e la vita potrebbe essere catastrofico”. Lasciò l’università nel 2006 e dopo essersi specializzata come audiologa, trovò lavoro in un ospedale sull’isola di Jersey, dove vive tuttora.
Nel 2003 MMU diffuse un comunicato stampa, pubblicizzando la tecnologia come una nuova invenzione che avrebbe reso obsoleto il poligrafo. “Sono rimasta molto sorpresa”, ha detto Rothwell, “perché sentivo che si stavano bruciando i tempi”.
Lo spartiacque dell’11 settembre
Dopo gli attentati alle Torri gemelle, il governo degli Stati Uniti iniziò a effettuare numerose incursioni nella tecnologia di rilevamento delle menzogne con il Dipartimento della sicurezza nazionale (DHS), il Dipartimento della difesa (DoD) e la National Science Foundation che investirono milioni di dollari in tali ricerche. Queste agenzie finanziarono la creazione di AVATAR (automated virtual agent for truth assessments in real time) all’Università dell’Arizona.
AVATAR è un sistema virtuale che analizza le espressioni facciali, il linguaggio del corpo e le voci delle persone per assegnare ai soggetti un “punteggio di credibilità”, ed è stato testato negli aeroporti degli Stati Uniti. Nel frattempo, secondo un articolo del 2010 apparso su “Fast Company”, il DHS aveva contribuito a finanziare, in Israele, una startup chiamata WeCU (we see you), che vendeva un chiosco per lo screening che “innesca risposte fisiologiche tra coloro che nascondono qualcosa”.
Bandar iniziò a cercare di commercializzare la tecnologia. Insieme a due dei suoi studenti, Jim O’Shea e Keeley Crockett, fondò un’azienda, Silent Talker appunto, e contattò dipartimenti di polizia e strutture private per promuovere la sua tecnologia di “profilazione psicologica”. Silent Talker è stato uno dei primi rilevatori di bugie dell’intelligenza artificiale a imporsi sul mercato.
Secondo l’azienda, lo scorso anno la tecnologia “derivata da Silent Talker” è stata utilizzata come parte di iBorderCtrl, un’iniziativa di ricerca finanziata dall’Unione europea che ha testato il sistema sui volontari per il controllo delle frontiere in Grecia, Ungheria e Lettonia. Bandar afferma che l’azienda è attualmente in trattativa per vendere la tecnologia a studi legali, banche e compagnie assicurative, per effettuare interviste per le assunzioni e svelamento di frodi.
Bandar e O’Shea hanno trascorso anni ad adattare l’algoritmo di base per l’utilizzo in varie impostazioni. Hanno provato a commercializzarlo nei dipartimenti di polizia nelle aree metropolitane di Manchester e Liverpool. Nel 2003, in una dichiarazione a “The Engineer” sottolinearono che il loro obiettivo era “di sperimentare il sistema in situazioni reali”.
Un libro bianco del 2013 pubblicato da O’Shea sul suo sito web suggeriva che Silent Talker “poteva essere usato per proteggere le forze americane schierate oltreoceano dagli attacchi dei soldati afgani ex alleati. Il team ha anche pubblicato risultati sperimentali che mostrano come Silent Talker potrebbe essere utilizzato per rilevare il livello di percezione e comprensione.
In uno studio del 2012, il primo a mostrare il sistema Silent Talker utilizzato sul campo, il team ha lavorato con una ONG di assistenza sanitaria in Tanzania per registrare le espressioni facciali di 80 donne durante i corsi online sulla terapia per l’HIV e sull’uso del preservativo.
L’idea era di determinare se i pazienti comprendessero il tipo di terapia che avrebbero dovuto portare avanti. Come spiega la parte introduttiva dello studio, “la valutazione della comprensione dei partecipanti durante il processo di consenso informato rimane ancora un’area critica di preoccupazione”.
Quando il team ha fatto un riferimento incrociato alle ipotesi dell’intelligenza artificiale sul fatto che le donne avessero compreso quanto ascoltato in brevi esami post-lezione, hanno scoperto che le previsioni su chi sarebbe passata e chi avrebbe fallito si attestavano all’80 per cento.
L’esperimento della Tanzania ha portato all’inclusione di Silent Talker in iBorderCtrl. Nel 2015, Athos Antoniades, uno degli organizzatori del nascente consorzio, ha inviato un’e-mail a O’Shea, chiedendo se il team di Silent Talker volesse unirsi a un gruppo di aziende e forze di polizia che chiedevano una sovvenzione UE.
Negli anni precedenti, il crescente traffico di veicoli verso l’UE aveva sopraffatto gli agenti nei paesi di confine dell’Europa, di conseguenza, l’UE offriva 4,5 milioni di euro a qualsiasi istituzione fosse in grado di “garantire valichi di frontiera terrestri più efficienti e sicuri. e quindi contribuire alla prevenzione della criminalità e del terrorismo”.
Antoniades riteneva che Silent Talker potesse svolgere un ruolo cruciale. Quando, nell’ottobre del 2018, è stata annunciata la partenza del progetto pilota, la Commissione europea, in un comunicato stampa, ha rapidamente divulgato la “storia di successo” dell'”approccio unico” del sistema di rilevamento della menzogna, spiegando che la tecnologia “analizza i micro-gesti di i viaggiatori per capire se l’intervistato sta mentendo”.
L’algoritmo addestrato a Manchester, prosegue il comunicato stampa, “può garantire varchi di frontiera terrestri più sicuri e contribuire all’opera di prevenzione della criminalità e del terrorismo”. L’algoritmo di base del programma, mi ha detto O’Shea, potrebbe essere utilizzato in una varietà di altre impostazioni: pubblicità, analisi delle richieste di risarcimento assicurativo, screening dei candidati e valutazione dei dipendenti.
La sua convinzione è stata per me difficile da condividere, ma effettivamente, anche mentre stavamo parlando al telefono, Silent Talker era già attivo ai valichi di frontiera dell’UE; l’azienda ne ha rilasciato una versione commerciale nel gennaio del 2019. Pertanto, ho deciso di andare a Manchester per vedere di persona.
Silent Talker
Gli uffici dell’azienda si trovano a circa un miglio di distanza dalla Manchester Metropolitan University, dove O’Shea è ora docente senior. Silent Talker ha la sede all’interno di un parco sito in un quartiere residenziale: una piccola stanza con alcuni computer, scrivanie con valigette e poster esplicativi sulla tecnologia dei primi anni Duemila.
Quando ho visitato l’ufficio dell’azienda a settembre, mi sono seduto con O’Shea e Bandar in una sala conferenze in fondo al corridoio. O’Shea era all’apparenza severo, con i vestiti leggermente stropicciati, calvo, tranne che per alcuni ciuffi di capelli, e un pizzetto alla Van Dyke. Ha iniziato la conversazione chiarendo che non avremmo parlato del progetto iBorderCtrl, anche se in seguito ha definito i suoi critici “male informati”. Ha parlato della potenza del framework IA del sistema con lunghe digressioni, citando occasionalmente il pioniere dell’informatica Alan Turing o il filosofo del linguaggio John Searle.
“Le macchine e gli umani sono dotati di intenzionalità: credenze, desideri e intenzioni su oggetti e stati di cose nel mondo”, ha affermato, difendendo la dipendenza del sistema da un algoritmo. “Pertanto, le applicazioni avanzate richiedono di dare peso reciproco alle idee e alle intenzioni di entrambi”.
O’Shea ha offerto una dimostrazione del sistema sottoponendogli un video di un uomo che risponde a domande sul furto di 50 dollari da una scatola. Il programma sovrapponeva un quadrato giallo attorno al viso dell’uomo e due quadrati più piccoli intorno ai suoi occhi. Mentre parlava, una lancetta nell’angolo dello schermo passava dal verde al rosso quando dava risposte false, e tornava a una tinta più tenue quando non parlava. Al termine dell’intervista, il software ha generato un grafico che tracciava la probabilità che dicesse il falso momento per momento.
Il sistema può funzionare su un laptop tradizionale, dice O’Shea, e gli utenti pagano circa 10 dollari ogni minuto di video analizzato. O’Shea mi ha detto che il software esegue alcune elaborazioni locali preliminari del video, invia i dati crittografati a un server che li esamina ulteriormente, restituendo poi i risultati: l’utente vede un grafico della probabilità di menzogna sovrapposto sul fondo del video.
Secondo O’Shea, il sistema controlla circa 40 “canali” fisici sul corpo di un partecipante, dalla velocità con cui sbatte le palpebre all’angolazione della testa. Misurando alla velocità di molte volte al secondo i movimenti del viso e la postura del soggetto, il sistema cerca schemi di movimento che corrispondano a quelli condivisi da chi mente nei dati forniti nelle sessioni di allenamento.
Questi schemi non sono semplici come il movimento degli occhi verso il soffitto o l’inclinazione del capo. Sono più simili a schemi di schemi, relazioni sfaccettate tra moti diversi, troppo complessi per essere tracciati da un essere umano e di conseguenza affidati a sistemi di apprendimento automatico, gli unici in grado di farlo.
Il compito dell’IA è determinare quali tipi di schemi di movimenti possono essere associati alla menzogna. “Gli psicologi spesso sostengono che si dovrebbe avere una sorta di modello del funzionamento di un sistema”, mi ha detto O’Shea, “ma non abbiamo un modello funzionante e non ne abbiamo bisogno. Lasciamo che l’IA lo capisca da sola”. Tuttavia, aggiunge anche che la lettura dei “canali” sul viso proviene dalla letteratura accademica sulla psicologia dell’inganno.
In un articolo del 2018 su Silent Talker, i suoi creatori affermano che il loro software “presume che determinati stati mentali associati a comportamenti ingannevoli guideranno il [comportamento non verbale] di un intervistato quando mente”. Tra questi comportamenti vi sono il “carico cognitivo” o l’energia mentale in più che si suppone occorra per mentire, e il “piacere dell’inganno”, vale a dire il piacere che un individuo presumibilmente ottiene dal dire una bugia senza essere scoperto.
Ma Ewout Meijer, un professore di psicologia all’Università di Maastricht nei Paesi Bassi, afferma che i motivi per ritenere che tali comportamenti siano universali sono nella migliore delle ipotesi azzardati. L’idea che si possano trovare “indizi” comportamentali rivelatrici sul volto ha radici nel lavoro di Paul Ekman, uno psicologo americano che negli anni 1980 sposò l’ormai famosa teoria delle “micro-espressioni” o movimenti involontari del viso troppo piccoli per essere controllati.
La ricerca di Ekman lo ha reso un autore di successo e ha ispirato la serie poliziesca Lie to Me. E’ stato contattato da una miriade di agenzie governative statunitensi, tra cui DHS e DARPA e ha collaborato alla sicurezza nazionale. Si è quindi aperto un confronto acceso sulle microespressioni e si è arrivati a mettere in dubbio che abbiano persino un significato.
L’intelligenza artificiale di Silent Talker tiene traccia di tutti i tipi di movimento del viso, non delle microespressioni specifiche di Ekman. “Abbiamo scomposto questi segnali di alto livello nel nostro set di micro gesti e addestrato i componenti dell’IA a ricombinarli in schemi significativi”, ha scritto un portavoce dell’azienda in una e-mail. O’Shea afferma che ciò consente al sistema di individuare comportamenti ingannevoli anche quando un soggetto si sta semplicemente guardando intorno o si sta spostando su una sedia.
“Molto dipende dal fatto che ci si ponga sul versante tecnologico o psicologico”, afferma Meijer, avvertendo che O’Shea e il suo team potrebbero essere alla ricerca di risposte tecnologiche a domande psicologiche sulla natura dell’inganno. “Un sistema di intelligenza artificiale può superare le persone nel rilevare le espressioni facciali, ma anche se fosse così, ciò non spiega ancora se si può dedurre da loro se qualcuno sta mentendo … l’inganno è un costrutto psicologico”.
Non solo non c’è consenso su quali espressioni siano correlate all’inganno, aggiunge Meijer, ma non si sa nemmeno se siano effettivamente collegate. In una e-mail, l’azienda ha dichiarato che tali critiche “non sono rilevanti” per Silent Talker e che “le statistiche utilizzate non sono appropriate”.
Inoltre, Meijer sottolinea che l’algoritmo sarà inutile ai valichi di frontiera o nelle interviste di lavoro se è stato addestrato su un set di dati diverso da quello che verrà valutato nella vita reale. La ricerca mostra che gli algoritmi di riconoscimento facciale hanno risultati peggiori nel riconoscere le minoranze quando sono stati addestrati su set di facce prevalentemente bianche, cosa che lo stesso O’Shea ammette. Un portavoce di Silent Talker ha scritto in un’e-mail: “Abbiamo condotto numerosi esperimenti con campioni di dimensioni più piccole. In totale siamo arrivati a centinaia, alcuni di tipo accademico e pubblici, altri commerciali e riservati”.
Tuttavia, tutta la ricerca ufficiale che conferma l’accuratezza di Silent Talker proviene da set di dati piccoli e parziali: nel documento del 2018, per esempio, una popolazione campione di 32 persone conteneva il doppio degli uomini rispetto alle donne e solo 10 partecipanti di origine “asiatica o araba”, e nessun soggetto nero o ispanico. Sebbene al momento il software abbia “impostazioni” diverse per l’analisi di uomini e donne, O’Shea ha affermato di non essere convinto che necessitasse di impostazioni per etnia o età.
L’avvento di uno stato di sorveglianza
Dopo che il progetto pilota di iBorderCtrl è stato annunciato nel 2018, attivisti e politici hanno denunciato il programma come l’attuazione di uno scenario orwelliano. Sophie in ‘t Veld, un membro olandese del Parlamento europeo e leader del partito dei Democratici 66, ha dichiarato in una lettera alla Commissione europea che il sistema di Silent Talker potrebbe violare “i diritti fondamentali di molti viaggiatori che attraversano le frontiere” e che organizzazioni come Privacy International lo hanno condannato come “parte di una tendenza più ampia verso l’utilizzo di sistemi automatici opachi e spesso carenti per giudicare, valutare e classificare le persone”.
L’opposizione è sembrata prendere di sorpresa il consorzio di iBorderCtrl: sebbene inizialmente la Commissione europea affermasse che iBorderCtrl avrebbe “sviluppato un sistema per accelerare le operazioni ai valichi di frontiera, un portavoce ora afferma che il programma era un “progetto di ricerca” puramente teorico. Antoniades ha dichiarato a un giornale olandese alla fine del 2018 che il sistema di rilevamento della menzogna “potrebbe non essere completato”, ma, al momento della stesura di questo documento, Silent Talker sta ancora reclamando la sua partecipazione a iBorderCtrl sul suo sito web.
Silent Talker è “una nuova versione della vecchia frode”, afferma Vera Wilde, un’accademica americana impegnata nella difesa della privacy che vive a Berlino e che ha contribuito a iniziare una campagna contro iBorderCtrl. “In un certo senso, è la stessa frode, ma con basi scientifiche meno valide”.
In un test poligrafico, un esaminatore cerca eventi fisiologici che si ritiene siano correlati con la menzogna; in un sistema di intelligenza artificiale, gli esaminatori lasciano che il computer capisca da solo queste correlazioni. “Quando O’Shea dice di non rifarsi a una teoria, dice il falso”, ella continua. “Ha una teoria, solo che è sbagliata”.
Per quanto spesso critici come Wilde lo contestino alle radici, il sogno di una perfetta macchina della verità non morirà, specialmente se sospinto dall’IA. Dopo aver speso milioni di dollari per finanziare ricerche sulla menzogna nelle università negli anni Duemila, DHS ha cercato di creare la propria versione di una tecnologia di analisi del comportamento.
Questo sistema, chiamato Future Attribute Screening Technology (FAST), mirava a usare l’IA per cercare riscontro di tendenze criminali nei movimenti degli occhi e del corpo di un soggetto (Una prima versione richiedeva agli intervistati di salire su una bilancia Wii Fit per misurare i cambiamenti nella postura).
Tre ricercatori che hanno parlato in forma anonima del programma hanno sostenuto che non è mai decollato in quanto c’era troppo disaccordo all’interno del dipartimento sull’opportunità di utilizzare le microespressioni di Ekman come linea guida per l’analisi del comportamento.
Nonostante il fallimento di FAST, il DHS mostra ancora interesse per le tecniche di rilevamento delle menzogne. L’anno scorso, per esempio, ha aggiudicato un contratto da 110.000 dollari a un’azienda di risorse umane per addestrare i suoi funzionari a “rilevare l’inganno e avanzare risposte” attraverso “l’analisi comportamentale”. Altri enti governativi, nel frattempo, stanno puntando su soluzionim legate all’IA.
L’Army Research Laboratory (ARL) ha un contratto con la Rutgers University per creare un programma di intelligenza artificiale per individuare chi inganna nel gioco di società Mafia, come parte di un più ampio tentativo di creare “qualcosa come un Google Glass che ci avverte di un paio di borseggiatori in un bazar affollato”, secondo Purush Iyer, capo della divisione ARL responsabile del progetto.
Nemesysco, una azienda israeliana che vende software di analisi vocale IA, mi ha detto che la sua tecnologia è utilizzata dai dipartimenti di polizia di New York e dagli sceriffi nel Midwest per intervistare i sospetti, nonché dai call center per la riscossione dei crediti per misurare le reazioni emotive dei debitori durante le telefonate.
Il futuro immediato e potenzialmente pericoloso del rilevamento della menzogna dell’IA non è con i governi, ma nel mercato privato. I politici che supportano iniziative come iBorderCtrl alla fine devono rispondere agli elettori e la maggior parte dei rilevatori di bugie dotati di sistemi di intelligenza artificiale potrebbero essere esclusi dal tribunale con lo stesso precedente legale che regola il poligrafo.
Le aziende private, tuttavia, affrontano meno vincoli nell’uso di tale tecnologia per selezionare candidati e potenziali clienti. Silent Talker è una delle numerose aziende che affermano di offrire un modo obiettivo di rilevare comportamenti anomali o ingannevoli, offrendo ai clienti un metodo di “analisi del rischio” che va oltre i sistemi di crediti e i profili dei social media.
Non esiste un livello di accuratezza del 100 per cento
Un’azienda con sede nel Montana chiamata Neuro-ID conduce analisi IA dei movimenti del mouse e dei tasti per aiutare le banche e le compagnie assicurative a valutare il rischio di frode, assegnando ai richiedenti un “punteggio di confidenza” da 1 a 100. In un video l’azienda mi ha mostrato che il sistema attribuisce un punteggio di credibilità a seconda di quanto tempo un cliente impiega a compilare il campo del reddito familiare quando effettua una richiesta di prestito online, e degli spostamenti del mouse mentre lo fa.
L’analisi si basa sulla ricerca degli scienziati fondatori dell’azienda in cui si mostra una correlazione tra i movimenti del mouse e lo stato emotivo; lo studio afferma che “ingannare può aumentare la normale distanza del movimento, ridurne la velocità, aumentare i tempi di risposta e comporta più clic a sinistra”. I test dell’azienda, tuttavia, rivelano che il software genera un numero elevato di falsi positivi.
In un caso di studio in cui Neuro-ID ha elaborato 20.000 domande per un sito Web di e-commerce, meno della metà dei richiedenti che hanno ottenuto il punteggio più basso (da 5 a 10) si è rivelata fraudolenta e solo il 10 per cento di coloro che hanno ricevuto punteggi da 20 a 30 stavano portando avanti una frode.
“Non esiste un’analisi basata sul comportamento che sia accurata al 100 per cento”, mi ha detto un portavoce. “Ciò che consigliamo è di utilizzarlo in combinazione con altre informazioni sui candidati per prendere le decisioni più accurate e scoprire i clienti fraudolenti in modo più efficiente”.
Converus, una startup con sede nello Utah, vende un software chiamato EyeDetect che misura la dilatazione delle pupille di un soggetto durante un’intervista per rilevare il carico cognitivo. Come Silent Talker, lo strumento parte dalla premessa che mentire è cognitivamente più impegnativo che dire la verità.
Secondo un articolo del 2018 apparso su “Wired”, i dipartimenti di polizia di Salt Lake City e Columbus, in Georgia, hanno usato EyeDetect per selezionare i candidati. Converus ha anche detto alla rivista che McDonald’s, Best Western, Sheraton, IHOP e FedEx hanno usato il suo software a Panama e in Guatemala in modi che sarebbero stati illegali negli Stati Uniti.
In una dichiarazione che mi è stata rilasciata, l’azienda ha citato un paio di studi che indicano una precisione di EyeDetect dell’85 per cento circa nell’identificazione di bugiardi e veritieri, con campioni fino a 150 persone. Il presidente dell’azienda Todd Mickelsen afferma che l’algoritmo della sua azienda è stato addestrato su centinaia di migliaia di interviste.
Ma Charles Honts, professore di psicologia alla Boise State University, che fa anche parte del comitato consultivo di Converus, ha affermato che questi risultati non dimostrano che EyeDetect possa essere utilizzato direttamente nelle interviste. “Trovo il sistema EyeDetect davvero interessante, ma non lo uso”, mi ha detto. “Penso che il database sia ancora relativamente limitato e si rifaccia principalmente alle esperienze da laboratorio. Fino a quando non viene ampliato e replicato, sono riluttante ad usarlo sul campo”.
I ricercatori dell’Università dell’Arizona che hanno sviluppato il sistema AVATAR hanno anche avviato un’azienda privata, Discern Science, per commercializzare la propria tecnologia di rilevamento dell’inganno. Lanciata lo scorso anno, Discern vende un chiosco alto sei piedi simile all’originale AVATAR; secondo un articolo del “Financial Times”, l’azienda ha “concluso un accordo di joint venture con un partner nel settore dell’aviazione” per vendere lo strumento agli aeroporti. Secondo i materiali promozionali, il sistema misura il movimento del viso e lo stress vocale per “raccogliere informazioni invisibili dall’argomento in sede di colloquio”.
Come Silent Talker e Converus, Discern afferma che la tecnologia è in grado di rilevare in modo affidabile circa l’85 per cento di chi inganna e di chi dice la verità, ma ancora una volta i suoi risultati non sono mai stati replicati in modo indipendente. Almeno uno degli input che il chiosco utilizza è stato ripetutamente dimostrato inaffidabile (Honts ha inoltre osservato che “non c’è quasi alcun supporto” per l’analisi del movimento facciale come AVATAR e Silent Talker).
A una domanda sul supporto scientifico per il chiosco dell’azienda, Judee Burgoon, il ricercatore di Discern, ha sottolineato che il sistema si limita a fare valutazioni, non a esprimere giudizi vincolanti su verità e menzogna. Sistemi come AVATAR e Silent Talker, ha affermato, “non possono misurare direttamente l’inganno”, aggiungendo che “chiunque dica di avere un dispositivo che è un semplice rilevatore di bugie è un ciarlatano”.
Nelle sue pubblicità, tuttavia, Discern presenta lo strumento come un rilevatore di bugie affidabile: il sito Web dell’azienda afferma che “può aiutare a scoprire piani nascosti” e che i suoi algoritmi “hanno dimostrato scientificamente di rilevare l’inganno più velocemente e in modo più affidabile di qualsiasi alternativa“.
La corte d’appello ha annullato la condanna di Emmanuel Mervilus nel 2011, liberandolo e ordinando un nuovo processo; aveva scontato oltre tre anni di pena. Al secondo processo, nel 2013, i giurati hanno deliberato per soli 40 minuti prima di assolverlo. Se non fosse stato per il poligrafo non avrebbe mai messo piede in un’aula di tribunale.
Mervilus ha citato in giudizio gli agenti di polizia che lo avevano inizialmente arrestato e interrogato, sostenendo che avevano violato il suo diritto a un giusto processo usando test poligrafici che sapevano essere difettosi al fine di ottenere una condanna. Il caso procederà a un incontro tra parti per trovare un accordo a metà marzo.
Anche se l’uso diffuso di Silent Talker e sistemi come questo non porta a casi come quello di Mervilus, potrebbe comunque creare un nuovo tipo di “consuetudine” sociale, costringendo le persone a sottoporsi a “valutazioni di credibilità” prima di noleggiare un’auto o sottoscrivere un prestito.
“In un tribunale, si possono utilizzare prove materiali come i tuoi capelli e il tuo sangue”, afferma Wilde. “Ma hai anche il diritto di tacere, il diritto di non parlare contro te stesso.” Mervilus optò per il test del poligrafo partendo dal presupposto che, alla stregua di un test del DNA, avrebbe dimostrato la sua innocenza. Anche se il dispositivo ha sbagliato, non è stata la macchina a mandarlo in prigione. La giuria ha ritenuto che i risultati dei test fossero più credibili dei fatti.
La premessa fondamentale del rilevamento dell’inganno nell’IA è che le bugie si possono smascherare con gli strumenti giusti. Gli psicologi non sanno ancora quanto sia valida tale affermazione, ma nel frattempo l’idea che sia vera potrebbe essere sufficiente per penalizzare chi cerca un lavoro o vuole un prestito e per impedire a chi non sta mentendo di attraversare i confini nazionali. La promessa di una finestra sulla vita interiore degli altri è troppo allettante per abbandonarla, anche se nessuno può essere sicuro di quanto sia credibile la promessa di leggere la mente”, afferma Wilde.
Immagine: Nicolas Ortega
(rp)
