L’intelligenza artificiale sta arrivando anche nel processo decisionale dei conflitti armati. Ma di chi è la colpa quando qualcosa va storto?
In una guerra nel prossimo futuro – che potrebbe iniziare domani, per quanto ne sappiamo – un soldato prende posizione su un tetto vuoto. La sua unità sta combattendo attraverso la città, isolato per isolato. Sembra che i nemici possano essere in silenziosa attesa dietro ogni angolo, pronti a far piovere fuoco sui loro bersagli nel momento in cui hanno la possibilità di sparare.
Attraverso il mirino, il soldato scruta le finestre di un edificio vicino. Nota della biancheria fresca appesa ai balconi. Dalla radio giunge la notizia che la sua squadra sta per spostarsi su una zona aperta del terreno sottostante. Mentre si avviano, nell’angolo in alto a sinistra del mirino appare un riquadro rosso. Il sistema di visione computerizzata del dispositivo ha segnalato un potenziale bersaglio: una figura in controluce alla finestra si sta avvicinando, sembra, per sparare.
Il soldato non ha una visuale chiara, ma secondo la sua esperienza il sistema ha una capacità sovrumana di cogliere la più debole traccia di un nemico. Quindi posiziona il mirino e si prepara a premere il grilletto.
In un’altra guerra, forse anch’essa appena oltre l’orizzonte, un comandante si trova davanti a una serie di monitor. Un chatbot lancia un allarme. Il chatbot comunica che i satelliti hanno rilevato l’ingresso di un camion in un certo isolato della città, designato come possibile area di sosta per il lancio di razzi nemici. Il chatbot ha già consigliato a un’unità di artiglieria, che secondo i suoi calcoli ha la più alta “probabilità di uccidere”, di prendere di mira il camion e di tenersi pronta.
Secondo il chatbot, nessuno degli edifici vicini è una struttura civile, anche se avverte che la sua osservazione deve ancora essere confermata manualmente. Un drone, che era stato inviato dal sistema per una visione più ravvicinata, arriva sulla scena. Il suo video mostra il camion che fa marcia indietro in uno stretto passaggio tra due edifici. L’opportunità di scattare la foto si sta rapidamente esaurendo.
Per il comandante, ora tutto tace. Il caos, l’incertezza, la cacofonia: tutto ridotto al suono di un orologio che ticchetta e alla vista di un unico pulsante luminoso:
“APPROVARE L’ORDINE DI ATTACCO”.
Premere il grilletto o, a seconda dei casi, non premerlo. Premere il pulsante o aspettare. Dal punto di vista legale ed etico, il ruolo delle decisioni del soldato in questioni di vita o di morte è preminente e indispensabile. Fondamentalmente, sono queste decisioni a definire l’atto umano della guerra.
Non dovrebbe sorprendere, quindi, che gli stati e la società civile abbiano affrontato la questione delle armi autonome intelligenti – armi in grado di selezionare e sparare su obiettivi senza alcun input umano – come un argomento molto serio e preoccupante. A maggio, dopo quasi un decennio di discussioni, i soggetti presenti alla Convention on Certain Conventional Weapons delle Nazioni Unite hanno concordato, tra le altre raccomandazioni, che i militari che le utilizzano devono probabilmente “limitare la durata, la portata geografica e la scala dell’operazione” per rispettare le leggi di guerra. La linea non era vincolante, ma era almeno un riconoscimento del fatto che un essere umano deve avere un ruolo – da qualche parte, qualche volta – nel processo immediato che porta a un’uccisione.
Ma le armi autonome intelligenti che sostituiscono completamente il processo decisionale umano devono (probabilmente) ancora essere utilizzate nel mondo reale. Anche i droni e le navi “autonome” messe in campo dagli Stati Uniti e da altre potenze sono utilizzate sotto stretta supervisione umana. Nel frattempo, i sistemi intelligenti che si limitano a guidare la mano che preme il grilletto sono entrati a far parte del kit di strumenti dei guerrafondai. E sono diventati silenziosamente abbastanza sofisticati da sollevare nuovi interrogativi, più difficili da risolvere rispetto alle ben note controversie sui robot assassini e, ogni giorno che passa, sempre più urgenti: cosa significa quando una decisione è solo in parte umana e in parte generata da una macchina? E quando, se mai, è etico che quella decisione sia una decisione di uccidere?
Per molto tempo, l’idea di supportare una decisione umana con mezzi informatici non è stata una prospettiva così controversa. Il tenente generale dell’Aeronautica in pensione Jack Shanahan dice che il radar del caccia F4 Phantom su cui volava negli anni ’80 era una sorta di ausilio alle decisioni. Mi ha detto che lo avvertiva della presenza di altri velivoli, in modo da poter decidere cosa fare. Ma dire che l’equipaggio e il radar erano complici alla pari sarebbe una forzatura.
Tutto questo sta cambiando. “Quello a cui stiamo assistendo ora, almeno per come la vedo io, è una transizione verso un mondo in cui è necessario che uomini e macchine operino in una sorta di squadra”, afferma Shanahan.
L’ascesa dell’apprendimento automatico, in particolare, ha dato il via a un cambiamento di paradigma nel modo in cui le forze armate utilizzano i computer per contribuire a plasmare le decisioni cruciali della guerra, fino alla decisione finale. Shanahan è stato il primo direttore del Progetto Maven, un programma del Pentagono che ha sviluppato algoritmi di riconoscimento dei bersagli per le riprese video dei droni. Il progetto, che ha dato il via a una nuova era dell’IA militare americana, è stato lanciato nel 2017 dopo che uno studio ha concluso che “gli algoritmi di apprendimento profondo possono avere prestazioni vicine a quelle umane” (ha anche scatenato polemiche: nel 2018, più di 3.000 dipendenti di Google hanno firmato una lettera di protesta contro il coinvolgimento dell’azienda nel progetto).
Con gli strumenti decisionali basati sull’apprendimento automatico, “si ha una maggiore competenza apparente, una maggiore ampiezza” rispetto agli strumenti precedenti, afferma Matt Turek, vice direttore dell’Information Innovation Office presso la Defense Advanced Research Projects Agency. “E forse, di conseguenza, si tende a demandare loro un maggior numero di decisioni”. Un soldato alla ricerca di cecchini nemici potrebbe, ad esempio, farlo attraverso l’Assault Rifle Combat Application System, un mirino venduto dall’azienda israeliana Elbit Systems. Secondo una scheda tecnica dell’azienda, il dispositivo “AI-powered” è in grado di “rilevare un bersaglio umano” a una distanza di oltre 600 metri e di “identificare” un bersaglio umano (presumibilmente, discernere se una persona è una persona a cui si può sparare) a circa la lunghezza di un campo da calcio. Anna Ahronheim-Cohen, portavoce dell’azienda, ha dichiarato a MIT Technology Review: “Il sistema è già stato testato in scenari in tempo reale da soldati di fanteria in combattimento”.
Un altro mirino, costruito dall’azienda Smartshooter, è pubblicizzato per avere capacità simili. Secondo il sito web dell’azienda, può anche essere inserito in una mitragliatrice telecomandata come quella che gli agenti israeliani hanno usato per assassinare lo scienziato nucleare iraniano Mohsen Fakhrizadeh nel 2021.
Gli strumenti di supporto alle decisioni che si trovano a una distanza maggiore dal campo di battaglia possono essere altrettanto decisivi. Sembra che il Pentagono abbia utilizzato l’IA nella sequenza di analisi di intelligence e di decisioni che portano a un potenziale attacco, un processo noto come “kill chain” (catena di uccisione), anche se non è stato chiaro sui dettagli. In risposta alle domande di MIT Technology Review, Laura McAndrews, portavoce dell’Aeronautica, ha scritto che il servizio “sta utilizzando un approccio di squadra uomo-macchina”.
La gamma di giudizi che entrano nel processo decisionale militare è ampia. E non sempre è necessaria una superintelligenza artificiale per superarla con mezzi automatizzati.
Altri Paesi stanno sperimentando più apertamente questo tipo di automazione. Poco dopo il conflitto israelo-palestinese del 2021, le Forze di Difesa israeliane hanno dichiarato di aver utilizzato quelli che hanno descritto come strumenti di intelligenza artificiale per avvisare le truppe di attacchi imminenti e proporre obiettivi per le operazioni.
L’esercito ucraino utilizza un programma, GIS Arta, che accoppia ogni obiettivo russo noto sul campo di battaglia con l’unità di artiglieria che, secondo l’algoritmo, è nella posizione migliore per sparargli contro. Un articolo del quotidiano britannico “The Times” l’ha paragonato all’algoritmo di Uber per l’abbinamento tra autisti e passeggeri, notando che riduce significativamente il tempo che intercorre tra l’individuazione di un obiettivo e il momento in cui questo si trova sotto una raffica di fuoco. Prima che gli ucraini avessero il GIS Arta, questo processo richiedeva 20 minuti. Ora, secondo quanto riferito, ne basta uno.
La Russia sostiene di avere un proprio sistema di comando e controllo con quella che chiama intelligenza artificiale, ma ha condiviso pochi dettagli tecnici. Gregory Allen, direttore del Wadhwani Center for AI and Advanced Technologies e tra gli artefici delle attuali politiche del Pentagono in materia di AI, mi ha detto che è importante prendere alcune di queste affermazioni con le pinze. Afferma che alcune delle presunte IA militari russe sono “cose che tutti fanno da decenni” e definisce il GIS Arta “solo un software tradizionale”.
La gamma di giudizi che entrano nel processo decisionale militare, tuttavia, è ampia. E non sempre è necessaria una superintelligenza artificiale per superarla con mezzi automatizzati. Esistono strumenti per prevedere i movimenti delle truppe nemiche, strumenti per capire come colpire un determinato obiettivo e strumenti per stimare la quantità di danni collaterali che potrebbero colpire i civili nelle vicinanze.
Nessuno di questi congegni può essere definito un robot killer. Ma la tecnologia non è priva di pericoli. Come qualsiasi computer complesso, uno strumento basato sull’intelligenza artificiale potrebbe avere problemi in modi insoliti e imprevedibili; non è chiaro se l’uomo coinvolto sarà sempre in grado di sapere quando le risposte sullo schermo sono giuste o sbagliate. Nella loro incessante efficienza, questi strumenti potrebbero anche non lasciare abbastanza tempo e spazio agli esseri umani per determinare se ciò che stanno facendo è legale. In alcune aree, potrebbero raggiungere livelli talmente sovrumani da far perdere completamente qualcosa di ineffabile nell’atto bellico.
Alla fine le forze armate prevedono di utilizzare l’intelligenza artificiale per ricucire molti di questi singoli strumenti in un’unica rete automatizzata che colleghi ogni arma, comandante e soldato a tutti gli altri. Non una catena di uccisioni, ma, come ha iniziato a chiamarla il Pentagono, una rete di uccisioni.
In queste reti, non è chiaro se la decisione dell’uomo sia, in realtà, una decisione vera e propria. Rafael, un gigante israeliano della difesa, ha già venduto un prodotto di questo tipo, Fire Weaver, all’IDF (lo ha dimostrato anche al Dipartimento della Difesa degli Stati Uniti e all’esercito tedesco). Secondo la documentazione dell’azienda, Fire Weaver individua le posizioni nemiche, comunica all’unità che calcola la posizione migliore per fare fuoco su di esse e imposta persino un mirino sul bersaglio direttamente nel mirino dell’arma di quell’unità. Il ruolo dell’uomo, secondo un video di spiegazione del software, è quello di scegliere tra due pulsanti: “Approvare” e “Annullare”.
Supponiamo che la sagoma alla finestra non sia un soldato, ma un bambino. Immaginiamo che il camion non stia consegnando testate al nemico, ma secchi d’acqua a una casa.
Dei cinque “principi etici per l’intelligenza artificiale” del Dipartimento della Difesa, che sono formulati come qualità, quello che viene sempre elencato per primo è “Responsabile”. In pratica, questo significa che quando le cose vanno male, qualcuno – un essere umano, non una macchina – deve risponderne.
Naturalmente, il principio della responsabilità precede di molto l’avvento delle macchine con intelligenza artificiale. Tutte le leggi e le consuetudini della guerra non avrebbero senso senza la fondamentale comprensione comune che ogni atto deliberato nella lotta è sempre a carico di qualcuno. Ma con la prospettiva che i computer assumano ogni sorta di nuovi ruoli sofisticati, il vecchio precetto ha una nuova risonanza.
Dei 5 “principi etici per l’intelligenza artificiale” del Dipartimento della Difesa, che sono formulati come qualità, quello che viene sempre elencato per primo è “Responsabile”.
“Per me, e per la maggior parte delle persone che ho conosciuto in uniforme, questo era il fulcro di ciò che eravamo come comandanti: che qualcuno alla fine sarà ritenuto responsabile”, dice Shanahan, che dopo Maven è diventato il direttore inaugurale del Pentagon’s Joint Artificial Intelligence Center e ha supervisionato lo sviluppo dei principi etici dell’IA.
Ecco perché una mano umana deve premere il grilletto, perché una mano umana deve cliccare su “Approvo”. Se il computer punta il bersaglio sbagliato e il soldato preme comunque il grilletto, la colpa è del soldato. “Se un umano fa qualcosa che porta a un incidente con la macchina, ad esempio far cadere una bomba dove non avrebbe dovuto, si tratta comunque di una decisione presa da un umano”, dice Shanahan.
Ma gli incidenti capitano. Ed è qui che le cose si complicano. Gli eserciti moderni hanno impiegato centinaia di anni per capire come distinguere le inevitabili e incolpevoli tragedie della guerra dagli atti di malvagità, di furia mal indirizzata o di grave negligenza. Anche oggi, questo rimane un compito difficile. Esternalizzare una parte dell’azione e del giudizio umano ad algoritmi costruiti, in molti casi, intorno al principio matematico dell’ottimizzazione metterà in discussione tutte queste leggi e dottrine in un modo fondamentalmente nuovo, afferma Courtney Bowman, global director of privacy and civil liberties engineering presso Palantir, un’azienda con sede negli Stati Uniti che costruisce software di gestione dei dati per militari, governi e grandi aziende.
“È un punto di rottura. È dirompente”, afferma Bowman. “Richiede nuove riflessioni etiche per poter prendere decisioni valide”.
Quest’anno, con una mossa inevitabile nell’era di ChatGPT, Palantir ha annunciato lo sviluppo di un software chiamato Artificial Intelligence Platform, che consente di integrare modelli linguistici di grandi dimensioni nei prodotti militari dell’azienda. In una dimostrazione di AIP pubblicata su YouTube questa primavera, la piattaforma avverte l’utente di un movimento nemico potenzialmente minaccioso. Suggerisce quindi l’invio di un drone per un’analisi più approfondita, propone tre possibili piani per intercettare la forza offensiva e traccia un percorso ottimale per la squadra d’attacco selezionata per raggiungerla.
Eppure, anche con una macchina capace di tanta apparente intelligenza, i militari non vogliono che l’utente si fidi ciecamente di ogni suo suggerimento. Se l’uomo preme un solo pulsante in una catena di morte, probabilmente non dovrebbe essere il pulsante “credo”, come ha detto una volta un agente anonimo (e preoccupato) dell’esercito, in un gioco di guerra professionale del DoD nel 2019.
In un programma chiamato Urban Reconnaissance through Supervised Autonomy (URSA), la DARPA ha costruito un sistema che ha permesso a robot e droni di agire come osservatori avanzati per i plotoni nelle operazioni urbane. Dopo aver consultato il gruppo consultivo del progetto su questioni etiche e legali, è stato deciso che il software avrebbe designato solo le persone come “persone di interesse”. Anche se lo scopo della tecnologia era quello di aiutare a sradicare le imboscate, non si sarebbe mai arrivati a etichettare qualcuno come “minaccia”.
Si sperava che questo avrebbe impedito a un soldato di arrivare alla conclusione sbagliata. Secondo Brian Williams, membro aggiunto dello staff di ricerca dell’Institute for Defense Analyses che ha guidato il gruppo consultivo, la decisione aveva anche una motivazione legale. Secondo Brian Williams, nessun tribunale ha mai affermato con certezza che una macchina possa legalmente designare una persona come una minaccia (d’altra parte, aggiunge, nessun tribunale ha mai dichiarato specificamente che sarebbe illegale, e riconosce che non tutti gli operatori militari condividerebbero necessariamente la lettura cauta della legge data dal suo gruppo). Secondo Williams, inizialmente la DARPA voleva che URSA fosse in grado di discernere autonomamente le intenzioni di una persona; anche questa funzione è stata eliminata su sollecitazione del gruppo.
Secondo Bowman, l’approccio di Palantir consiste nell’inserire “engineered inefficiencies” in “punti del processo decisionale in cui si desidera effettivamente rallentare le cose”. Ad esempio, l’output di un computer che indica un movimento di truppe nemiche potrebbe richiedere all’utente di ricercare una seconda fonte di intelligence prima di procedere con un’azione (nel video, la piattaforma di intelligenza artificiale non sembra fare questo).
“Se le persone di interesse sono identificate su uno schermo come punti rossi, ciò avrà un’implicazione subconscia diversa rispetto a quella che si ha se le persone di interesse sono identificate su uno schermo come piccole facce felici”.
Rebecca Crootof, docente di diritto all’Università di Richmond
Nel caso dell’AIP, Bowman afferma che l’idea è quella di presentare le informazioni in modo tale che “lo spettatore capisca, l’analista capisca che si tratta solo di un suggerimento”. In pratica, la protezione del giudizio umano dall’influenza di una macchina ammaliante e intelligente potrebbe ridursi a piccoli dettagli di design grafico. “Se le persone di interesse sono identificate su uno schermo come punti rossi, ciò avrà un’implicazione subconscia diversa rispetto a quella che si ha se le persone di interesse sono identificate su uno schermo come piccole facce felici”, afferma Rebecca Crootof, docente di diritto all’Università di Richmond, che ha scritto molto sulle sfide della responsabilità nelle armi autonome con l’uomo.
In alcuni contesti, tuttavia, i soldati potrebbero volere solo un pulsante “Credo”. In origine, la DARPA prevedeva che URSA fosse un dispositivo da polso per i soldati in prima linea. “Nella prima riunione del gruppo di lavoro abbiamo sostenuto che non era consigliabile”, mi ha detto Williams. Il tipo di “engineered inefficiency” necessaria per un uso responsabile non sarebbe stata praticabile per gli utenti che hanno proiettili che sfrecciano vicino alle loro orecchie. Invece, hanno costruito un sistema informatico che si affianca a un operatore dedicato, molto indietro rispetto all’azione.
Ma alcuni sistemi di supporto alle decisioni sono sicuramente progettati per il tipo di scelte da una frazione di secondo che si verificano proprio nel vivo dell’azione. L’esercito degli Stati Uniti ha dichiarato di essere riuscito, nei test dal vivo, ad accorciare il proprio ciclo di puntamento di 20 minuti a 20 secondi. Nemmeno il mercato sembra aver accolto lo spirito di moderazione. Nei video dimostrativi pubblicati online, i riquadri di delimitazione dei mirini computerizzati di Elbit e Smartshooter sono rosso sangue.
Altre volte, il computer avrà ragione e l’uomo si sbaglierà.
Se il soldato sul tetto avesse giudicato male dal mirino e si fosse scoperto che la sagoma era in realtà un cecchino nemico, i suoi compagni di squadra avrebbero potuto pagare a caro prezzo la sua frazione di secondo di esitazione.
Si tratta di un’altra fonte di problemi, molto meno discussa ma non meno probabile nei combattimenti reali. E mette l’uomo in difficoltà. Ai soldati verrà detto di trattare i loro assistenti digitali con sufficiente diffidenza per salvaguardare la sacralità del loro giudizio. Ma con macchine che spesso hanno ragione, questa stessa riluttanza a rimandare al computer può diventare essa stessa un punto di fallimento evitabile.
La storia dell’aviazione non manca di casi in cui il rifiuto di un pilota umano di prestare attenzione alla macchina ha portato alla catastrofe. Queste anime (di solito morte) non sono state viste di buon occhio dagli investigatori che hanno cercato di spiegare la tragedia. Carol J. Smith, ricercatrice senior presso il Software Engineering Institute della Carnegie Mellon University, che ha contribuito alla stesura delle linee guida sull’intelligenza artificiale per la Defense Innovation Unit del Dipartimento della Difesa, non vede alcun problema: “Se la persona in quel momento ritiene che la decisione sia sbagliata, la sta prendendo da sola e dovrà affrontarne le conseguenze”.
Per altri, questo è un enigma etico malvagio. La studiosa M.C. Elish ha suggerito che un essere umano inserito in questo tipo di loop impossibile potrebbe finire in quella che lei chiama una “zona di accartocciamento morale”. In caso di incidente – indipendentemente dal fatto che l’uomo abbia sbagliato, il computer abbia sbagliato o abbiano sbagliato insieme – la persona che ha preso la “decisione” si attribuirà la colpa e proteggerà tutti gli altri lungo la catena di comando dal pieno impatto della responsabilità.
In un saggio, Smith ha scritto che la “persona meno pagata” non dovrebbe essere “gravata da questa responsabilità”, e nemmeno “la persona più pagata”. Invece, mi ha detto, la responsabilità dovrebbe essere distribuita tra tutti i soggetti coinvolti e l’introduzione dell’IA non dovrebbe cambiare nulla di questa responsabilità.
In pratica, questo è più difficile di quanto sembri. Crootof sottolinea che ancora oggi “non ci sono molte responsabilità per gli incidenti in guerra”. Man mano che gli strumenti di IA diventano più grandi e più complessi e che le catene di morte diventano più corte e più simili a una rete, trovare le persone giuste da incolpare diventerà un compito ancora più arduo.
Coloro che scrivono questi strumenti, e le aziende per cui lavorano, non rischiano di prendersi la colpa. La costruzione di software di intelligenza artificiale è un processo lungo e iterativo, spesso basato su codice open-source, che è molto lontano da cose materiali reali di metallo che perforano la carne. Inoltre, a meno che non vengano apportate modifiche significative alla legge statunitense, gli appaltatori della difesa sono generalmente protetti dalla responsabilità civile, afferma Crootof.
Nel frattempo, qualsiasi tentativo di responsabilizzazione ai piani alti del comando sarebbe probabilmente ostacolato dal pesante velo di classificazione governativa che tende ad avvolgere la maggior parte degli strumenti di supporto decisionale dell’IA e il modo in cui vengono utilizzati. L’Aeronautica militare statunitense non è stata disponibile a dire se la sua IA sia stata utilizzata nel mondo reale. Shanahan afferma che i modelli di IA di Maven sono stati impiegati per l’analisi dell’intelligence subito dopo il lancio del progetto e nel 2021 il segretario dell’Aeronautica ha dichiarato che “gli algoritmi di IA” erano stati recentemente applicati “per la prima volta a una kill chain operativa in tempo reale”, mentre un portavoce dell’Aeronautica aveva aggiunto che questi strumenti erano disponibili nei centri di intelligence di tutto il mondo “quando necessario”. Ma Laura McAndrews, portavoce dell’Aeronautica, ha dichiarato che in realtà questi algoritmi “non sono stati applicati in una catena di uccisione operativa in diretta” e ha rifiutato di dettagliare qualsiasi altro algoritmo che possa o meno essere stato utilizzato da allora.
La vera storia potrebbe rimanere oscurata per anni. Nel 2018, il Pentagono ha emesso una decisione che esenta il Progetto Maven dalle richieste di libertà di informazione. L’anno scorso ha consegnato l’intero programma alla National Geospatial-Intelligence Agency, che è responsabile dell’elaborazione dell’ampio impegno di sorveglianza aerea segreta dell’America. Rispondendo alle domande se gli algoritmi siano utilizzati nelle catene di uccisione, Robbin Brooks, un portavoce della NGA, ha dichiarato a MIT Technology Review: “Non possiamo parlare di come e dove Maven venga utilizzato”.
In un certo senso, ciò che è nuovo qui è anche vecchio. Mettiamo abitualmente la nostra sicurezza – anzi, la nostra intera esistenza come specie – nelle mani di altre persone. Questi decisori si rimettono, a loro volta, a macchine che non comprendono del tutto.
In uno bel saggio sull’automazione pubblicato nel 2018, in un momento in cui il supporto decisionale operativo abilitato dall’intelligenza artificiale era ancora una rarità, l’ex segretario della Marina Richard Danzig ha sottolineato che se un presidente “decide” di ordinare un attacco nucleare, non sarà perché qualcuno si è affacciato alla finestra dello Studio Ovale e ha visto i missili nemici piovere su Washington, ma piuttosto perché quei missili sono stati rilevati, tracciati e identificati – si spera correttamente – da algoritmi nella rete di difesa aerea.
Come nel caso di un comandante che ordina un attacco di artiglieria su consiglio di un chatbot, o di un fuciliere che preme il grilletto alla sola vista di un riquadro rosso, “il massimo che si può dire è che è coinvolto un essere umano”, ha scritto Danzig.
“Questa è una situazione comune nell’era moderna”, ha scritto. “I decisori umani sono cavalieri che viaggiano su un terreno oscuro con poca o nessuna capacità di valutare le potenti bestie che li trasportano e li guidano”.
Tra le persone responsabili di assicurarsi che queste bestie non finiscano per mangiarci, può esserci un’allarmante vena di disfattismo. Nel corso di alcune conversazioni che ho avuto durante la stesura di questa storia, il mio interlocutore si è lasciato andare a una nota di rassicurante acquiescenza nei confronti della perpetua inevitabilità della morte e della distruzione che, per quanto tragica, non può essere attribuita a un singolo essere umano. La guerra è disordinata, le tecnologie falliscono in modi imprevedibili, e questo è quanto.
“In guerra”, afferma Bowman di Palantir, “l’applicazione di qualsiasi tecnologia, per non parlare dell’IA, comporta un certo grado di danno che si sta cercando di accettare, e il gioco è ridurre il rischio”.
È possibile, anche se non ancora dimostrato, che portare l’intelligenza artificiale in battaglia possa significare un minor numero di vittime civili, come spesso affermano i sostenitori. Ma potrebbe esserci un costo nascosto nell’unire irrevocabilmente il giudizio umano e il ragionamento matematico in quei momenti finali della guerra, un costo che va oltre la semplice linea di fondo utilitaristica. Forse c’è qualcosa che non può essere giusto, che non dovrebbe essere giusto, nello scegliere il momento e il modo in cui una persona muore nella stessa maniera con cui si chiama Uber.
Per una macchina, questa potrebbe essere una logica non ottimale. Ma per alcuni esseri umani è proprio questo il punto. “Uno degli aspetti del giudizio, in quanto capacità umana, è che si svolge in un mondo aperto”, afferma Lucy Suchman, professore emerito di antropologia all’Università di Lancaster, che da quattro decenni scrive sui dilemmi dell’interazione uomo-macchina.
I parametri delle decisioni di vita e di morte – conoscere il significato del bucato fresco appeso alla finestra e allo stesso tempo volere che i propri compagni di squadra non muoiano – sono “irriducibilmente qualitativi”, dice. Il caos, il rumore e l’incertezza, il peso di ciò che è giusto e di ciò che è sbagliato in mezzo a tutto quel furore: niente di tutto questo può essere definito in termini algoritmici. Nelle questioni di vita o di morte, non esiste un risultato perfetto dal punto di vista computazionale. “Ed è qui che nasce la responsabilità morale”, dice. “Stai esprimendo un giudizio”.
Il mirino non preme mai il grilletto. Il chatbot non preme mai il pulsante. Ma ogni volta che una macchina assume un nuovo ruolo che riduce l’irriducibile, potremmo avvicinarci un po’ di più al momento in cui l’atto di uccidere sarà più macchina che uomo, quando l’etica diventerà una formula e la responsabilità poco più che un’astrazione. Se siamo d’accordo sul fatto che non vogliamo lasciare che le macchine ci portino fino a lì, prima o poi dovremo chiederci: dov’è il limite?
Arthur Holland Michel scrive di tecnologia. Risiede a Barcellona e, occasionalmente, va a New York.
