Lo spin-off di Niantic dedicato all’intelligenza artificiale sta addestrando un nuovo modello del mondo utilizzando 30 miliardi di immagini di punti di riferimento urbani raccolte dai giocatori tramite crowdsourcing.
Pokémon Go è stato il primo grande successo mondiale nel campo della realtà aumentata. Rilasciato nel 2016 dalla spin-off di Google Niantic, il gioco basato sulla realtà aumentata della popolarissima serie Pokémon è diventato rapidamente un fenomeno globale. Da Chicago a Oslo a Enoshima, i giocatori hanno invaso le strade nella speranza di catturare un Jigglypuff o uno Squirtle o (con un po’ di fortuna) un rarissimo Zapdos di Galar che aleggiava appena fuori dalla loro portata, sovrapposto al mondo quotidiano.
In breve, stiamo parlando di un numero enorme di persone che puntano i loro telefoni verso un numero enorme di edifici. “Cinquecento milioni di persone hanno installato quell’app in 60 giorni”, afferma Brian McClendon, CTO di Niantic Spatial, una società di intelligenza artificiale che Niantic ha fondato nel maggio dello scorso anno. Secondo la società di videogiochi Scopely, che ha acquistato Pokémon Go da Niantic nello stesso periodo, il gioco ha attirato ancora più di 100 milioni di giocatori nel 2024, otto anni dopo il suo lancio.
Ora Niantic Spatial sta utilizzando quell’enorme e impareggiabile tesoro di dati raccolti tramite crowdsourcing (immagini di punti di riferimento urbani contrassegnati con indicatori di posizione estremamente precisi presi dai telefoni di centinaia di milioni di giocatori di Pokémon Go in tutto il mondo) per costruire una sorta di modello del mondo, una nuova tecnologia di grande successo che applica l’intelligenza degli LLM in ambienti reali.
L’ultimo prodotto dell’azienda è un modello che, secondo quanto affermato, è in grado di individuare la posizione di un utente su una mappa con una precisione di pochi centimetri, sulla base di una manciata di istantanee degli edifici o di altri punti di riferimento visibili. L’azienda intende utilizzarlo per aiutare i robot a navigare con maggiore precisione in luoghi in cui il GPS non è affidabile.
Nel primo grande test della sua tecnologia, Niantic Spatial ha appena collaborato con Coco Robotics, una startup che utilizza robot per le consegne dell’ultimo miglio in diverse città degli Stati Uniti e dell’Europa. “Tutti pensavano che la realtà aumentata fosse il futuro, che gli occhiali AR stessero per arrivare”, afferma McClendon. “E poi i robot sono diventati il pubblico”.
Da Pikachu alla consegna della pizza
Coco Robotics utilizza circa 1.000 robot delle dimensioni di una valigia da viaggio, costruiti per trasportare fino a otto pizze extra-large o quattro borse della spesa, a Los Angeles, Chicago, Jersey City, Miami e Helsinki. Secondo il CEO Zach Rash, i robot hanno effettuato finora più di mezzo milione di consegne, percorrendo alcuni milioni di chilometri in tutte le condizioni atmosferiche.
Ma per competere con i corrieri umani, i robot di Coco, che si muovono sui marciapiedi a circa cinque miglia all’ora, devono essere il più affidabili possibile. “Il modo migliore per svolgere il nostro lavoro è arrivare esattamente quando abbiamo detto che saremmo arrivati”, afferma Rash. E questo significa non perdersi.
Il problema che Coco deve affrontare è che non può fare affidamento sul GPS, che può essere debole nelle città perché i segnali radio rimbalzano sugli edifici e interferiscono tra loro. “Effettuiamo consegne in molte aree densamente popolate con grattacieli, sottopassaggi e autostrade, e quelle sono le zone in cui il GPS non funziona mai veramente”, afferma Rash.
“Il canyon urbano è il posto peggiore al mondo per il GPS”, dice McClendon. “Se guardi quel puntino blu sul tuo telefono, spesso lo vedrai spostarsi di 50 metri, il che ti porta in un isolato diverso, andando in una direzione diversa, sul lato sbagliato della strada”. È qui che entra in gioco Niantic Spatial.
Negli ultimi anni, Niantic Spatial ha raccolto i dati dei giocatori di Pokémon Go e Ingress (il precedente gioco AR per telefoni di Niantic, lanciato nel 2013) e ha creato un sistema di posizionamento visivo, una tecnologia che ti dice dove ti trovi in base a ciò che vedi. “A quanto pare, far correre Pikachu in modo realistico e far muovere il robot di Coco in modo sicuro e preciso nel mondo reale è in realtà lo stesso problema”, afferma John Hanke, CEO di Niantic Spatial.
“Il posizionamento visivo non è una tecnologia molto nuova”, afferma Konrad Wenzel di ESRI, un’azienda che sviluppa software di mappatura digitale e analisi geospaziale. “Ma è ovvio che più telecamere abbiamo a disposizione, migliore sarà il risultato”.
Niantic Spatial ha addestrato il suo modello su 30 miliardi di immagini catturate in ambienti urbani. In particolare, le immagini sono raggruppate intorno a punti caldi, luoghi che hanno avuto un ruolo importante nei giochi di Niantic e che i giocatori erano incoraggiati a visitare, come le arene di battaglia dei Pokémon. “Avevamo più di un milione di luoghi in tutto il mondo in cui potevamo localizzarti con precisione”, afferma McClendon. “Sappiamo dove ti trovi con una precisione di pochi centimetri e, cosa più importante, dove stai guardando”.
Il risultato è che per ciascuna di questi milioni di località, Niantic Spatial dispone di molte migliaia di immagini scattate più o meno nello stesso posto, ma da angolazioni diverse, in momenti diversi della giornata e in condizioni meteorologiche diverse. Ciascuna di queste immagini è accompagnata da metadati dettagliati che indicano con precisione dove si trovava il telefono nel momento in cui ha scattato l’immagine, compresa la direzione verso cui era rivolto, la posizione, se era in movimento o meno, la velocità e la direzione, e altro ancora.
L’azienda ha utilizzato questo set di dati per addestrare un modello in grado di prevedere esattamente dove si trova tenendo conto di ciò che sta guardando, anche per luoghi diversi da quei milioni di punti caldi, dove le fonti di immagini e dati di localizzazione sono più scarse.
Oltre al GPS, i robot di Coco, dotati di quattro telecamere, utilizzeranno ora questo modello per cercare di capire dove si trovano e dove sono diretti. Le telecamere dei robot sono all’altezza dei fianchi e puntano in tutte le direzioni contemporaneamente, quindi il loro punto di vista è leggermente diverso da quello di un giocatore di Pokémon Go, ma adattare i dati è stato semplice, afferma Rash.
Anche le aziende concorrenti utilizzano sistemi di posizionamento visivo. Ad esempio, Starship Technologies, un’azienda di consegna robotizzata fondata in Estonia nel 2014, afferma che i suoi robot utilizzano i loro sensori per costruire una mappa 3D dell’ambiente circostante, tracciando i contorni degli edifici e la posizione dei lampioni.
Ma Rash scommette che la tecnologia di Niantic Spatial darà a Coco un vantaggio competitivo. Egli sostiene che consentirà ai suoi robot di posizionarsi nei punti di ritiro corretti all’esterno dei ristoranti, assicurandosi che non intralcino nessuno, e di fermarsi proprio davanti alla porta del cliente invece che a pochi passi di distanza, come poteva accadere in passato.
Un’esplosione cambriana nella robotica
Quando Niantic Spatial ha iniziato a lavorare al suo sistema di posizionamento visivo, l’idea era di applicarlo alla realtà aumentata, afferma Hanke. “Se indossi occhiali AR e vuoi che il mondo si blocchi nel punto in cui stai guardando, allora hai bisogno di un metodo per farlo”, dice. “Ma ora stiamo assistendo a un’esplosione cambriana nella robotica”.
Alcuni di questi robot potrebbero dover condividere gli spazi con gli esseri umani, spazi come cantieri edili e marciapiedi. “Se i robot dovranno mai integrarsi in quell’ambiente in modo non invasivo per gli esseri umani, dovranno avere un livello simile di comprensione spaziale”, afferma Hanke. “Possiamo aiutare i robot a trovare esattamente dove si trovano quando vengono urtati e spinti”.
La partnership con Coco Robotics è solo l’inizio. Secondo Hanke, ciò che Niantic Spatial sta realizzando sono i primi elementi di quella che lui definisce una mappa vivente: una simulazione virtuale iperdettagliata del mondo che cambia al mutare del mondo stesso. Man mano che i robot di Coco e di altre aziende si muovono nel mondo, forniranno nuove fonti di dati cartografici, alimentando repliche digitali sempre più dettagliate del mondo.
Ma secondo Hanke e McClendon, le mappe non solo stanno diventando più dettagliate, ma vengono anche utilizzate sempre più spesso dalle macchine. Questo cambia lo scopo delle mappe. Le mappe sono state a lungo utilizzate per aiutare le persone a localizzarsi nel mondo. Con il passaggio dal 2D al 3D e al 4D (si pensi alle simulazioni in tempo reale, come i gemelli digitali), il principio di base non è cambiato: i punti sulla mappa corrispondono a punti nello spazio o nel tempo.
Eppure le mappe per le macchine potrebbero dover diventare più simili a guide turistiche, ricche di informazioni che gli esseri umani danno per scontate. Aziende come Niantic Spatial ed ESRI vogliono aggiungere descrizioni che dicano alle macchine cosa stanno effettivamente guardando, con ogni oggetto contrassegnato da un elenco delle sue proprietà. “Questa era riguarda la creazione di descrizioni utili del mondo che le macchine possano comprendere”, afferma Hanke. “I dati di cui disponiamo sono un ottimo punto di partenza per costruire una comprensione di come funziona il tessuto connettivo del mondo”.
Al momento c’è molto fermento intorno ai modelli del mondo, e Niantic Spatial lo sa bene. Gli LLM possono sembrare onniscienti, ma hanno ben poco senso comune quando si tratta di interpretare e interagire con gli ambienti quotidiani. I modelli del mondo mirano a risolvere questo problema. Alcune aziende, come Google DeepMind e World Labs, stanno sviluppando modelli che generano mondi fantastici virtuali al volo, che possono poi essere utilizzati come dojo di addestramento per gli agenti di IA.
Niantic Spatial afferma di affrontare il problema da una prospettiva diversa. Spingendo la creazione di mappe abbastanza lontano, si finisce per catturare tutto, afferma McClendon: “Sono molto concentrato sul tentativo di ricreare il mondo reale. Non ci siamo ancora arrivati, ma vogliamo arrivarci”.
