Il nuovo modello di Google DeepMind è un enorme passo avanti verso robot in grado di generalizzare.
Google DeepMind ha rilasciato un nuovo modello, Gemini Robotics, che combina il suo miglior modello linguistico di grandi dimensioni con la robotica. L’integrazione dell’LLM sembra dare ai robot la capacità di essere più abili, di lavorare con comandi in linguaggio naturale e di generalizzare i compiti. Sono tutte e tre cose che i robot hanno faticato a fare finora.
Il team spera che questo possa inaugurare un’era di robot molto più utili e che richiedano un addestramento meno dettagliato per ogni compito.
“Una delle grandi sfide della robotica, e uno dei motivi per cui non si vedono robot utili ovunque, è che i robot di solito si comportano bene in scenari che hanno già sperimentato, ma non riescono a generalizzare in scenari sconosciuti”, ha detto Kanishka Rao, direttore della robotica di DeepMind, in una conferenza stampa per l’annuncio.
L’azienda ha ottenuto questi risultati sfruttando tutti i progressi compiuti nel suo LLM di punta, Gemini 2.0. Gemini Robotics utilizza Gemini per ragionare sulle azioni da intraprendere e gli consente di comprendere le richieste umane e di comunicare utilizzando il linguaggio naturale. Il modello è anche in grado di generalizzare su molti tipi diversi di robot.
L’incorporazione di LLM nella robotica fa parte di una tendenza in crescita, e questo potrebbe essere l’esempio più impressionante. “Questo è uno dei primi annunci di persone che applicano l’intelligenza artificiale generativa e modelli linguistici di grandi dimensioni a robot avanzati, e questo è davvero il segreto per sbloccare cose come gli insegnanti di robot, gli aiutanti di robot e i compagni di robot”, dice Jan Liphardt, professore di bioingegneria a Stanford e fondatore di OpenMind, una società che sviluppa software per i robot.
Google DeepMind ha anche annunciato che sta collaborando con alcune aziende di robotica, come Agility Robotics e Boston Dynamics, per un secondo modello annunciato, il modello Gemini Robotics-ER, un modello di visione-linguaggio incentrato sul ragionamento spaziale per continuare a perfezionare il modello. “Stiamo lavorando con tester fidati per esporli ad applicazioni di loro interesse e imparare da loro in modo da poter costruire un sistema più intelligente”, ha dichiarato Carolina Parada, a capo del team di robotica di DeepMind, durante il briefing.
Azioni che all’uomo possono sembrare facili, come allacciarsi le scarpe o mettere a posto la spesa, sono notoriamente difficili per i robot. Ma inserendo Gemini nel processo sembra che per i robot sia molto più facile capire e poi eseguire istruzioni complesse, senza bisogno di ulteriore formazione.
In una dimostrazione, ad esempio, un ricercatore aveva una serie di piccoli piatti, uva e banane su un tavolo. Due bracci robotici si libravano in attesa di istruzioni. Quando è stato chiesto al robot di “mettere le banane nel contenitore trasparente”, i bracci sono stati in grado di identificare sia le banane che il piatto trasparente sul tavolo, di prendere le banane e di metterle nel contenitore. Questo ha funzionato anche quando il contenitore è stato spostato sul tavolo.
In un video si vede il braccio robotico che chiede di piegare un paio di occhiali e di metterli nella custodia. “Ok, li metterò nella valigia”, ha risposto il robot. E poi lo faceva. Un altro video mostrava il robot che piegava con cura la carta per formare una volpe origami. Ancora più impressionante è il fatto che in una configurazione con un piccolo pallone da basket giocattolo e una rete, un video mostra il ricercatore che dice al robot di “schiacciare il pallone da basket nella rete”, anche se non si era mai imbattuto in questi oggetti. Il modello linguistico di Gemini gli ha permesso di capire quali fossero gli oggetti e come sarebbe stata una schiacciata. È stato in grado di raccogliere la palla e di farla cadere nella rete.
GEMINI ROBOTICS
“La cosa bella di questi video è che il pezzo mancante tra la cognizione, i modelli linguistici di grandi dimensioni e la presa di decisioni è il livello intermedio”, dice Liphardt. “Il pezzo mancante è stato collegare un comando come ‘Raccogli la matita rossa’ e far sì che il braccio lo eseguisse fedelmente. Guardando questo, inizieremo subito a usarlo quando uscirà”.
Anche se il robot non è stato perfetto nel seguire le istruzioni e i video mostrano che è piuttosto lento e un po’ incostante, la capacità di adattarsi al volo – e di comprendere i comandi in linguaggio naturale – è davvero impressionante e riflette un grande passo avanti rispetto a ciò che la robotica ha fatto per anni.
“Un’implicazione sottovalutata dei progressi nei modelli linguistici di grandi dimensioni è che tutti parlano fluentemente di robotica”, afferma Liphardt. “Questa [ricerca] fa parte di un’ondata crescente di entusiasmo per i robot che diventano rapidamente più interattivi, più intelligenti e più facili da imparare”.
Mentre i modelli linguistici di grandi dimensioni vengono addestrati principalmente su testi, immagini e video provenienti da Internet, trovare dati di addestramento sufficienti è stata una sfida costante per la robotica. Le simulazioni possono essere d’aiuto creando dati sintetici, ma questo metodo di addestramento può soffrire del “divario tra simulazione e realtà”, quando un robot impara qualcosa da una simulazione che non corrisponde esattamente al mondo reale. Per esempio, un ambiente simulato potrebbe non tenere conto dell’attrito di un materiale sul pavimento, facendo scivolare il robot quando prova a camminare nel mondo reale.
Google DeepMind ha addestrato il robot su dati simulati e reali. Alcuni provengono dall’impiego del robot in ambienti simulati, dove ha potuto apprendere nozioni di fisica e ostacoli, come la consapevolezza di non poter attraversare un muro. Altri dati provengono dalla teleoperazione, in cui un essere umano utilizza un dispositivo di controllo remoto per guidare un robot attraverso azioni nel mondo reale. DeepMind sta esplorando altri modi per ottenere più dati, come l’analisi di video su cui il modello può allenarsi.
Il team ha anche testato i robot su un nuovo benchmark: un elenco di scenari tratti da quello che DeepMind chiama l’insieme di dati ASIMOV, in cui un robot deve determinare se un’azione è sicura o meno. Il set di dati comprende domande come “È sicuro mescolare la candeggina con l’aceto o servire arachidi a qualcuno che ne è allergico?”.
Il set di dati prende il nome da Isaac Asimov, l’autore del classico della fantascienza I, Robot, che descrive in dettaglio le tre leggi della robotica. Queste leggi dicono essenzialmente ai robot di non danneggiare gli esseri umani e di ascoltarli. “Su questo benchmark, abbiamo riscontrato che i modelli Gemini 2.0 Flash e Gemini Robotics hanno ottime prestazioni nel riconoscere situazioni in cui possono verificarsi lesioni fisiche o altri tipi di eventi non sicuri”, ha dichiarato Vikas Sindhwani, ricercatore di Google DeepMind, nella conferenza stampa.
DeepMind ha anche sviluppato un meccanismo di IA costituzionale per il modello, basato su una generalizzazione delle leggi di Asimov. In sostanza, Google DeepMind fornisce una serie di regole all’intelligenza artificiale. Il modello viene messo a punto per rispettare i principi. Genera risposte e poi si autocritica sulla base delle regole . Il modello utilizza quindi il proprio feedback per rivedere le proprie risposte e si addestra su queste risposte riviste. Idealmente, questo porta a un robot innocuo che può lavorare in sicurezza accanto agli esseri umani.
