• Telefono con assistente vocale loquace Ms. Tech
Modelli ridotti di IA per gli assistenti vocali sul telefono
I ricercatori hanno lavorato con successo sulle dimensioni dei modelli di linguaggio per arrivare a creare delle versioni molto più limitate, da utilizzare nelle applicazioni commerciali.
di Karen Hao 05-10-19

Nell'ottobre dello scorso anno Google ha diffuso BERT, un modello avanzato per l'elaborazione del linguaggio naturale che ha superato un classico benchmark di comprensione della lettura utilizzato nel settore. 

La versione più grande del modello aveva 340 milioni parametri di dati e una sola seduta di "addestramento” consumava l’elettricità necessaria a una famiglia americana per 50 giorni. 

Quattro mesi dopo, OpenAI è andata oltre con il suo modello GPT-2, che ha dimostrato un talento impressionante nella scrittura di testi convincenti; GPT ha utilizzato 1,5 miliardi di parametri, contro gli attuali 8,3 di MegatronLM, l'ultimo e il più grande modello di Nvidia.

I ricercatori di AI sono sempre più preoccupati delle conseguenze di questa tendenza al rialzo. A giugno, un gruppo dell'Università del Massachusetts, ad Amherst, ha mostrato il bilancio climatico dello sviluppo e della formazione di modelli su così vasta scala.

L'addestramento di BERT, hanno calcolato i ricercatori, emetteva quasi la stessa quantità di carbonio di un volo di andata e ritorno tra New York e San Francisco; GPT-2 e MegatronLM, per estrapolazione, probabilmente emettono molto di più. 

La tendenza potrebbe anche accelerare la concentrazione della ricerca sull'IA nelle mani di alcuni giganti della tecnologia. I laboratori con risorse insufficienti nel mondo accademico o nei paesi con meno risorse non hanno i mezzi per utilizzare o sviluppare tali modelli computazionali  ad alto consumo. 

In risposta, molti ricercatori sono concentrati sulla riduzione delle dimensioni dei modelli esistenti senza intaccarne le capacità. Due nuovi studi, presentati a un giorno di distanza uno dall'altro, hanno avanzato una proposta vincente per una versione più piccola di BERT, con 100 milioni di parametri. 

Il primo studio, dei ricercatori di Huawei, propone un modello chiamato TinyBERT che è meno di un settimo delle dimensioni dell'originale e quasi 10 volte più veloce. Ha prestazioni simili a quelle dell’originale nella comprensione della lingua. 

Il secondo, dei ricercatori di Google, ne avanza uno di dimensioni ancora più limitate, di un fattore superiore a 60, ma la sua comprensione del linguaggio non è all’altezza della versione Huawei. 

Entrambi gli studi utilizzano varianti di una tecnica di compressione comune nota come “distillazione” della conoscenza, vale a dire l'utilizzo del modello esteso di intelligenza artificiale, il cosiddetto "insegnante", per la formazione di un modello più essenziale, vale a dire lo "studente".