La startup di intelligenza artificiale Hugging Face ha calcolato una prima stima dell’impronta carbonica di un modello linguistico di grandi dimensioni
I grandi modelli linguistici (LLM) hanno uno sporco segreto: richiedono grandi quantità di energia per allenarsi e funzionare. Inoltre, è ancora un po’ un mistero quanto sia effettivamente importante l’impronta carbonica di questi modelli.
La startup AI Hugging Face ritiene di aver trovato un modo nuovo e migliore per calcolare il dato in modo più preciso, stimando le emissioni prodotte durante l’intero ciclo di vita del modello piuttosto che solo durante l’addestramento.
Potrebbe rivelarsi un passo per ottenere dati più realistici da parte delle aziende tecnologiche sull’impronta carbonica dei loro prodotti di intelligenza artificiale in un momento in cui gli esperti chiedono al settore di svolgere un lavoro migliore nella valutazione dell’impatto ambientale delle AI. La ricerca di Hugging Face è pubblicato in uno studio non sottoposto a revisione paritaria.
Per testare il suo nuovo approccio, Hugging Face ha stimato le emissioni complessive per il proprio modello di linguaggio di grandi dimensioni, BLOOM, lanciato all’inizio di quest’anno. Il processo ha comportato la somma di molti numeri diversi: la quantità di energia utilizzata per addestrare il modello su un supercomputer, l’energia necessaria per fabbricare l’hardware del supercomputer e mantenere la sua infrastruttura di calcolo e l’energia utilizzata per far funzionare BLOOM una volta stato lanciato.
I ricercatori hanno calcolato quest’ultima parte utilizzando uno strumento software chiamato CodeCarbon, che ha monitorato le emissioni di anidride carbonica che BLOOM stava producendo in tempo reale per un periodo di 18 giorni.
Hugging Face ha stimato che l’allenamento di BLOOM ha portato a 25 tonnellate di emissioni di anidride carbonica. Ma, secondo i ricercatori, tale valore è raddoppiata quando hanno preso in considerazione le emissioni prodotte dalla produzione delle apparecchiature informatiche utilizzate per l’addestramento, l’infrastruttura informatica più ampia e l’energia necessaria per far funzionare effettivamente BLOOM una volta addestrato.
Sebbene possa sembrare molto per un singolo modello (50 tonnellate di emissioni di anidride carbonica equivalgono a circa 60 voli tra Londra e New York), è significativamente inferiore alle emissioni associate ad altri LLM della stessa dimensione.
Questo perché BLOOM è stato addestrato su un supercomputer francese alimentato principalmente da energia nucleare, che non produce emissioni di anidride carbonica. È probabile che i modelli addestrati in Cina, Australia o in alcune parti degli Stati Uniti, che dispongono di reti energetiche che dipendono maggiormente dai combustibili fossili, siano ancora più inquinanti.
Dopo il lancio di BLOOM, Hugging Face ha stimato che l’utilizzo del modello emettesse circa 19 chilogrammi di anidride carbonica al giorno, che è simile alle emissioni prodotte guidando circa 54 miglia in media con un’auto nuova.
A titolo di confronto, si stima che il GPT-3 di OpenAI di Meta emettano rispettivamente più di 500 e 75 tonnellate di anidride carbonica durante l’allenamento. Le vaste emissioni di GPT-3 possono essere in parte spiegate dal fatto che è stato addestrato su hardware più vecchio e meno efficiente. Ma è difficile calcolare con certezza questi valori; non esiste un modo standardizzato per misurare le emissioni di anidride carbonica e queste cifre si basano su stime esterne o, nel caso di Meta, su dati limitati rilasciati dalla società.
“Il nostro obiettivo era andare oltre le sole emissioni di anidride carbonica dell’elettricità consumata durante l’allenamento e tenere conto di una parte più ampia del ciclo di vita per aiutare la comunità AI a farsi un’idea migliore del suo impatto sull’ambiente e come potremmo iniziare a ridurlo”, afferma Sasha Luccioni, ricercatrice presso Hugging Face e autrice principale dell’articolo.
Lo studio prodotto da Hugging Face stabilisce un nuovo standard per le organizzazioni che sviluppano modelli di intelligenza artificiale, afferma Emma Strubell, assistente professore presso la scuola di informatica della Carnegie Mellon University, che ha scritto un documento fondamentale sull’impatto delle AI sul clima nel 2019. Non è stata coinvolta in questa nuova ricerca.
Il documento “rappresenta l’analisi più approfondita, onesta e ben informata dell’impronta di carbonio di un grande modello ML fino ad oggi, per quanto ne so, entrando molto più nei dettagli … rispetto a qualsiasi altro documento [o] rapporto che conosco, ” dice Strubell.
Il documento fornisce anche una necessaria chiarezza su quanto sia davvero importante l’impronta carbonica dei modelli linguistici di grandi dimensioni, afferma Lynn Kaack, assistente professore di informatica e politiche pubbliche presso la Hertie School di Berlino, non coinvolta nello studio di Hugging Face.
Dice di essere rimasta sorpresa nel vedere quanto siano grandi i numeri relativi alle emissioni del ciclo di vita, ma che è necessario lavorare ancora di più per comprendere l’impatto ambientale dei grandi modelli linguistici nel mondo reale.
“È molto, molto più difficile da stimare. Ecco perché spesso quella parte viene semplicemente trascurata”, afferma Kaack, che ha co-scritto un articolo pubblicato su Nature la scorsa estate proponendo un modo per misurare le emissioni a catena causate dai sistemi di intelligenza artificiale.
Ad esempio, gli algoritmi per le raccomandazioni commerciali sono spesso utilizzati nella pubblicità, che a sua volta spinge le persone ad acquistare più cose, il che provoca più emissioni di anidride carbonica. È anche importante capire come vengono utilizzati i modelli di intelligenza artificiale, afferma Kaack.
Molte aziende, come Google e Meta, utilizzano modelli di intelligenza artificiale per fare cose come classificare i commenti degli utenti o consigliare contenuti. Queste azioni consumano pochissima energia ma possono verificarsi un miliardo di volte al giorno.
Si stima che il settore tecnologico globale rappresenti dall’1,8% al 3,9% delle emissioni globali di gas serra. Sebbene solo una frazione di tali emissioni sia causata dall’intelligenza artificiale e dall’apprendimento automatico di per sé, l’impronta di carbonio delle AI è ancora molto elevata per un singolo campo all’interno della tecnologia.
Con una migliore comprensione di quanta energia consumano i sistemi di intelligenza artificiale, le aziende e gli sviluppatori possono fare delle scelte sui compromessi che sono disposti a fare tra inquinamento e costi, afferma Luccioni.
Gli autori dell’articolo sperano che le aziende e i ricercatori siano in grado di considerare come sviluppare modelli linguistici di grandi dimensioni in modo da limitare la loro impronta carbonica, afferma Sylvain Viguier, coautore dell’articolo di Hugging Face sulle emissioni ed è direttore delle applicazioni presso Graphcore, un società di semiconduttori.
Potrebbe anche incoraggiare le persone a passare a modi più efficienti di fare ricerca sulle AI, come perfezionare i modelli esistenti invece di spingere per modelli ancora più grandi, afferma Luccioni.
I risultati dello studio sono un “campanello d’allarme per le persone che utilizzano quel tipo di modello, che sono spesso grandi aziende tecnologiche”, afferma David Rolnick, assistente professore presso la scuola di informatica alla McGill University e alla Mila, la Istituto AI del Quebec. È uno dei coautori dell’articolo con Kaack e non è stato coinvolto nella ricerca di Hugging Face.
“Gli impatti delle AI non sono inevitabili. Sono il risultato delle scelte che facciamo su come utilizzare questi algoritmi e su quali algoritmi utilizzare”, afferma Rolnick.
Immagine: Stephanie Arnett/MITTR/ENVATO
