L’azienda di Mark Zuckerberg spera che rendere open source LLaMA 2 possa darle un vantaggio rispetto a competitor come OpenAI.
Meta punta tutto sull’intelligenza artificiale open-source. L’azienda presenta oggi LLaMA 2, il suo primo modello linguistico di grandi dimensioni che può essere utilizzato gratuitamente da chiunque.
Da quando OpenAI ha rilasciato il suo popolarissimo chatbot ChatGPT lo scorso novembre, le aziende tecnologiche fanno a gara per rilasciare modelli nella speranza di rovesciare la sua supremazia. Meta, l’azienda di Mark Zuckerberg, è rimasta in corsia di sorpasso. A febbraio, quando i concorrenti Microsoft e Google hanno annunciato i loro chatbot di intelligenza artificiale, Meta ha lanciato la prima versione ridotta di LLaMA, riservata ai ricercatori. Meta spera ora che il rilascio di LLaMA 2 in versione gratuita per la creazione di prodotti commerciali possa aiutarla a recuperare il ritardo accumulato con i competitor.
L’azienda sta rilasciando una suite di modelli di intelligenza artificiale che comprende versioni di LLaMA 2 in diverse dimensioni, nonché una versione del modello di intelligenza artificiale che le persone possono costruire e integrare in un chatbot, simile a ChatGPT. A differenza di ChatGPT, a cui si può accedere attraverso il sito web di OpenAI, il modello deve essere scaricato dai siti web dei partner di Meta Microsoft Azure, Amazon Web Services e Hugging Face.
“Questo è un vantaggio per l’intera comunità dell’IA e offre alle persone la possibilità di scegliere tra approcci closed-source e approcci open-source per qualsiasi applicazione specifica”, afferma Ahmad Al-Dahle, vicepresidente di Meta che è responsabile dei progetti sull’IA generativa dell’azienda. “È un momento davvero importante per noi”.
Ma restano ancora molte riserve. Meta non sta rilasciando informazioni sul set di dati utilizzato per addestrare LLaMA 2 e non può garantire che non includa opere protette da copyright o dati personali, secondo un documento dell’azienda condiviso in esclusiva con MIT Technology Review. LLaMA 2 presenta inoltre gli stessi problemi che affliggono tutti i modelli linguistici di grandi dimensioni: la propensione a produrre falsità e contenuti con linguaggio offensivo.
L’idea, spiega Al-Dahle, è che rilasciando il modello aperto e permettendo che gli sviluppatori e le aziende ci lavorino, Meta imparerà lezioni importanti su come rendere i suoi modelli più sicuri, meno distorti e più efficienti.
Un modello open-source potente come LLaMA 2 rappresenta una minaccia considerevole per OpenAI, afferma Percy Liang, direttore del Center for Research on Foundation Models di Stanford. Liang faceva parte del team di ricercatori che ha sviluppato Alpaca, un concorrente open-source di GPT-3, una versione precedente del modello linguistico di OpenAI.
“LLaMA 2 non è GPT-4”, afferma Liang. Nel suo documento, Meta ammette che c’è ancora un grande divario di prestazioni tra LLaMA 2 e GPT-4, che è ora il modello linguistico di AI all’avanguardia di OpenAI. “Ma per molti casi d’uso non è necessario GPT-4”, aggiunge Liang.
Un modello più personalizzabile e trasparente, come LLaMA 2, potrebbe aiutare le aziende a creare prodotti e servizi più velocemente di un modello proprietario grande e sofisticato.
“Se LLaMA 2 diventasse la principale alternativa open-source a OpenAI sarebbe una grande vittoria per Meta”, afferma Steve Weber, professore alla University of California, Berkeley.
Sotto il cappuccio
Per preparare LLaMA 2 al lancio sono state necessarie molte modifiche per rendere il modello più sicuro e meno propenso a generare falsità rispetto al suo predecessore, dice Al-Dahle.
Meta ha fatto errori in passato da cui può imparare. Il suo modello linguistico per la scienza, Galactica, è stato messo offline dopo solo tre giorni, mentre il suo precedente modello LLaMA, pensato solo per scopi di ricerca, è stato diffuso online, scatenando le critiche dei politici che si sono chiesti se Meta stesse tenendo in debito conto i rischi associati ai modelli linguistici dell’intelligenza artificiale, come la disinformazione e le molestie.
Per ridurre il rischio di ripetere questi sbagli, Meta ha applicato un insieme di diverse tecniche di apprendimento automatico per migliorare l’atteggiamento di disponibilità e la sicurezza.
L’approccio di Meta all’addestramento di LLaMA 2 prevedeva più fasi del solito per i modelli di intelligenza artificiale generativa, afferma Sasha Luccioni, ricercatore presso la startup di AI Hugging Face.
Il modello è stato addestrato su un numero di dati superiore del 40% rispetto al suo predecessore. Al-Dahle afferma che ci sono state due fonti di dati per l’addestramento: dati raccolti online e un set di dati perfezionati e modificati in base al feedback degli addestratori umani per comportarsi in modo più opportuno. L’azienda afferma di non aver utilizzato i dati degli utenti Meta in LLaMA 2 e di aver escluso i dati provenienti da siti che sapevano contenere molte informazioni personali.
Ciononostante, LLaMA 2 continua a diffondere un linguaggio offensivo, dannoso e problematico, proprio come i modelli rivali. Meta afferma di non aver rimosso i dati problematici dal set di dati, perché lasciarli potrebbe aiutare LLaMA 2 a rilevare meglio i discorsi di odio, mentre rimuovendoli si rischierebbe di filtrare accidentalmente alcuni gruppi demografici.
Tuttavia, l’impegno di Meta verso l’apertura è entusiasmante, afferma Luccioni, perché consente a ricercatori come lei di studiare correttamente i pregiudizi, l’etica e l’efficienza dei modelli di IA.
Il fatto che LLaMA 2 sia un modello open-source consentirà anche a ricercatori e sviluppatori esterni di verificarne le falle di sicurezza, il che lo renderà più sicuro dei modelli proprietari, afferma Al-Dahle.
Liang è d’accordo: “Non vedo l’ora di provarlo e penso che sarà vantaggioso per tutta la comunità”.
