Il successo di OpenAI è stato un colpo di fulmine, ma si basa su decenni di ricerca.
Abbiamo raggiunto il picco di ChatGPT. Rilasciato alla fine di novembre come web app dall’azienda OpenAI di San Francisco, il chatbot è esploso nel mainstream quasi da un giorno all’altro. Secondo alcune stime, è il servizio Internet che sta crescendo più rapidamente di sempre, raggiungendo i 100 milioni di utenti a gennaio, solo due mesi dopo il lancio.
Grazie all’accordo da 10 miliardi di dollari tra OpenAI e Microsoft, la tecnologia viene ora integrata nel software Office e nel motore di ricerca Bing. Spinto dal risveglio dell’ex rivale nella battaglia per la ricerca, Google sta accelerando il lancio del proprio chatbot, basato sul suo grande modello linguistico PaLM. Anche il mio WhatsApp familiare è pieno di chat di ChatGPT.
Ma il successo di OpenAI non è arrivato dal nulla. Il chatbot è l’iterazione più raffinata di una serie di modelli linguistici di grandi dimensioni che risalgono ad anni fa. Ecco come siamo arrivati a questo punto.
Anni ’80-’90: Reti neurali ricorrenti
ChatGPT è una versione di GPT-3, un modello linguistico di grandi dimensioni sviluppato da OpenAI. Un modello linguistico di grandi dimensioni (o LLM) è un tipo di rete neurale che è stata addestrata su un gran numero di testi. (Le reti neurali sono software ispirati al modo in cui i neuroni nel cervello degli animali si segnalano a vicenda). Poiché il testo è composto da sequenze di lettere e parole di lunghezza variabile, i modelli linguistici richiedono un tipo di rete neurale in grado di dare un senso a questo tipo di dati. Le reti neurali ricorrenti, inventate negli anni ’80, possono gestire sequenze di parole, ma sono lente da addestrare e possono dimenticare le parole precedenti in una sequenza.
Nel 1997, gli informatici Sepp Hochreiter e Jürgen Schmidhuber hanno risolto questo problema inventando le reti LSTM (Long Short-Term Memory), reti neurali ricorrenti con componenti speciali che consentono di conservare più a lungo i dati passati di una sequenza di input. Le LSTM potevano gestire stringhe di testo lunghe diverse centinaia di parole, ma le loro capacità linguistiche erano limitate.
2017: Transformers
La svolta che ha portato all’attuale generazione di modelli linguistici di grandi dimensioni è avvenuta quando un team di ricercatori di Google ha inventato i trasformatori, un tipo di rete neurale in grado di individuare la posizione di ogni parola o frase in una sequenza. Il significato delle parole dipende spesso dal significato di altre parole che le precedono o le seguono. Tenendo traccia di queste informazioni contestuali, i trasformatori possono gestire stringhe di testo più lunghe e catturare il significato delle parole con maggiore precisione. Ad esempio, “hot dog” ha un significato molto diverso nelle frasi “A un hot dog va data molta acqua” e “Un hot dog va mangiato con la senape”.
2018-2019: GPT e GPT-2
I primi due modelli linguistici di OpenAI sono arrivati a pochi mesi di distanza l’uno dall’altro. L’azienda vuole sviluppare un’intelligenza artificiale polivalente e generica e ritiene che i modelli linguistici di grandi dimensioni siano un passo fondamentale verso questo obiettivo. GPT (acronimo di Generative Pre-trained Transformer) ha piantato una bandiera, battendo i benchmark più avanzati per l’elaborazione del linguaggio naturale dell’epoca.
GPT ha combinato i trasformatori con l’apprendimento non supervisionato, un modo per addestrare modelli di apprendimento automatico su dati (in questo caso, moltissimi testi) che non sono stati annotati in precedenza. In questo modo il software è in grado di individuare da solo gli schemi nei dati, senza che gli venga detto cosa sta guardando. Molti successi precedenti nel campo dell’apprendimento automatico si sono basati sull’apprendimento supervisionato e su dati annotati, ma l’etichettatura manuale dei dati è un lavoro lento e limita le dimensioni dei set di dati disponibili per l’addestramento.
Ma è stato il GPT-2 a creare il maggior scalpore. OpenAI ha dichiarato di essere così preoccupata che le persone possano usare il GPT-2 “per generare un linguaggio ingannevole, distorto o abusivo” che non avrebbe rilasciato il modello completo. Come cambiano i tempi.
2020: GPT-3
GPT-2 era impressionante, ma il seguito di OpenAI, GPT-3, ha fatto cadere le mascelle. La sua capacità di generare testi simili a quelli umani ha rappresentato un grande balzo in avanti. GPT-3 può rispondere a domande, riassumere documenti, generare storie in diversi stili, tradurre tra inglese, francese, spagnolo e giapponese e molto altro ancora. La sua imitazione è sorprendente.
Uno dei risultati più notevoli è che i guadagni di GPT-3 sono stati ottenuti grazie al sovradimensionamento di tecniche esistenti piuttosto che all’invenzione di nuove. GPT-3 ha 175 miliardi di parametri (i valori di una rete che vengono regolati durante l’addestramento), rispetto agli 1,5 miliardi di GPT-2. Inoltre, è stato addestrato su molti più dati. Inoltre, è stato addestrato su un numero molto maggiore di dati.
Ma l’addestramento su testi presi da Internet comporta nuovi problemi. Il GPT-3 ha assorbito gran parte della disinformazione e dei pregiudizi che ha trovato online e li ha riprodotti su richiesta. Come ha riconosciuto OpenAI: “I modelli addestrati su Internet hanno pregiudizi su scala Internet”.
Dicembre 2020: Testo tossico e altri problemi
Mentre OpenAI era alle prese con i pregiudizi di GPT-3, il resto del mondo tecnologico stava affrontando un’importante resa dei conti sull’incapacità di arginare le tendenze tossiche dell’intelligenza artificiale. Non è un segreto che i modelli linguistici di grandi dimensioni possano emettere testi falsi o addirittura odiosi, ma i ricercatori hanno scoperto che la risoluzione del problema non è sulla lista delle cose da fare per la maggior parte delle aziende Big Tech. Quando Timnit Gebru, co-direttore del team di etica dell’IA di Google, è stato coautore di un documento che evidenziava i potenziali danni associati ai modelli linguistici di grandi dimensioni (tra cui gli elevati costi di calcolo), non è stato accolto con favore dai dirigenti dell’azienda. Nel dicembre 2020, Gebru è stata allontanata dal suo posto di lavoro.
Gennaio 2022: InstructGPT
OpenAI ha cercato di ridurre la quantità di disinformazione e di testo offensivo prodotto da GPT-3 utilizzando l’apprendimento per rinforzo per addestrare una versione del modello sulle preferenze dei tester umani (una tecnica chiamata apprendimento per rinforzo dal feedback umano, o RLHF). Il risultato, InstructGPTè risultato migliore nel seguire le istruzioni delle persone che lo utilizzano – noto come “allineamento” nel gergo dell’intelligenza artificiale – e ha prodotto un linguaggio meno offensivo, meno informazioni errate e meno errori in generale. In breve, InstructGPT è meno stronzo, a meno che non gli venga chiesto di esserlo.
Maggio-luglio 2022: OPT, BLOOM
Una critica comune ai modelli linguistici di grandi dimensioni è che il costo del loro addestramento rende difficile per tutti, tranne che per i laboratori più ricchi, costruirne uno. Ciò solleva il timore che un’intelligenza artificiale così potente venga costruita da piccoli team aziendali a porte chiuse, senza un adeguato controllo e senza il contributo di una comunità di ricerca più ampia. In risposta, una manciata di progetti collaborativi ha sviluppato modelli linguistici di grandi dimensioni e li ha rilasciati gratuitamente a tutti i ricercatori che vogliono studiare e migliorare la tecnologia. Meta ha costruito e distribuito OPT, una ricostruzione del GPT-3. E Hugging Face ha guidato un consorzio di circa 1.000 ricercatori volontari per costruire e rilasciare BLOOM.
Dicembre 2022: ChatGPT
Persino OpenAI è rimasta sbalordita dal modo in cui ChatGPT è stato accolto. Nella prima demo dell’azienda prima demo che mi ha fornito il giorno prima del lancio online, ChatGPT è stato presentato come un aggiornamento incrementale di InstructGPT. Come quel modello, ChatGPT è stato addestrato usando l’apprendimento per rinforzo sul feedback di tester umani che hanno valutato le sue prestazioni come interlocutore fluido, accurato e inoffensivo. In effetti, OpenAI ha addestrato GPT-3 a padroneggiare il gioco della conversazione e ha invitato tutti a giocare. Da allora, milioni di noi giocano.
