Ora che sempre più persone hanno a disposizione potenti strumenti per la generazione di video, diamo un’occhiata a come funzionano.
È stato un anno importante per la generazione di video. Negli ultimi nove mesi OpenAI ha reso pubblico Sora, Google DeepMind ha lanciato Veo 3 e la startup Runway ha lanciato Gen-4. Tutti questi strumenti sono in grado di produrre videoclip (quasi) indistinguibili da filmati reali o animazioni CGI. Quest’anno Netflix ha anche debuttato con un effetto visivo basato sull’intelligenza artificiale nella sua serie The Eternaut, la prima volta che la generazione di video è stata utilizzata per realizzare una serie TV destinata al mercato di massa.
Certo, le clip che si vedono nei demo reel sono selezionate con cura per mostrare i modelli migliori di un’azienda. Ma con la tecnologia nelle mani di un numero di utenti mai visto prima (Sora e Veo 3 sono disponibili nelle app ChatGPT e Gemini per gli abbonati a pagamento), anche il cineasta più occasionale può ora realizzare qualcosa di straordinario.
Il rovescio della medaglia è che i creatori sono in competizione con l’intelligenza artificiale e i feed dei social media si stanno riempiendo di filmati di notizie false. La generazione di video consuma anche un’enorme quantità di energia, molte volte superiore a quella necessaria per la generazione di testi o immagini.
Con i video generati dall’intelligenza artificiale ormai ovunque, prendiamoci un momento per parlare della tecnologia che li rende possibili.
Come si genera un video?
Supponiamo che tu sia un utente occasionale. Ora ci sono una serie di strumenti di fascia alta che permettono ai videomaker professionisti di inserire modelli di generazione video nei loro flussi di lavoro. Ma la maggior parte delle persone userà questa tecnologia in un’app o tramite un sito web. Sai come funziona: “Ehi, Gemini, fammi un video di un unicorno che mangia spaghetti. Ora fai decollare il suo corno come un razzo”. Il risultato sarà imprevedibile e in genere dovrete chiedere al modello di riprovare altre 10 volte prima di ottenere più o meno quello che volevate.
Cosa succede dietro le quinte? Perché il risultato è imprevedibile e perché richiede così tanta energia? L’ultima ondata di modelli di generazione video è nota come trasformatori di diffusione latente. Sì, è un termine piuttosto complicato. Analizziamo ogni parte separatamente, iniziando dalla diffusione.
Cos’è un modello di diffusione?
Immaginate di prendere un’immagine e di aggiungervi una serie casuale di pixel. Prendete quell’immagine cosparsa di pixel e spruzzatela di nuovo, e poi ancora. Fatelo abbastanza volte e avrete trasformato l’immagine iniziale in un insieme casuale di pixel, come le interferenze su un vecchio televisore.
Un modello di diffusione è una rete neurale addestrata a invertire questo processo, trasformando il rumore statico casuale in immagini. Durante l’addestramento, vengono mostrate milioni di immagini in varie fasi di pixelizzazione. Il modello impara come queste immagini cambiano ogni volta che vengono aggiunti nuovi pixel e, quindi, come annullare tali cambiamenti.
Il risultato è che quando si chiede a un modello di diffusione di generare un’immagine, esso inizierà con un insieme casuale di pixel e, passo dopo passo, trasformerà quel caos in un’immagine più o meno simile alle immagini del suo set di addestramento.
Ma non si desidera un’immagine qualsiasi, bensì l’immagine specificata, in genere con un prompt di testo. Pertanto, il modello di diffusione è abbinato a un secondo modello, ad esempio un modello linguistico di grandi dimensioni (LLM) addestrato per abbinare le immagini alle descrizioni testuali, che guida ogni fase del processo di pulizia, spingendo il modello di diffusione verso immagini che il modello linguistico di grandi dimensioni considera una buona corrispondenza al prompt.
Una digressione: questo LLM non sta tirando fuori dal nulla i collegamenti tra testo e immagini. La maggior parte dei modelli di conversione da testo a immagine e da testo a video oggi sono addestrati su grandi set di dati che contengono miliardi di abbinamenti di testo e immagini o testo e video raccolti da Internet (una pratica che molti creatori trovano molto fastidiosa). Ciò significa che ciò che si ottiene da tali modelli è una sintesi del mondo così come è rappresentato online, distorto dai pregiudizi (e dalla pornografia).
È più facile immaginare i modelli di diffusione che funzionano con le immagini. Ma la tecnica può essere utilizzata con molti tipi di dati, inclusi audio e video. Per generare clip di film, un modello di diffusione deve ripulire sequenze di immagini, ovvero i fotogrammi consecutivi di un video, invece di una sola immagine.
Che cos’è un modello di diffusione latente?
Tutto ciò richiede un’enorme quantità di calcoli (leggi: energia). Ecco perché la maggior parte dei modelli di diffusione utilizzati per la generazione di video utilizza una tecnica chiamata diffusione latente. Invece di elaborare i dati grezzi, ovvero i milioni di pixel in ogni fotogramma video, il modello funziona in quello che è noto come spazio latente, in cui i fotogrammi video (e il prompt di testo) vengono compressi in un codice matematico che cattura solo le caratteristiche essenziali dei dati e scarta il resto.
Una cosa simile accade ogni volta che si riproduce un video in streaming su Internet: un video viene inviato da un server allo schermo in un formato compresso per farlo arrivare più velocemente e, quando arriva, il computer o la TV lo riconvertono in un video guardabile.
Quindi, il passo finale consiste nel decomprimere ciò che il processo di diffusione latente ha prodotto. Una volta che i fotogrammi compressi di statica casuale sono stati trasformati nei fotogrammi compressi di un video che la guida LLM considera adatto al prompt dell’utente, il video compresso viene convertito in qualcosa che puoi guardare.
Con la diffusione latente, il processo di diffusione funziona più o meno come per un’immagine. La differenza è che i fotogrammi video pixelati sono ora codifiche matematiche di quei fotogrammi piuttosto che i fotogrammi stessi. Questo rende la diffusione latente molto più efficiente rispetto a un modello di diffusione tipico. (Nonostante ciò, la generazione di video consuma ancora più energia rispetto alla generazione di immagini o testo. Il calcolo richiesto è semplicemente incredibile.)
Cos’è un trasformatore di diffusione latente?
Siete ancora con me? C’è un altro pezzo del puzzle: come assicurarsi che il processo di diffusione produca una sequenza di fotogrammi coerente, mantenendo gli oggetti, l’illuminazione e così via da un fotogramma all’altro. OpenAI ha ottenuto questo risultato con Sora combinando il suo modello di diffusione con un altro tipo di modello chiamato trasformatore. Questo è ormai diventato uno standard nella generazione di video.
I trasformatori sono ottimi per elaborare lunghe sequenze di dati, come le parole. Questo li ha resi l’ingrediente speciale all’interno di grandi modelli linguistici come GPT-5 di OpenAI e Gemini di Google DeepMind, in grado di generare lunghe sequenze di parole che hanno senso, mantenendo la coerenza in molte dozzine di frasi.
Ma i video non sono fatti di parole. Al contrario, i video vengono tagliati in pezzi che possono essere trattati come se lo fossero. L’approccio ideato da OpenAI è stato quello di suddividere i video sia nello spazio che nel tempo. “È come se avessi una pila di tutti i fotogrammi video e ne tagliassi dei piccoli cubetti”, spiega Tim Brooks, ricercatore capo di Sora.
Una selezione di video generati con Veo 3 e Midjourney. Le clip sono state migliorate in post-produzione con Topaz, uno strumento di editing video basato sull’intelligenza artificiale. Crediti: VaigueMan
L’uso dei trasformatori insieme ai modelli di diffusione offre diversi vantaggi. Poiché sono progettati per elaborare sequenze di dati, i trasformatori aiutano anche il modello di diffusione a mantenere la coerenza tra i fotogrammi mentre li genera. Ciò rende possibile, ad esempio, la produzione di video in cui gli oggetti non appaiono e scompaiono all’improvviso.
E poiché i video sono suddivisi in cubetti, le loro dimensioni e il loro orientamento non hanno importanza. Ciò significa che l’ultima generazione di modelli di generazione video può essere addestrata su un’ampia gamma di video di esempio, dai brevi clip verticali girati con un telefono ai film cinematografici in formato widescreen. La maggiore varietà dei dati di addestramento ha reso la generazione video molto migliore rispetto a solo due anni fa. Ciò significa anche che ora è possibile chiedere ai modelli di generazione video di produrre video in una varietà di formati.
E l’audio?
Un grande progresso di Veo 3 è che genera video con audio, dai dialoghi sincronizzati alle labbra agli effetti sonori al rumore di fondo. È una novità assoluta per i modelli di generazione video. Come ha affermato Demis Hassabis, CEO di Google DeepMind, al Google I/O di quest’anno: “Stiamo uscendo dall’era silenziosa della generazione video”.
La sfida era trovare un modo per allineare i dati video e audio in modo che il processo di diffusione funzionasse su entrambi contemporaneamente. La svolta di Google DeepMind è stata un e nuova modalità di compressione di audio e video in un unico dato all’interno del modello di diffusione. Quando Veo 3 genera un video, il suo modello di diffusione produce audio e video insieme in un processo sincronizzato, garantendo la sincronizzazione tra suono e immagini.
Hai detto che i modelli di diffusione possono generare diversi tipi di dati. È così che funzionano anche gli LLM?
No, o almeno non ancora. I modelli di diffusione sono utilizzati più spesso per generare immagini, video e audio. I modelli linguistici di grandi dimensioni, che generano testo (compreso il codice informatico), sono costruiti utilizzando trasformatori. Ma i confini stanno diventando sempre più sfumati. Abbiamo visto come i trasformatori vengono ora combinati con i modelli di diffusione per generare video. E quest’estate Google DeepMind ha rivelato che stava costruendo un modello linguistico sperimentale di grandi dimensioni che utilizzava un modello di diffusione invece di un trasformatore per generare testo.
È qui che le cose iniziano a diventare confuse: sebbene la generazione di video (che utilizza modelli di diffusione) consumi molta energia, i modelli di diffusione stessi sono in realtà più efficienti dei trasformatori. Pertanto, utilizzando un modello di diffusione invece di un trasformatore per generare testo, il nuovo LLM di Google DeepMind potrebbe essere molto più efficiente degli LLM esistenti. Aspettatevi di vedere molto di più dai modelli di diffusione nel prossimo futuro!
