La SLA ha rubato la voce a questo musicista. L’IA gli ha permesso di cantare di nuovo

Patrick Darling ha utilizzato uno strumento musicale di ElevenLabs per eseguire una canzone con i suoi ex compagni di band.

Il pubblico è in lacrime quando inizia la canzone di Patrick Darling. È una canzone sentita, scritta per il suo bisnonno, che non ha mai avuto la possibilità di conoscere. Ma questa esibizione è emozionante anche per un altro motivo: è la prima volta che Darling sale sul palco con i suoi compagni di band da quando, due anni fa, ha perso la capacità di cantare.

Al musicista trentaduenne è stata diagnosticata la sclerosi laterale amiotrofica (SLA) quando aveva 29 anni. Come altri tipi di malattie dei motoneuroni (MND), colpisce i nervi che innervano i muscoli del corpo. Le persone affette da SLA finiscono per perdere la capacità di controllare i muscoli, compresi quelli che consentono loro di muoversi, parlare e respirare.

L’ultima esibizione sul palco di Darling risale a oltre due anni fa. A quel punto, aveva già perso la capacità di stare in piedi e suonare i suoi strumenti e faceva fatica a cantare o parlare. Recentemente, però, è riuscito a ricreare la sua voce perduta utilizzando uno strumento di intelligenza artificiale addestrato su frammenti di vecchie registrazioni audio. Un altro strumento di intelligenza artificiale gli ha permesso di utilizzare questo “clone vocale” per comporre nuove canzoni. Darling è di nuovo in grado di fare musica.

“Purtroppo ho perso la capacità di cantare e suonare i miei strumenti”, ha detto Darling sul palco dell’evento, che si è tenuto mercoledì a Londra, utilizzando il suo clone vocale. “Nonostante questo, la maggior parte del mio tempo in questi giorni è dedicata ancora alla composizione e alla produzione della mia musica. Farlo mi sembra più importante che mai”.

Perdere la voce

Darling racconta di essere musicista e compositore dall’età di circa 14 anni. “Ho imparato a suonare il basso, la chitarra acustica, il pianoforte, la melodica, il mandolino e il banjo tenore”, ha dichiarato durante l’evento. “Ma la mia più grande passione era cantare”.

Ha incontrato il compagno di band Nick Cocking più di 10 anni fa, quando era ancora uno studente universitario, racconta Cocking. Darling si è unito alla band folk irlandese di Cocking, la Ceili House Band, poco dopo, e il loro primo concerto insieme è stato nell’aprile 2014. Darling, che è entrato a far parte della band come cantante e chitarrista, “ha elevato il livello musicale della band”, dice Cocking.

Ma alcuni anni fa, Cocking e gli altri compagni di band hanno iniziato a notare dei cambiamenti in Darling. È diventato goffo, racconta Cocking. Ricorda una sera in cui la band ha dovuto attraversare la città di Cardiff sotto la pioggia: “Continuava a scivolare e a cadere, inciampando sulle lastre del selciato e cose del genere”.

All’epoca non ci fece troppo caso, ma i sintomi di Darling continuarono a peggiorare. La malattia colpì prima le gambe e nell’agosto 2023 iniziò ad avere bisogno di sedersi durante le esibizioni. Poi iniziò a perdere l’uso delle mani. “Alla fine non riusciva più a suonare la chitarra o il banjo”, racconta Cocking.

Nell’aprile 2024, Darling faceva fatica a parlare e respirare allo stesso tempo, racconta Cocking. Per quella esibizione, la band portò Darling sul palco. “Mi chiamò il giorno dopo e mi disse che non ce la faceva più”, racconta Cocking con voce rotta dall’emozione. “Nel giugno 2024 era finita”. Fu l’ultima volta che la band suonò insieme.

Ricreare una voce

Darling è stato messo in contatto con un logopedista, che ha sollevato la possibilità di “archiviare” la sua voce. Le persone che stanno perdendo la capacità di parlare possono scegliere di registrare la propria voce e utilizzare queste registrazioni per creare suoni vocali che possono poi essere attivati con del testo digitato, sia a mano che utilizzando un dispositivo controllato dai movimenti oculari.

Alcuni utenti hanno trovato questi strumenti troppo robotici. Ma Darling aveva un altro problema. “A quel punto, la mia voce era già cambiata”, ha detto durante l’evento. “Mi sembrava che stessimo salvando la voce sbagliata”.

Poi un altro logopedista gli ha presentato una tecnologia diversa. Richard Cave è logopedista e ricercatore presso l’University College di Londra. È anche consulente di ElevenLabs, un’azienda di intelligenza artificiale che sviluppa agenti e strumenti audio, vocali, video e musicali. Uno di questi strumenti è in grado di creare “cloni vocali”, imitazioni realistiche di voci reali che possono essere generate da minuti, o addirittura secondi, di voce registrata di una persona.

L’anno scorso, ElevenLabs ha lanciato un programma di impatto con la promessa di fornire licenze gratuite per questi strumenti alle persone che hanno perso la voce a causa della SLA o di altre malattie, come il cancro alla testa e al collo o l’ictus.

Lo strumento sta già aiutando alcuni di questi utenti. “Non stiamo migliorando la velocità con cui sono in grado di comunicare, né tutte le difficoltà che le persone affette da MND devono affrontare fisicamente, come mangiare e respirare”, afferma Gabi Leibowitz, logopedista che guida il programma. “Ma quello che stiamo facendo è dare loro un modo… per creare di nuovo, per prosperare”. Gli utenti possono mantenere il proprio lavoro più a lungo e “continuare a fare le cose che li fanno sentire esseri umani”, afferma.

Cave ha collaborato con Darling per utilizzare lo strumento e ricreare la sua voce perduta a partire da registrazioni più vecchie.

“La prima volta che ho sentito la voce, ho pensato che fosse incredibile”, ha detto Darling durante l’evento, utilizzando il clone vocale. “Suonava esattamente come prima, e letteralmente non si riusciva a capire la differenza”, ha detto. “Non dirò quale sia stata la prima parola che ho fatto pronunciare alla mia nuova voce, ma posso dirvi che iniziava con la ‘f’ e finiva con la ‘k'”.

Ricreare la sua voce cantata non è stato così facile. Lo strumento richiede in genere circa 10 minuti di audio chiaro per generare un clone. “Non avevo registrazioni di alta qualità di me stesso mentre cantavo”, ha detto Darling. “Abbiamo dovuto utilizzare l’audio di video registrati con i telefoni cellulari, girati in pub rumorosi, e un paio di registrazioni di me che cantavo nella mia cucina”. Tuttavia, quei frammenti sono stati sufficienti per creare una “versione sintetica della voce cantata [di Darling]”, afferma Cave.

Nelle registrazioni, Darling aveva una voce un po’ roca e “era un po’ stonata” su alcune note, dice Cave. Il clone vocale ha le stesse qualità. Non suona perfetto, dice Cave, ma suona umano.

“La voce ElevenLabs che abbiamo creato è meravigliosa”, ha detto Darling durante l’evento. “Suona decisamente come me, è solo una versione diversa di me stessa”.

ElevenLabs ha anche sviluppato un generatore di musica AI chiamato Eleven Music. Lo strumento consente agli utenti di comporre brani, utilizzando prompt di testo per scegliere lo stile musicale. Diversi artisti famosi hanno anche collaborato con l’azienda per concedere in licenza i cloni AI delle loro voci, tra cui l’attore Michael Caine, il cui clone vocale viene utilizzato per narrare un documentario ElevenLabs di prossima uscita. Il mese scorso, l’azienda ha pubblicato un album di 11 brani creati utilizzando lo strumento. “Il brano di Liza Minnelli è davvero fantastico”, afferma Cave.

Eleven Music è in grado di generare una canzone in un minuto, ma Darling e Cave hanno impiegato circa sei settimane per mettere a punto la canzone di Darling. Utilizzando suggerimenti testuali, qualsiasi utente può “creare musica e aggiungere testi in qualsiasi stile [preferisca]”, afferma Cave. Darling ama il folk irlandese, ma Cave ha anche lavorato con un uomo in Colombia che sta creando musica folk colombiana. (Lo strumento ElevenLabs è attualmente disponibile in 74 lingue).

Ritorno sul palco

Il mese scorso, Cocking ha ricevuto una telefonata da Cave, che gli ha inviato la traccia completata di Darling. “Ho ascoltato le prime due o tre parole che ha cantato e ho dovuto spegnere”, racconta. “Ero distrutto, in lacrime. Mi ci sono volute almeno sei volte per arrivare alla fine della traccia”.

Darling e Cave stavano programmando di eseguire il brano dal vivo all’ElevenLabs summit di Londra mercoledì 11 febbraio. Così Cocking e il suo compagno di band Hari Ma hanno arrangiato le parti di accompagnamento da suonare con il mandolino e il violino. Hanno avuto un paio di settimane per provare prima di unirsi a Darling sul palco, due anni dopo la loro ultima esibizione insieme.

“L’ho portato sul palco con la sedia a rotelle e nessuno di noi due riusciva a credere che stesse succedendo davvero”, racconta Cave. “Era emozionatissimo”. La canzone è stata suonata mentre Darling rimaneva sul palco e Cocking e Ma suonavano i loro strumenti dal vivo.

Cocking e Cave dicono che Darling intende continuare a usare questi strumenti per fare musica. Cocking spera di esibirsi di nuovo con Darling, ma riconosce che, data la natura della SLA, è difficile fare progetti a lungo termine.

“È un momento così dolceamaro”, dice Cocking. “Ma salire sul palco e vedere Patrick lì mi ha riempito di gioia assoluta. So che anche Patrick si è divertito molto. Ne abbiamo parlato… Era davvero molto orgoglioso”.

ELEVENLABS/AMPLIFY