Il sistema AI di Facebook può parlare con la voce di Bill Gates

Bill Gates Jack Taylor/Stringer/Getty

Il discorso della macchina è una sorta di delusione. Anche i migliori sistemi di sintesi vocale hanno una qualità meccanica e mancano dei cambiamenti di base nell'intonazione utilizzati dagli umani. Il sistema vocale molto copiato di Stephen Hawking è un esempio calzante.

Questa è una sorta di sorpresa visti gli enormi progressi nell'apprendimento automatico negli ultimi anni. Sicuramente le tecniche che hanno funzionato così bene nel riconoscere volti e oggetti e quindi nella produzione di immagini realistiche dovrebbero funzionare altrettanto bene con l'audio. Non proprio.

Almeno, non fino ad oggi. Entrano in Sean Vasquez e Mike Lewis di Facebook AI Research, che hanno trovato un modo per superare i limiti dei sistemi di sintesi vocale per produrre clip audio straordinariamente realistiche generate interamente dalla macchina. La loro macchina, chiamata MelNet, non solo riproduce l'intonazione umana, ma può farlo con la stessa voce delle persone reali. Quindi il team lo ha addestrato a parlare come Bill Gates, tra gli altri. Il lavoro apre la possibilità di un'interazione più realistica tra uomo e computer, ma solleva anche lo spettro di una nuova era di contenuti audio falsi.

Prima un po' di background. Il lento progresso sui sistemi di sintesi vocale realistici non è dovuto alla mancanza di tentativi. Numerosi team hanno tentato di addestrare algoritmi di deep learning per riprodurre modelli vocali reali utilizzando grandi database di audio.

Il problema con questo approccio, dicono Vasquez e Lewis, è con il tipo di dati. Finora, la maggior parte del lavoro si è concentrato sulle registrazioni di forme d'onda audio. Questi mostrano come l'ampiezza del suono cambia nel tempo, con ogni secondo di audio registrato costituito da decine di migliaia di fasi temporali.

Queste forme d'onda mostrano modelli specifici su diverse scale. Durante alcuni secondi di parlato, ad esempio, la forma d'onda riflette gli schemi caratteristici associati alle sequenze di parole. Ma alla scala dei microsecondi, la forma d'onda mostra le caratteristiche associate all'altezza e al timbro della voce. E ad altre scale, la forma d'onda riflette l'intonazione dell'altoparlante, la struttura del fonema e così via.

Un altro modo di pensare a questi modelli è come correlazioni tra la forma d'onda in una fase temporale e nella fase temporale successiva. Quindi, per una data scala temporale, il suono all'inizio di una parola è correlato ai suoni che seguono.

I sistemi di deep learning dovrebbero essere bravi ad apprendere questi tipi di correlazioni e a riprodurle. Il problema è che le correlazioni agiscono su scale temporali diverse e i sistemi di deep learning possono studiare le correlazioni solo su scale temporali limitate. Ciò è dovuto a un tipo di processo di apprendimento che impiegano, chiamato backpropagation, che ricabla ripetutamente la rete per migliorarne le prestazioni sulla base degli esempi che vede.

La frequenza di ripetizione limita la scala temporale su cui è possibile apprendere le correlazioni. Quindi una rete di deep learning può apprendere le correlazioni nelle forme d'onda audio su scale temporali lunghe o brevi, ma non entrambe. Ecco perché si comportano così male nel riprodurre il parlato.

Vasquez e Lewis hanno un approccio diverso. Invece delle forme d'onda audio, usano gli spettrogrammi per addestrare la loro rete di deep learning. Gli spettrogrammi registrano l'intero spettro delle frequenze audio e come cambiano nel tempo. Quindi, mentre le forme d'onda catturano il cambiamento nel tempo di un parametro, l'ampiezza, gli spettrogrammi catturano il cambiamento su una vasta gamma di frequenze diverse.

Ciò significa che le informazioni audio sono più dense in questo tipo di rappresentazione dei dati. L'asse temporale di uno spettrogramma è ordini di grandezza più compatto di quello di una forma d'onda, il che significa che dipendenze che coprono decine di migliaia di passaggi temporali nelle forme d'onda coprono solo centinaia di passaggi temporali negli spettrogrammi, affermano Vasquez e Lewis.

Ciò rende le correlazioni più accessibili a un sistema di deep learning. Ciò consente ai nostri modelli di spettrogramma di generare campioni vocali e musicali incondizionati con coerenza su più secondi, affermano.

E i risultati sono impressionanti. Dopo aver addestrato il sistema utilizzando il parlato normale dei discorsi TED, MelNet è quindi in grado di riprodurre la voce dell'oratore TED dicendo più o meno qualsiasi cosa in pochi secondi. I ricercatori di Facebook dimostrano la sua flessibilità usando il discorso TED di Bill Gates per addestrare MelNet e poi usare la sua voce per dire una serie di frasi casuali.

Questo è il sistema che dice Ci accigliiamo quando gli eventi prendono una brutta piega e il Porto è un vino forte con un gusto affumicato. Altri esempi sono qui.

Ci accigliiamo quando gli eventi prendono una brutta piega

il porto è un vino forte dal gusto affumicato

Ci sono alcune limitazioni, ovviamente. Il discorso ordinario contiene correlazioni su scale temporali ancora più lunghe. Ad esempio, gli esseri umani usano i cambiamenti nell'intonazione per indicare i cambiamenti nell'argomento o nell'umore mentre le storie si evolvono nell'arco di decine di secondi o minuti. La macchina di Facebook non sembra ancora in grado di farlo.

Quindi, mentre MelNet può creare frasi straordinariamente realistiche, il team non ha ancora perfezionato frasi, paragrafi o intere storie più lunghe. Non mi sembra un traguardo da raggiungere a breve.

Tuttavia, il lavoro potrebbe avere un impatto significativo sull'interazione uomo-computer. Molte conversazioni coinvolgono solo brevi frasi. Gli operatori telefonici e gli help desk in particolare possono cavarsela con una serie di frasi relativamente brevi. Quindi questa tecnologia potrebbe automatizzare queste interazioni in un modo molto più simile a quello umano rispetto ai sistemi attuali.

Per il momento, tuttavia, Vasquez e Lewis sono a bocca aperta sulle potenziali applicazioni.

E come sempre, ci sono potenziali problemi con le macchine dal suono naturale, in particolare quelle che possono imitare gli esseri umani in modo affidabile. Non ci vuole molta immaginazione per inventare scenari in cui questa tecnologia potrebbe essere utilizzata per il male. E per questo motivo, è l'ennesimo progresso relativo all'IA che solleva più domande etiche di quante ne risponda.

Rif: arxiv.org/abs/1906.01083 : MelNet: un modello generativo per l'audio nel dominio della frequenza

nascondere