Quando l'IA fornisce il suono nei video clip, gli esseri umani non possono dire la differenza

L'apprendimento automatico sta cambiando il modo in cui concepiamo le immagini e il modo in cui vengono create. I ricercatori hanno addestrato macchine per generare volti, disegnare cartoni animati e persino trasferire lo stile dei dipinti alle immagini. Il passo da queste tecniche alla creazione di video in questo modo è solo un breve passo, e in effetti questo è già stato fatto.

Tutto ciò indica un modo per creare ambienti virtuali interamente tramite macchina. Ciò apre ogni tipo di possibilità per il futuro dell'esperienza umana.

Ma c'è un problema. Il video non è solo un'esperienza visiva; generare un suono realistico è altrettanto importante. Quindi una domanda interessante è se le macchine possono generare in modo convincente la componente audio di un video.

Oggi riceviamo una risposta grazie al lavoro di Yipin Zhou e dei suoi amici dell'Università della Carolina del Nord a Chapel Hill e di alcuni amici di Adobe Research. Questi ragazzi hanno addestrato un algoritmo di apprendimento automatico per generare colonne sonore realistiche per brevi videoclip.

In effetti, i suoni sono così realistici che ingannano la maggior parte degli umani facendogli credere che siano reali. Puoi fai un test tu stesso qui per vedere se puoi dire la differenza.

Il team adotta l'approccio standard all'apprendimento automatico. Gli algoritmi sono sempre validi solo quanto i dati utilizzati per addestrarli, quindi il primo passaggio consiste nel creare un set di dati di esempi video con annotazioni di grandi dimensioni e di alta qualità.

Il team crea questo set di dati selezionando un sottoinsieme di clip da una raccolta di Google chiamata Audioset, che consiste in oltre due milioni di clip di 10 secondi da YouTube che includono tutti eventi audio. Questi video sono divisi in categorie con etichetta umana incentrate su cose come cani, motoseghe, elicotteri e così via

Per addestrare una macchina, la squadra deve disporre di clip in cui la sorgente sonora sia chiaramente visibile. Quindi qualsiasi video che contenga audio da eventi fuori schermo non è adatto. Il team li filtra utilizzando i lavoratori in crowdsourcing del servizio Mechanical Turk di Amazon per trovare clip in cui la sorgente audio è chiaramente visibile e domina la colonna sonora.

Ciò ha prodotto un nuovo set di dati con oltre 28.000 video, ciascuno della durata di circa sette secondi, che copre 10 diverse categorie.

Successivamente, il team ha utilizzato questi video per addestrare una macchina a riconoscere le forme d'onda associate a ciascuna categoria e a riprodurle da zero utilizzando una rete neurale chiamata SampleRNN.

Infine, hanno testato i risultati chiedendo ai valutatori umani di valutare la qualità del suono che accompagna un video e di determinare se è reale o generato artificialmente.

I risultati suggeriscono che le macchine possono diventare abbastanza brave in questo compito. I nostri esperimenti mostrano che i suoni generati sono abbastanza realistici e hanno una buona sincronizzazione temporale con gli input visivi, affermano Zhou e co.

E i valutatori umani sembrano essere d'accordo. Le valutazioni mostrano che oltre il 70% del suono generato dai nostri modelli può ingannare gli esseri umani facendogli pensare che siano reali, affermano Zhou e co.

È un lavoro interessante che apre la strada all'editing automatico del suono. Un problema comune nei video è che il rumore estraneo proveniente da una sorgente fuori schermo può rovinare una clip. Quindi sarà utile avere un modo per sostituire automaticamente il suono con un'alternativa realistica generata dalla macchina.

E con il coinvolgimento di Adobe in questa ricerca, potrebbe non passare molto tempo prima di vedere questo tipo di capacità nei software di editing video commerciali.

Rif: arxiv.org/abs/1712.01393 : Visual to Sound: generazione di suoni naturali per i video in natura

nascondere