Il deep learning trasforma le registrazioni mono in un suono coinvolgente

Samuel Dixon | Spruzza

Ascolta un uccello che canta su un albero vicino e puoi identificare relativamente rapidamente la sua posizione approssimativa senza guardare. Ascolta il rombo del motore di un'auto mentre attraversi la strada e di solito puoi dire immediatamente se è dietro di te.

La capacità umana di localizzare un suono nello spazio tridimensionale è straordinaria. Il fenomeno è ben compreso: è il risultato della forma asimmetrica delle nostre orecchie e della distanza tra loro.

Ma mentre i ricercatori hanno imparato a creare immagini 3D che ingannano facilmente i nostri sistemi visivi, nessuno ha trovato un modo soddisfacente per creare suoni 3D sintetici che ingannano in modo convincente i nostri sistemi uditivi.

Oggi, questo sembra destinato a cambiare almeno in parte, grazie al lavoro di Ruohan Gao dell'Università del Texas e Kristen Grauman di Facebook Research. Hanno usato un trucco che gli esseri umani sfruttano anche per insegnare a un sistema di intelligenza artificiale a convertire i normali suoni mono in un suono 3D piuttosto buono. I ricercatori lo chiamano suono 2.5D.

Prima un po' di background. Il cervello utilizza una varietà di indizi per capire da dove proviene un suono nello spazio 3D. Un indizio importante è la differenza tra i tempi di arrivo di un suono a ciascun orecchio: la differenza di tempo interaurale.

Un suono prodotto alla tua sinistra arriverà ovviamente all'orecchio sinistro prima di quello destro. E sebbene tu non sia consapevole di questa differenza, il cervello la usa per determinare da dove proviene il suono.

Un altro indizio è la differenza di volume. Questo stesso suono sarà più forte nell'orecchio sinistro che in quello destro, e anche il cervello usa queste informazioni per fare i conti. Questa è chiamata differenza di livello interaurale.

Queste differenze dipendono dalla distanza tra le orecchie. Le registrazioni stereo non riproducono questo effetto, perché la separazione dei microfoni stereo non corrisponde.

Anche il modo in cui il suono interagisce con i paraorecchie è importante. I flap distorcono il suono in modi che dipendono dalla direzione da cui proviene. Ad esempio, un suono dalla parte anteriore raggiunge il condotto uditivo prima di colpire il padiglione auricolare. Al contrario, lo stesso suono proveniente da dietro la testa viene distorto dal padiglione auricolare prima che raggiunga il condotto uditivo.

Anche il cervello può percepire queste differenze. Infatti, la forma asimmetrica dell'orecchio è il motivo per cui possiamo dire quando un suono proviene dall'alto, ad esempio, o da molte altre direzioni.

Il trucco per riprodurre artificialmente il suono 3D è riprodurre l'effetto che tutta questa geometria ha sul suono. E questo è un problema difficile.

Un modo per misurare la distorsione è con la registrazione binaurale. Questa è una registrazione effettuata posizionando un microfono all'interno di ciascun orecchio, che può captare queste minuscole variazioni.

Analizzando le variazioni, i ricercatori possono quindi riprodurle utilizzando un algoritmo matematico noto come funzione di trasferimento relativa alla testa. Ciò trasforma qualsiasi normale paio di cuffie in straordinarie macchine del suono 3D.

Ma poiché le orecchie di tutti sono diverse, ognuno sente il suono in un modo diverso. Quindi creare la funzione di trasferimento relativa alla testa di una persona significa misurare la forma delle orecchie della persona prima di riprodurre una registrazione. E sebbene ciò possa essere fatto in laboratorio, nessuno ha capito come farlo in natura.

Tuttavia, ci sono modi per approssimare il suono 3D usando le distorsioni del suono che non dipendono dalla forma dell'orecchio: il tempo interaurale e le differenze di livello.

Il trucco che usano Grauman e Gao è determinare da quale direzione proviene un suono usando segnali visivi (come spesso fanno anche gli umani). Quindi, dato un video di una scena e una registrazione del suono mono, il sistema di apprendimento automatico calcola da dove provengono i suoni e quindi distorce il tempo interaurale e le differenze di livello per produrre quell'effetto per l'ascoltatore.

Ad esempio, immagina un video che mostra una coppia di musicisti che suonano una batteria e un pianoforte. Se la batteria si trova sul lato sinistro del campo visivo e il pianoforte a destra, è semplice presumere che i suoni della batteria debbano provenire da sinistra e il pianoforte da destra. Questo è ciò che fa questo sistema di apprendimento automatico, distorcendo il suono di conseguenza.

Il metodo di formazione dei ricercatori è relativamente semplice. Il primo passo nella formazione di qualsiasi sistema di apprendimento automatico è creare un database di esempi degli effetti che deve apprendere. Grauman e Gao ne hanno creato uno effettuando registrazioni binaurali di oltre 2.000 clip musicali che hanno anche filmato.

Il loro registratore binaurale è costituito da un paio di orecchie sintetiche separate dalla larghezza di una testa umana, che registra anche la scena davanti utilizzando una videocamera GoPro.

Il team ha quindi utilizzato queste registrazioni per addestrare un algoritmo di apprendimento automatico per riconoscere da dove proveniva un suono dato il video della scena. Dopo aver appreso questo, è in grado di guardare un video e quindi distorcere una registrazione mono in un modo che simula da dove dovrebbe provenire il suono. Chiamiamo l'output audio visivo 2.5D risultante: il flusso visivo aiuta a 'sollevare' l'audio piatto a canale singolo in un suono spazializzato, affermano Grauman e Gao.

I risultati sono impressionanti. Puoi guardare un video del loro lavoro qui —assicurati di indossare le cuffie mentre guardi.

Il video confronta i risultati delle registrazioni 2.5D con la registrazione mono e mostra quanto può essere buono. Il previsto suono visivo 2.5D offre un'esperienza audio più coinvolgente, affermano Grauman e Gao.

Tuttavia, non produce un suono 3D completo a causa dei motivi sopra menzionati: i ricercatori non creano una funzione di trasferimento personalizzata relativa alla testa.

E ci sono alcune situazioni che l'algoritmo trova difficili da affrontare. Ovviamente il sistema non può gestire nessuna sorgente sonora che non sia visibile nel video. Né può gestire sorgenti sonore che non è stato addestrato a riconoscere. Questo sistema si concentra principalmente sui video musicali.

Tuttavia, Grauman e Gao hanno un'idea intelligente che funziona bene per molti video musicali. E hanno l'ambizione di estendere le sue applicazioni. Abbiamo in programma di esplorare modi per incorporare la localizzazione e il movimento degli oggetti e modellare esplicitamente i suoni della scena, dicono.

Rif: arxiv.org/abs/1812.04204 : Suono visivo 2.5D

nascondere