L'algoritmo di apprendimento automatico osserva Dance Dance Revolution, quindi crea danze proprie

Dance Dance Revolution è uno dei videogiochi classici della fine del 20° secolo. Una testimonianza del suo successo, novità e longevità è che è ancora popolare oggi, a quasi 20 anni dal suo lancio.

Questo è un gioco di ballo composto da uno schermo e una piattaforma di ballo che i giocatori controllano con i piedi. La piattaforma ha quattro pad, che i giocatori devono toccare con la musica nell'ordine specificato da una tabella sullo schermo. Quindi i giocatori devono ballare al ritmo della musica nel modo richiesto dal gioco.

Il gioco consente inoltre ai giocatori di progettare e distribuire le proprie danze. Nel corso degli anni, le persone hanno creato enormi database di danze per una vasta gamma di canzoni popolari.

Ciò ha dato a Chris Donahue e ai suoi amici, dell'Università della California, a San Diego, un'idea. Perché non utilizzare questo enorme database per addestrare una macchina di apprendimento profondo per creare danze proprie?

Oggi mostrano come hanno fatto proprio questo. Il loro sistema, chiamato Dance Dance Convolution, prende come input i file audio grezzi delle canzoni pop e produce routine di ballo come output. Il risultato è una macchina in grado di coreografare la musica.

Il gioco in sé è semplice in linea di principio. Durante la riproduzione della musica, il giocatore tocca i pad sulla piattaforma da ballo nell'ordine mostrato sullo schermo. Ciascun pad può trovarsi in uno dei quattro stati: acceso, spento, tieni premuto (o congela) e rilascia. Poiché i quattro pad possono essere attivati ​​o rilasciati indipendentemente, ci sono 256 possibili combinazioni di passi in ogni istante.

Naturalmente, i balli diventano progressivamente più difficili, con la maggior parte delle canzoni che hanno balli con cinque livelli di difficoltà. La difficoltà è determinata dalla velocità delle suddivisioni ritmiche. I giochi di livello principiante hanno passi sulle note da un quarto e da un ottavo, ma i balli di difficoltà più alta hanno passi da 16 note e alcuni schemi che coinvolgono note da 12 e 24.

Ci sono anche altre regole informali per la creazione di classifiche di danza. Gli autori delle classifiche si sforzano di evitare schemi che costringerebbero un giocatore a guardare lontano dallo schermo, affermano Donahue e co. Il risultato sono danze con un'ampia varietà di ricche strutture.

Il compito di automatizzare la creazione delle classifiche di danza non è affatto semplice. Donahue e compagni lo dividono in due parti. Il primo è decidere quando posizionare i passaggi e il secondo è decidere quali passaggi selezionare. Quindi addestrano un algoritmo di apprendimento automatico per apprendere ogni attività.

Il primo compito si riduce all'identificazione di una serie di timestamp in una canzone in cui posizionare i passaggi. Questo è simile a un problema ben studiato nella ricerca musicale chiamato rilevamento dell'esordio. Ciò comporta l'identificazione di momenti importanti in una canzone come note melodiche o colpi di batteria.

Sebbene non tutti gli esordi nei nostri dati corrispondano a un passaggio di Dance Dance Revolution, ogni passaggio di Dance Dance Revolution corrisponde a un esordio, affermano Donahue e co.

Una volta identificati i timestamp per ogni passaggio, la seconda attività consiste nel selezionare un passaggio da eseguire in ogni istante.

In tutte le attività di apprendimento automatico, il set di dati di addestramento è fondamentale. La ricerca sulla musica è stata ostacolata in passato perché problemi di copyright possono impedire che le canzoni vengano utilizzate nella ricerca (o almeno che vengano trasmesse insieme ai risultati).

DDR aggira questo problema perché così tante classifiche dance sono state create da utenti ordinari. Donahue e co affermano che un repository online, chiamato Stepmania Online, memorizza oltre 350 gigabyte di classifiche dance su oltre 100.000 brani.

Per questa ricerca, il team si concentra su due set di dati più piccoli costituiti da registrazioni più classifiche di danza. Il primo contiene 90 brani coreografati da un unico autore, che ha prodotto classifiche di cinque livelli di difficoltà per ogni brano. Il secondo set di dati contiene 133 brani ciascuno con un singolo diagramma di ballo.

Il team aumenta quindi il set di dati creando un'immagine speculare di ciascun grafico, ad esempio scambiando sinistra con destra e su per giù (o entrambi). Il risultato è un set di dati di 35 ore di musica sotto forma di file audio grezzi con oltre 350.000 passaggi.

Donahue e colleghi utilizzano quindi l'80% della musica per addestrare l'algoritmo di apprendimento automatico a riconoscere i tempi per il posizionamento dei passaggi. Convalidano e testano il modello risultante con il restante 20 percento dei dati. E usano proporzioni simili per addestrare un altro algoritmo per determinare la selezione del passaggio. Tecniche simili sono ampiamente utilizzate nell'apprendimento automatico per attività, come l'elaborazione del linguaggio naturale.

I risultati sono impressionanti. I nostri esperimenti stabiliscono la fattibilità dell'utilizzo dell'apprendimento automatico per generare automaticamente grafici DDR di alta qualità da audio grezzo, affermano Donahue e co.

Combinando le intuizioni dal rilevamento dell'esordio musicale e dalla modellazione statistica del linguaggio, abbiamo progettato e valutato una serie di metodi di apprendimento profondo per imparare a coreografare, affermano.

È un lavoro divertente che mostra l'utilità dell'apprendimento automatico per le attività in cui sono presenti grandi set di dati annotati. Mostra anche che, ancora una volta, un altro bastione della creatività umana è caduto nelle macchine.

Rif: arxiv.org/abs/1703.06891 : Danza Danza Convoluzione

nascondere