L'algoritmo clona lo stile artistico di Van Gogh e lo incolla su altre immagini, film

La natura dello stile artistico è un mistero per la maggior parte delle persone. Pensa a Vincent Van Gogh Notte stellata , il lavoro di Picasso sul cubismo o quello di Edvard Munch L'urlo . Tutti hanno uno stile unico e potente che gli esseri umani riconoscono facilmente.

Ma che dire delle macchine? Le reti neurali profonde stanno rivoluzionando il modo in cui le macchine riconoscono e interpretano il mondo. La visione artificiale ora supera regolarmente gli esseri umani in compiti come il riconoscimento di oggetti e volti, qualcosa che era inimmaginabile solo pochi anni fa.

Di recente, questi dispositivi hanno fatto i primi timidi passi verso il riconoscimento dello stile artistico e persino la sua riproduzione. Non è chiaro fino a che punto questo tipo di lavoro possa arrivare. Ad esempio, è possibile copiare e incollare uno stile artistico da un'immagine su un intero video, senza produrre artefatti che rovinino l'esperienza visiva?

Oggi, Manuel Ruder e i suoi amici dell'Università di Friburgo in Germania dimostrano che proprio questo è possibile. Questi ragazzi prendono famose opere d'arte come Notte stellata e L'urlo e trasferire il loro stile in una serie di sequenze video tratte da film come Era glaciale e programmi TV come Miss Marple. Il risultato è un impressionante rendering di video e la possibilità di farlo in quasi tutti gli stili immaginabili.

Le reti neurali profonde sono costituite da molti livelli, ciascuno dei quali estrae informazioni da un'immagine, quindi trasmette i dati rimanenti al livello successivo. I primi strati estraggono modelli ampi come il colore e gli strati più profondi estraggono progressivamente più dettagli, che consentono il riconoscimento degli oggetti.

Le informazioni estratte dagli strati più profondi sono importanti. È essenzialmente il contenuto di un'immagine meno le informazioni contestuali come colore, trama e così via. In un certo senso, è l'equivalente computerizzato di un disegno a linee.

L'anno scorso, Leon Gatys dell'Università di Tubinga e alcuni amici hanno iniziato a studiare lo stile artistico in questo modo. Hanno scoperto che è possibile catturare lo stile artistico osservando non le informazioni in ogni livello ma le correlazioni tra i livelli. Quindi il modo in cui un artista riproduce un volto è correlato al modo in cui riproduce un albero o una casa o il sole. Catturare questa correlazione cattura anche lo stile.

Ma la loro scoperta chiave è stata che il contenuto di un'immagine può essere completamente separato dallo stile artistico. Inoltre, hanno scoperto che potevano prendere questo stile artistico e copiarlo e incollarlo sul contenuto di qualsiasi altra immagine.

All'improvviso diventa possibile catturare lo stile astratto di un Kandinsky e incollarlo su una foto del tuo gatto. È molto divertente. Ma ha anche sollevato la questione di quanto oltre questa tecnica possa essere portata.

Il passaggio successivo ovvio è incollare lo stile artistico su immagini successive per realizzare un video. Ma questo crea immediatamente problemi. Piccole differenze tra fotogrammi successivi possono portare a grandi differenze nel modo in cui viene applicato il nuovo stile artistico. E questo fa apparire il video nervoso e visivamente incoerente. Un problema particolare sono i bordi degli oggetti mentre si muovono o si occludono.

Ora Ruder e co hanno risolto questo problema. Data un'immagine artistica, trasferiamo il suo particolare stile di pittura sull'intero video, dicono.

Il loro approccio consiste nell'utilizzare un algoritmo che analizzi le deviazioni tra fotogrammi elaborati successivi e prevenga grandi differenze, ma per farlo ignorando le aree di una scena che vengono visualizzate dopo essere state occluse. Ciò consente al processo di ricostruire le regioni disoccluse e i confini di movimento distorti preservando l'aspetto del resto dell'immagine, dicono.

I risultati sono impressionanti. Il team utilizza il suo algoritmo per estrarre lo stile artistico di una serie di diverse opere d'arte di Kandinsky, Picasso, Matisse, Turner e, naturalmente, Munch e Van Gogh.

Hanno elaborato ciascuno ancora nelle sequenze con una risoluzione di 1024 x 436 su una GPU Nvidia Titan X con un'elaborazione parallela su una CPU allo stesso tempo. Per iniziare, questo processo richiede circa otto minuti per fotogramma. Ma dopo l'ottimizzazione questo scende a una media di circa tre minuti per frame. Quindi l'intero processo è intensivo dal punto di vista computazionale.

Il modo migliore per apprezzare il risultato è Guarda il video , un'impressionante raccolta di sequenze da un'ampia gamma di film, animazioni al computer e programmi TV.

Naturalmente, ci sono ancora miglioramenti che possono essere apportati. L'algoritmo lotta con movimenti molto rapidi o ampi tra i frame e dovrebbe essere possibile ottimizzare ulteriormente il processo per ridurre il tempo di calcolo. Ma nessuno di questi problemi sembra uno spettacolo.

Il lavoro solleva un'interessante domanda su quanto ulteriormente questa tecnica possa essere portata avanti. Ad esempio, è facile immaginare app che potrebbero farlo nel cloud mentre filmi sullo smartphone. Ma sarebbe anche possibile incollare lo stile di L'urlo in tre dimensioni e poi in una realtà virtuale? È difficile trovare ragioni per cui no.

Tutto questo annuncia un approccio completamente nuovo al cinema ma anche all'arte. Quando lo stile artistico diventa una merce che può essere tagliata e incollata da un'immagine all'altra, cosa significa per il lavoro degli artisti? Non è difficile immaginare come questi stili possano essere modificati o addirittura combinati per produrre ibridi.

Qualcuno ha voglia di un Rubens-Picasso, di un Warhol-Monet o di un Burton-Bergman?

Rif: arxiv.org/abs/1604.08610 : Trasferimento di stile artistico per i video

nascondere