211service.com
Gli algoritmi possono trasformare qualsiasi scena in un fumetto
I fumetti prendono la forma di una serie di immagini fisse che insieme raccontano una storia. Le immagini sono spesso molto stilizzate e i grafici sono ammirati per la loro abilità.
Ma questo tipo di abilità artistica è difficile da imparare e da perfezionare, il che la rende lunga e costosa da produrre. Quindi artisti, editori e lettori apprezzerebbero moltissimo un modo automatizzato per fare in modo che un'immagine imiti uno stile comico desiderato.
Si scopre che questo tipo di algoritmo esiste già. Già nel 2015, un gruppo di ricercatori in Germania ha scoperto un modo per trasferire lo stile artistico di un'immagine a un'altra. Da allora, altri hanno costantemente migliorato questo approccio per renderlo più rapido e accurato.
Da sinistra a destra: l'immagine grafica originale, l'immagine di destinazione e l'immagine stilizzata risultante
Tuttavia, il lavoro si è finora concentrato sul trasferimento dello stile di artisti raffinati come Picasso e Van Gogh ad altre immagini, o sull'alterazione delle immagini ordinarie in modi come trasformare la notte in giorno. Quanto bene funzionano questi algoritmi con le immagini spesso più stilizzate prodotte dai fumettisti?
Oggi riceviamo una risposta grazie al lavoro di Maciej Pęśko e Tomasz Trzciński presso l'Università di Tecnologia di Varsavia in Polonia. Questi ragazzi hanno applicato vari tipi di trasferimento dello stile dell'immagine alla grafica dei fumetti e hanno confrontato i risultati.
Prima un po' di background. Questo approccio è iniziato con il lavoro di Leon Gatys dell'Università di Tubinga e di alcuni amici, che hanno studiato il modo in cui le reti neurali profonde registravano e analizzavano lo stile artistico. Queste reti sono costituite da livelli che analizzano ciascuno un'immagine a un livello diverso, dettagli come forme, colori e linee.
L'intuizione chiave dietro il lavoro di Gatys e co è che lo stile artistico non è catturato negli strati stessi ma nelle correlazioni tra di loro. Ciò rende immediatamente possibile separare lo stile di un artista dal contenuto dell'arte e persino trasferirlo da un'immagine all'altra.
Ed è esattamente quello che hanno fatto Gatys e colleghi, con diffuso stupore da parte della comunità della visione artificiale. Questo lavoro è diventato il fondamento di una nuova sottodisciplina della visione artificiale nota come trasferimento di stile neurale.
Un problema con il nuovo approccio è che è computazionalmente intensivo. Ci vuole molto tempo, diversi secondi per le immagini 512x512 sui moderni computer desktop, per analizzare un'immagine, eliminarne lo stile e applicare quello stile a un'altra scena.
Così gli informatici hanno iniziato a cercare diversi approcci che potessero svolgere il compito più rapidamente. E infatti hanno escogitato vari algoritmi che fanno un lavoro simile. Tuttavia, c'è un compromesso tra velocità e qualità.
Entrano Pęśko e Trzciński. Questi ragazzi hanno testato un'ampia gamma di algoritmi di trasferimento di stili neurali sul compito specifico di trasferire gli stili grafici associati ai fumetti. Questo è il primo tentativo di valutare e confrontare i risultati ottenuti con diversi metodi nel contesto del trasferimento dello stile comico, dicono.
Si concentrano specificamente sulle tecniche più veloci che hanno il potenziale per lavorare su qualsiasi immagine grafica. Ci concentriamo principalmente su metodi il cui tempo di esecuzione per immagine non supera i 2 secondi, dicono.
In questo modo, hanno testato cinque diversi algoritmi su immagini da 600x450 pixel elaborate utilizzando un'unità di elaborazione grafica Titan X da 12 gigabyte. Hanno selezionato immagini che rappresentano vari stili di fumetti e le hanno trasferite su immagini scelte casualmente da una ricerca di immagini su Google.
Infine, hanno mostrato i risultati a 100 persone per valutare quanto bene gli algoritmi hanno ottenuto il trasferimento di stile.
I risultati mostrano lo stato dell'arte in questo settore. L'algoritmo giudicato migliore è una tecnica nota come normalizzazione dell'istanza adattiva, sviluppata nel 2017, con circa il 30% dei voti a suo favore. Conferma le nostre ipotesi che questo metodo dia risultati che sono i più vicini ai cartoni animati o ai fumetti in termini di somiglianza stilistica, affermano Pęśko e Trzciński.
Tuttavia, i risultati non sono affatto perfetti. Tutte le tecniche soffrono in una certa misura di problemi come il trasferimento del colore inappropriato e la sfocatura. Crediamo che ci sia ancora spazio per miglioramenti, affermano i ricercatori.
Ciò rappresenta un'opportunità. Il mercato dei fumetti negli Stati Uniti da solo vale 1 miliardo di dollari all'anno. E ci sono molte parti del mondo che devono ancora sviluppare la propria cultura intorno ai fumetti, come l'India. Quindi ci sono mercati che hanno il potenziale per crescere.
La capacità di creare immagini di fumetti di alta qualità farà una differenza significativa per chiunque voglia conquistare quei mercati.
Tuttavia, c'è un altro problema: la sfida di sviluppare personaggi potenti e trame avvincenti. Le reti neurali non possono aiutare in questo... almeno, non ancora.
Rif: arxiv.org/abs/1809.01726 : Trasferimento di stile fumetto neurale: caso di studio