L'algoritmo di visione artificiale impara a trasformare gli schizzi disegnati a mano in immagini fotorealistiche

Disegnare uno schizzo accurato del viso di una persona è un'arte difficile da padroneggiare per la maggior parte delle persone. Ma risulta essere relativamente facile per i computer. Esistono vari programmi per convertire le immagini in disegni al tratto. Ciò produce spesso un inizio decente, sebbene questi sistemi possano avere difficoltà con le ombre e il contrasto elevato.

Un approccio più promettente consiste nell'utilizzare algoritmi di visione artificiale che si basano su reti neurali per estrarre caratteristiche da un'immagine e utilizzarle per produrre uno schizzo. In quest'area, le macchine hanno iniziato a rivaleggiare e persino a superare gli umani nella produzione di schizzi accurati.

Ma che dire del problema inverso? Questo inizia con uno schizzo e mira a produrre una fotografia a colori accurata del viso originale. Questo è chiaramente un compito molto più difficile, tanto che gli umani raramente ci provano.

Ora le macchine hanno risolto questo problema. Oggi, Yagmur Gucluturk, Umut Guclu e gli amici della Radboud University nei Paesi Bassi hanno insegnato a una rete neurale a trasformare schizzi di volti disegnati a mano in ritratti fotorealistici. Il lavoro è un'altra dimostrazione del modo in cui le macchine intelligenti, e in particolare le reti neurali, stanno iniziando a superare le prestazioni degli esseri umani in una varietà sempre più ampia di compiti.

Il team di Radboud inizia con un set di dati di 200.000 immagini di volti presi da Internet. Li hanno convertiti in disegni al tratto, schizzi in scala di grigi e schizzi a colori, utilizzando algoritmi di elaborazione delle immagini standard. Ciò ha creato un sostanziale set di dati di addestramento per insegnare a una rete neurale convoluzionale profonda con 11 strati a svolgere il compito al contrario: trasformare uno schizzo in una fotografia a colori fotorealistica di un viso.

Dopo aver allenato la rete, il team l'ha messa alla prova utilizzando un altro set di dati. Il compito della rete neurale era iniziare con lo schizzo e produrre un'immagine fotorealistica.

I risultati sono impressionanti, in particolare quando la rete neurale è iniziata con i disegni al tratto. Abbiamo scoperto che il modello di linea ha funzionato in modo impressionante in termini di corrispondenza del colore dei capelli e della pelle degli individui anche quando gli schizzi delle linee non contenevano alcuna informazione sul colore, afferma il team.

Il motivo sembra chiaro. Ciò potrebbe indicare che, oltre a sfruttare le differenze di luminanza negli schizzi per dedurre la colorazione, il modello è stato in grado di apprendere le proprietà del colore spesso associate a caratteristiche facciali di alto livello di diverse etnie, suggeriscono.

Successivamente il team ha testato la rete neurale su un set di dati completamente diverso utilizzando schizzi disegnati a mano che sono ovviamente generati in un modo completamente diverso da quelli su cui è stata addestrata la rete. Ancora una volta, il modello ha sintetizzato immagini di volti fotorealistiche, dicono.

La rete non era perfetta, ovviamente. In particolare, ha avuto problemi quando i tratti di matita negli schizzi disegnati a mano non erano accompagnati da ombreggiature. Ciò ha portato a risultati meno realistici. Ciò può essere spiegato dalla mancanza di tali caratteristiche nei dati di addestramento del modello di schizzo della linea, dicono, aggiungendo che questa lacuna può essere facilmente superata includendo esempi nel set di addestramento che assomiglino più da vicino allo stile di disegno degli artisti dello schizzo, dicono i ricercatori Radboud.

Infine, il team ha permesso alla loro rete neurale di esibirsi producendo immagini fotorealistiche di artisti come Rembrandt e Van Gogh da autoritratti abbozzati che entrambi gli artisti avevano realizzato.

È un lavoro impressionante che mostra come le reti neurali profonde stiano rapidamente iniziando a superare gli esseri umani nei compiti di visione. L'ovvia applicazione immediata è nella scientifica, dove le immagini accurate dei sospetti devono essere costruite da artisti della polizia.

E questo è solo uno dei tanti modi in cui queste macchine stanno mostrando la loro supremazia. Gli algoritmi di visione artificiale possono anche eseguire attività come copiare e incollare lo stile artistico da un'immagine all'altra, aggiungere accuratamente il colore alle immagini in scala di grigi e trasformare le immagini a bassa risoluzione in immagini ad alta risoluzione.

Tutto questo è accaduto in appena un paio d'anni di sviluppo e le reti neurali profonde hanno molto altro da fare. È difficile prevedere di cosa saranno capaci, diciamo, tra un anno.

Rif: arxiv.org/abs/1606.03073 : Inversione convoluzionale dello schizzo

nascondere