L'algoritmo che espande la scienza del colore

Le tavolozze dei colori estratte dai dipinti d'arte.

Lo studio del colore sta subendo una rivoluzione. Finora, la teoria del colore è stata poco più di una raccolta di idee basate vagamente sulla scienza.

Ma la capacità di analizzare enormi set di dati di immagini utilizzando algoritmi di visione artificiale sta cambiando le cose. Improvvisamente è diventato possibile studiare il colore e il modo in cui viene utilizzato in modi completamente diversi. Ad esempio, ora è facile estrarre combinazioni di colori da un'immagine e incollarle su un'altra.

Ma questo processo di incollaggio del colore è uno strumento contundente. Può sostituire un set di colori con un altro ma non può confrontare queste tavolozze di colori, decidere come abbinare i colori specifici o scoprire se in una tavolozza manca un colore e sostituirlo.

Il problema è che non c'è modo di mettere in ordine i colori. E questo rende difficile confrontare le tavolozze. Quindi gli specialisti dell'immagine apprezzerebbero moltissimo avere un modo naturale per ordinare i colori estratti dalle immagini e quindi essere in grado di confrontarli.

Entra Huy Phan all'Università Tecnica della Danimarca a Copenaghen e un paio di amici, che hanno trovato il modo di farlo. La loro tecnica è semplice da implementare e porta immediatamente a una nuova generazione di filtri immagine arricchiti che sono molto più flessibili di quelli attualmente disponibili.

Il problema di base è semplice da stabilire: data la tavolozza dei colori di due immagini, in quale ordine dovrebbero apparire i colori per fare un confronto significativo? Per significativo, il team significa che i colori che descrivono gli stessi oggetti dovrebbero essere comparabili.

Phan e compagni affrontano questo problema come una sorta di problema di smistamento. Per prima cosa valutano un'immagine tracciando la posizione dei colori che contiene - la sua tavolozza - in uno spazio colore tridimensionale (ogni colore può essere pensato come un trivettore che descrive come è composto da una miscela di rosso, verde, e blu, per esempio).

Quindi misurano la distanza tra ogni coppia di colori nella tavolozza. Infine, usano un algoritmo per capire come mappare una tavolozza su un'altra con una distorsione minima. In effetti, questo algoritmo trova i cluster all'interno dello spazio colore di ciascuna tavolozza.

Il set di dati che utilizzano è importante. Consideriamo tavolozze di colori estratte da collezioni di belle arti, che riteniamo essere un'abbondante fonte di temi stilistici e cromatici unici, affermano Phan e co.

Ciò limita anche l'argomento, che è cruciale. Henri Matisse usava spesso rossi e verdi profondi nei suoi dipinti, ad esempio, mentre Maximilien Luce usava blu e gialli forti per ombreggiare gli oggetti. Ma poiché questi artisti utilizzano scene sostanzialmente simili (ad esempio, divise in cielo e terra), i colori sono comparabili.

Significa che il team può presumere che gruppi di colori simili descrivano oggetti simili. L'algoritmo quindi mappa questi cluster l'uno sull'altro. In questo modo, può prendere la colorazione del cielo in un'immagine e applicare lo stesso set di colori al cielo in un'altra immagine.

E poiché la trasformazione viene applicata all'intero spazio, diventa semplice mappare qualsiasi colore dalla tavolozza su un colore corrispondente nell'altra tavolozza.

Ciò porta a un modo naturale per ordinare i colori. Phan e co lo fanno specificando prima il numero di colori che appaiono in ogni cluster. Phan e co ne usano cinque come esempio standard (numeri più alti richiedono risorse di calcolo significativamente maggiori).

L'algoritmo trova quindi i cinque colori nel primo cluster, quindi nel secondo, nel terzo e così via. L'ordinazione di questi cluster consente quindi di confrontare facilmente le tavolozze in ciascuna immagine.

Il metodo porta immediatamente ad alcune applicazioni interessanti. Ad esempio, creano un'applicazione chiamata Photo-style Explorer che agisce come un filtro di Instagram ma in uno spazio colore continuo. Invece di scegliere tra pochi temi predefiniti, si può navigare liberamente in uno spazio continuo di possibili colorazioni delle foto per scegliere un tema preferito, dicono.

Un'altra opzione è ricolorare le foto con tavolozze diverse in parti diverse dell'immagine. Quindi è possibile utilizzare una tavolozza per ricolorare il cielo e un'altra per ricolorare gli alberi.

Consente inoltre una migliore analisi delle firme cromatiche degli artisti e il trasferimento di queste firme ad altre immagini. Diventa così possibile ricolorare rapidamente una fotografia utilizzando la tavolozza dei colori di Renoir o quella di Vincent van Gogh.

Questo è un lavoro interessante che espande il modo in cui il colore può essere utilizzato nelle immagini moderne.

Rif: http://arxiv.org/abs/1703.06003 : Color Orchestra: Ordinazione delle tavolozze dei colori per l'interpolazione e la previsione

nascondere