L'algoritmo di visione artificiale che batte gli storici dell'arte al loro stesso gioco

Poche aree di indagine accademica sono sfuggite all'influenza dell'informatica e dell'apprendimento automatico. Ma uno di questi è la storia dell'arte. La sfida di analizzare i dipinti, riconoscere i loro artisti e identificare il loro stile e contenuto è sempre stata al di là delle capacità anche degli algoritmi più avanzati.

Questo sta cambiando grazie ai recenti progressi nell'apprendimento automatico basato su approcci come le reti neurali convoluzionali profonde. In pochi anni, gli informatici hanno creato macchine in grado di eguagliare e talvolta superare gli esseri umani in tutti i tipi di compiti di riconoscimento di schemi.

Oggi vediamo quanto siano avanzati questi approcci nelle mani di Babak Saleh e Ahmed Elgammal della Rutgers University nel New Jersey. Questi ragazzi hanno utilizzato queste nuove tecniche di apprendimento automatico per addestrare algoritmi per riconoscere l'artista e lo stile di un dipinto artistico con una precisione mai raggiunta prima.

Inoltre, i risultati rivelano connessioni tra artisti e tra interi stili pittorici, che gli storici dell'arte hanno lavorato per anni per comprendere.

Saleh ed Elgammal iniziano con un database di immagini di oltre 80.000 dipinti di oltre 1.000 artisti che abbracciano 15 secoli. Questi dipinti coprono 27 stili diversi, ciascuno con più di 1.500 esempi. I ricercatori classificano anche le opere per genere, come interni, paesaggio urbano, paesaggio e così via.

Quindi prendono un sottoinsieme delle immagini e le usano per addestrare vari tipi di algoritmi di apprendimento automatico all'avanguardia per individuare determinate funzionalità. Questi includono funzionalità generali di basso livello come il colore generale, nonché funzionalità più avanzate che descrivono gli oggetti nell'immagine, come un cavallo e una croce. Il risultato finale è una descrizione vettoriale di ogni dipinto che contiene 400 diverse dimensioni.

I ricercatori quindi testano l'algoritmo su una serie di dipinti che non ha ancora visto. E i risultati sono impressionanti. Il loro nuovo approccio può identificare con precisione l'artista in oltre il 60% dei dipinti che vede e identificare lo stile nel 45% di essi.

Ma soprattutto, l'approccio dell'apprendimento automatico fornisce una visione della natura dell'arte che altrimenti sarebbe difficile da sviluppare anche per gli esseri umani. Ciò deriva dall'analisi dei dipinti che l'algoritmo trova difficile da classificare.

Ad esempio, Saleh ed Elgammal affermano che il loro nuovo approccio fa fatica a distinguere tra le opere dipinte da Camille Pissarro e Claude Monet. Ma una piccola ricerca su questi artisti rivela rapidamente che entrambi erano attivi in ​​Francia tra la fine del XIX e l'inizio del XX secolo e che entrambi frequentavano l'Académie Suisse a Parigi. Un esperto potrebbe anche sapere che Pissarro e Monet erano buoni amici e condividevano molte esperienze che hanno informato la loro arte. Quindi il fatto che il loro lavoro sia simile non è una sorpresa.

Come altro esempio, il nuovo approccio confonde le opere di Claude Monet e l'impressionista americano Childe Hassam, che, a quanto pare, fu fortemente influenzato dagli impressionisti francesi e da Monet in particolare. Questi sono collegamenti che un essere umano potrebbe richiedere del tempo per essere scoperti.

L'approccio algoritmico trova anche collegamenti tra alcuni stili artistici. Ad esempio, spesso confonde esempi di espressionismo astratto e dipinti d'azione, in cui gli artisti gocciolano o lanciano vernice e calpestano la tela. Saleh ed Elgammal affermano ancora una volta che questo tipo di confusione sarebbe del tutto comprensibile per uno spettatore umano. La 'pittura d'azione' è un tipo o un sottogenere dell'espressionismo astratto', sottolineano.

L'algoritmo individua numerose altre somiglianze. Collega espressionismo e fauvismo, cosa che ci si potrebbe aspettare dato che quest'ultimo movimento è spesso considerato un tipo di espressionismo. Collega gli stili manierista e rinascimentale, il che riflette chiaramente il fatto che il manierismo è una forma della pittura del primo Rinascimento.

E trova altri legami più diretti, ad esempio tra i dipinti del Rinascimento e del primo Rinascimento, tra l'impressionismo e il postimpressionismo e tra il cubismo e la sua manifestazione successiva, il cubismo sintetico.

Queste connessioni sono ben note agli storici dell'arte, ma solo a causa di molti decenni, o addirittura secoli, di studi. Al contrario, l'approccio di apprendimento automatico dura solo pochi mesi.

Ciò ha importanti implicazioni per lo studio della storia dell'arte. Un'applicazione dei nuovi algoritmi consiste nel selezionare dipinti con caratteristiche simili (vedi immagini). Ciò fornisce agli storici uno strumento nuovo e potente per cercare influenze tra artisti di cui potrebbero non essere mai stati a conoscenza.

Consente inoltre una nuova forma di esplorazione artistica, saltando da un'immagine all'altra simile, in un processo che è visivamente equivalente alla ricerca di sinonimi.

Roba affascinante!

Rif: arxiv.org/abs/1505.00855 : Classificazione su larga scala dei dipinti d'arte: imparare la metrica giusta sulla caratteristica giusta

nascondere