100 milioni di foto di Instagram di data mining rivelano modelli di abbigliamento globali

Immagina un futuro antropologo con accesso a trilioni di foto di persone, scattate nel corso di secoli e in tutto il mondo, e dotato di strumenti efficaci per analizzare queste foto per ricavarne informazioni. A che tipo di nuove domande è possibile rispondere?

Questo è il sogno che ha ispirato Kevin Matzen, Kavita Bala e Noah Snavely alla Cornell University di Ithaca, New York.

Il loro pensiero è che i milioni di foto caricate ogni giorno sui social media forniscono una finestra affascinante sui fattori culturali, sociali ed economici che modellano le società di tutto il mondo. Con un'intelligenza artificiale abbastanza potente, dicono, dovrebbe essere possibile estrarre questa madre di dati per ottenere approfondimenti sulla nostra civiltà.

L'algoritmo rivela come gli stili di abbigliamento cambiano nel tempo

Per fortuna, questo tipo di intelligenza artificiale sta attualmente emergendo a una velocità vertiginosa. E Matzen e compagni si sono messi al lavoro studiando 100 milioni di foto pubblicate su Instagram.

La domanda a cui questi ragazzi vogliono rispondere in particolare è come variano gli stili di abbigliamento nel mondo, un fenomeno culturale altrimenti difficile da studiare su questa scala.

Ad esempio, il loro approccio può affrontare questioni come il modo in cui la frequenza di utilizzo delle sciarpe negli Stati Uniti sta cambiando nel tempo, quali stili sono più specifici per determinate regioni o città e, al contrario, quali stili sono popolari in tutto il mondo.

Per scoprirlo, Matzen e compagni si sono rivolti a Instagram, che ha permesso loro di scaricare immagini entro cinque chilometri da una posizione specifica ed entro cinque giorni da una data specifica.

Il team ha quindi identificato 44 città da studiare e ha scaricato un totale di 100 milioni di immagini da queste località in finestre di cinque giorni tra giugno 2013 e giugno 2016.

Hanno utilizzato un programma di riconoscimento facciale standard per filtrare tutte le immagini che non contenevano un volto e hanno anche filtrato per un busto visibile, lasciando una serie di 15 milioni di foto di persone che mostrano la metà superiore del loro corpo, insieme alla loro posizione e la data.

Successivamente, hanno addestrato un algoritmo di apprendimento automatico per riconoscere vari tipi di abbigliamento e accessori nelle immagini. Ad esempio, l'algoritmo ha imparato a riconoscere se le persone indossavano una giacca, una sciarpa, una cravatta, occhiali, un cappello e così via. L'algoritmo potrebbe anche riconoscere colori, stili di scollatura e lunghezza delle maniche; categorie di abbigliamento come t-shirt, vestiti o canottiere; e modelli di abbigliamento, come tinta unita, a righe, a quadri e così via.

Infine, hanno lasciato che la macchina perdesse i 15 milioni di foto nel loro set di dati e quindi hanno utilizzato un altro algoritmo per cercare gruppi di immagini con temi visivi simili e tenere traccia di come queste variavano nel tempo e da un luogo all'altro.

I risultati costituiscono una lettura interessante. L'algoritmo di clustering ha trovato circa 400 diversi temi visivi, come persone che indossano magliette e occhiali bianchi, o che indossano top rossi con scollo a V o abiti neri, o che non indossano affatto top!

Matzen e compagni possono quindi studiare come questi temi visivi variano in base al tempo e al luogo. Hanno scoperto, ad esempio, che alcuni colori variano periodicamente, con il nero e il marrone più comuni in inverno e il bianco e il blu più comuni in estate.

Altri colori mostrano motivi diversi. Ad esempio, la popolarità del rosso sta diminuendo. E sebbene sia molto meno periodico del nero o del bianco, di tanto in tanto diventa improvvisamente popolare. Matzen e compagni indicano piccoli picchi di popolarità verso la fine di ottobre e dicembre: in altre parole, ad Halloween e a Natale. Ciò che si è distinto è stato un vasto assortimento di cappelli di Babbo Natale e un inaspettato assortimento di costumi rossi di Halloween con cappelli o cappucci rossi, dicono.

Hanno anche riscontrato un improvviso aumento della popolarità delle maglie gialle in Colombia e Brasile durante i Mondiali di calcio di giugno/luglio 2014: le squadre di calcio di entrambi i paesi indossano il giallo.

Hanno anche notato varie tendenze geografiche. I paesi più a nord tendono a presentare più giacche, dicono, presumibilmente perché fa più freddo.

Indossare il cappello è anche più popolare nei paesi più freddi. Ma curiosamente, l'Oman in Medio Oriente risulta essere una delle capitali mondiali del cappello. In particolare, il kuma e il massar sono popolari in Oman, poiché sono un elemento importante dell'abbigliamento nazionale maschile, affermano Matzen e co.

Alcuni vestiti sono unici in luoghi particolari: il gele, un copricapo nigeriano, è molto caratteristico di Lagos. E altri stili sono comuni in tutto il mondo e durante tutto l'anno, comprese camicie con colletto blu, camicie a quadri e magliette nere.

È un lavoro interessante che rivela il potenziale dell'apprendimento automatico per disfare il tessuto culturale della nostra società.

Naturalmente, questo approccio non è perfetto. L'algoritmo non ha imparato a distinguere tra occhiali da sole e occhiali da vista, che svolgono ruoli diversi nella società. È improbabile che le immagini siano rappresentative della società nel suo insieme, dal momento che gli utenti di Instagram sono fortemente orientati verso una fascia demografica più giovane. E la tecnica guarda solo alla parte superiore del corpo, poiché le gambe sono spesso ritagliate nelle immagini online.

Ma esiste un potenziale significativo per correggere queste carenze nel lavoro futuro e per andare oltre. Una sfida continua nella visione artificiale è capire se le persone sono in piedi o sedute o cosa stanno facendo in generale. Sarebbe anche possibile combinare questo set di dati con altri, come i dati meteorologici e di temperatura.

Come concludono Matzen e colleghi: la combinazione di big data, apprendimento automatico, visione artificiale e algoritmi di analisi automatizzata renderebbe uno strumento di analisi molto potente più in generale nella scoperta visiva della moda e in molte altre aree.'

Chiaramente, non dobbiamo aspettare gli antropologi del futuro.

Rif: arxiv.org/abs/1706.01869 :StreetStyle: esplorare gli stili di abbigliamento in tutto il mondo da milioni di foto

nascondere