È questa la prima immaginazione computazionale?

Immagina una quercia in un campo di grano, che si staglia contro un cielo azzurro senza nuvole in un sognante pomeriggio soleggiato. È probabile che la maggior parte delle persone che leggono questa frase possano facilmente immaginare una scena bucolica nella loro mente. Questa capacità di leggere una descrizione di una scena e poi immaginarla è sempre stata unicamente umana. Ma questa preziosa abilità potrebbe non essere più solo nostra.

Chiunque pensi che questo tipo di immaginazione sia ben al di là delle capacità delle macchine informatiche di oggi sarà sorpreso dal lavoro di Hiroharu Kato e Tatsuya Harada presso l'Università di Tokyo in Giappone.

Oggi questi ragazzi svelano una macchina in grado di tradurre una descrizione di un oggetto in un'immagine. In altre parole, il loro computer può evocare l'immagine di un oggetto esterno non altrimenti presente. Questa è una definizione abbastanza buona di immaginazione, in questo caso della varietà computazionale.

Di sicuro, queste immaginazioni al computer sono semplici, a volte confuse e spesso senza senso. Ma il fatto che siano possibili rappresenta un significativo passo avanti per la creatività computazionale.

Gli informatici hanno lottato a lungo per gestire le immagini con la facilità e la potenza che gestiscono con le parole. È semplice, ad esempio, inserire una parola o una sequenza di parole in un motore di ricerca e trovare corrispondenze altamente pertinenti.

Ciò non è dovuto a una speciale capacità di calcolo per comprendere le parole. Si ottiene semplicemente trattando le parole statisticamente, come se le contassero fuori dalla borsa. In effetti, le tecniche del sacco di parole come questa sono diventate estremamente potenti. Al contrario, non esiste una capacità equivalente per le immagini.

Così, alcuni anni fa, gli informatici hanno iniziato a trattare le immagini allo stesso modo. Hanno iniziato pensando a un'immagine come a una serie di pixel che dividono in brevi sequenze che corrispondono a una parte specifica di un'immagine. Ad esempio, una breve sequenza potrebbe corrispondere al bordo di una tazza oa un'area della pelle oa una parte del cielo e così via.

Queste brevi sequenze significano poco per gli esseri umani, ma per un computer possono essere trattate come parole. Quindi un computer potrebbe analizzare un'immagine contando il numero di sequenze e la frequenza con cui si verificano, proprio come potrebbe trattare un documento contando la frequenza con cui compaiono le parole. Un'immagine del cielo avrebbe molte sequenze che corrispondono a parti del cielo. E l'immagine di una tazza da tè avrebbe molte sequenze che corrispondono al bordo di una tazza e così via.

Ciò consente immediatamente di confrontare le immagini. Un computer può cercare in un database di immagini analizzate in questo modo cercando modelli simili di sequenze in altre immagini. L'idea è che due immagini con distribuzioni simili di sequenze dovrebbero apparire simili e i ricercatori hanno effettivamente avuto un certo successo con questa tecnica per trovare corrispondenze.

Per analogia con il testo, gli informatici chiamano queste sequenze parole visive. E questo nuovo approccio all'analisi delle immagini è noto come la tecnica del sacco di parole visive. Analizza un'immagine contando la distribuzione statistica delle parole visive che contiene.

La domanda che Kato e Harada pongono è l'opposto di questa. Data una distribuzione di parole visive, qual era l'immagine originale? Questo è un problema molto più difficile perché, sebbene una parola visiva descriva parte di un'immagine, non spiega da dove provenga nell'immagine o a quali altre parole visive fosse vicina.

Questo problema è simile alla risoluzione di un puzzle, dicono. Le parole visive sono i pezzi e il problema è decidere come incastrarli tutti insieme per creare un'immagine.

Kato e Harada affrontano questo problema in due modi diversi. Il primo è valutare come le singole parole visive si incastrano senza problemi accanto ad altre parole visive. Ad esempio, tutte le parole visive che descrivono il bordo di una tazza possono essere montate insieme per mostrare il bordo continuo.

Questo non è semplice perché le parole visive non hanno una forma apparente e quindi non si incastrano come i pezzi di un puzzle. Invece, Kato e Harada misurano la relazione tra parole visive in un ampio database di immagini contando tutte le coppie che si verificano una accanto all'altra. Ciò produce la probabilità che una coppia di parole visive debba essere una accanto all'altra

Il secondo metodo consiste nel valutare la probabilità che una determinata parola visiva appaia in una determinata parte dell'immagine. Ad esempio, è più probabile che una parola visiva che mostra un'area del cielo si trovi nella parte superiore di un'immagine.

Poiché le parole visive stesse non contengono questa informazione, Kato e Harada la misurano di nuovo in un ampio database di immagini. Si presume che ogni parola visiva abbia una preferenza sulla posizione assoluta in cui essere collocata, dicono. Questa preferenza è il valore misurato preso dall'intero database.

Naturalmente, questi calcoli sono computazionalmente costosi, a seconda delle dimensioni del database e delle dimensioni delle parole visive.

Tuttavia, Kato e Harada hanno dimostrato un notevole successo con il loro approccio. Creano un database di 101 immagini ciascuna che mostra un diverso tipo di oggetti. Ridimensionano ciascuna immagine a 128 x 128 pixel e presuppongono che ogni immagine sia composta da parole visive di dimensioni 13 x 13 pixel e che tre quarti di ciascuna parola visiva si sovrappongano alla parola visiva successiva.

Dopo aver creato il database che mostra la distribuzione statistica delle parole visive, usano queste informazioni per tentare di ricostruire un'immagine usando solo le parole visive che la appaiono.

I risultati sono generalmente impressionanti. Mentre alcune delle immagini generate non hanno senso, altre ricreano con successo un'ampia gamma di immagini, ad esempio, di un ombrello, una chiave inglese, una canna, un pesce e persino un viso (vedi le immagini e le loro ricostruzioni sopra).

È impressionante e porta a una serie di applicazioni interessanti. Kato e Harada lo usano per trasformare un'immagine in un'altra, per esempio. Prendono la borsa di parole visive che rappresenta due immagini e quindi generano borse intermedie di parole visive per creare le immagini intermedie nella sequenza di morphing.

Più interessante è il loro lavoro sulla visione artificiale. Gli informatici hanno recentemente sviluppato potenti algoritmi di riconoscimento degli oggetti automatizzati che identificano oggetti specifici.

Questi algoritmi sono noti come classificatori. Funzionano con un'elevata precisione, ma a volte possono essere ingannati da oggetti che sembrano semplici da identificare all'occhio umano. Quindi esattamente quello che cercano non è sempre chiaro.

Il lavoro di Kato e Harada cambia questo. Hanno usato il loro approccio con le parole visive per visualizzare questi classificatori di oggetti. Questo rivela differenze tra la visione umana e la visione artificiale, dicono.

Lo fanno usando i classificatori per studiare 10.000 immagini scelte casualmente e semplicemente contare le parole visive che attivano ogni classificatore più spesso. Quindi assemblano queste parole visive in un'immagine usando la loro tecnica di parole visive.

E i risultati sono affascinanti. Alcuni dei classificatori visualizzati sono notevolmente simili agli oggetti stessi, almeno per quanto riguarda il riconoscimento umano. Altri sono stranamente deformati, come opere d'arte moderna. E altri mostrano come elementi aggiuntivi possano essere importanti, ad esempio, come l'orizzonte sia importante per identificare gli alberi.

Infine, Kato e Harada usano il loro approccio per generare immagini da frasi ordinarie. Lo fanno convertendo ogni parola nella frase in un sacchetto di parole visive e quindi convertendolo in un'immagine.

Convertire parole ordinarie in un sacco di parole visive è un compito difficile. I ricercatori lo fanno cercando in un set di dati di immagini con didascalie. Ogni volta che una parola appare in una didascalia, aggiungono le parole visive nell'immagine a una borsa. Questo crea una grande borsa di parole visive da cui è possibile generare un'immagine.

I risultati sono affascinanti. Diverse frasi sono tradotte in immagini completamente senza senso, ammettono Kato e Harada. Ciò è probabilmente dovuto al fatto che il metodo per convertire una parola in un insieme di parole visive è troppo semplice. Ma altre frasi producono immagini oniriche che sono vagamente collegate con l'idea originale (vedi immagini sotto).

Kato e Harada affermano che questo è un inizio promettente e apre la strada a una nuova generazione di sistemi di creazione di immagini.

È un lavoro davvero affascinante che rappresenta un significativo passo avanti nella creatività computazionale. Chiedi a Google di definire l'immaginazione e dice questo: la facoltà o l'azione di formare nuove idee, o immagini o concetti di oggetti esterni non presenti ai sensi . Quindi non è affatto esagerato dire che Kato e Harada hanno creato la prima immaginazione computazionale al mondo.

Rif: http://arxiv.org/abs/1505.05190 : Ricostruzione dell'immagine da Bag-of-Visual-Words

nascondere