Google svela la rete neurale con capacità sovrumana di determinare la posizione di quasi tutte le immagini

Ecco un compito difficile. Scegli una fotografia dal Web a caso. Ora prova a capire dove è stata scattata usando solo l'immagine stessa. Se l'immagine mostra un edificio o un punto di riferimento famoso, come la Torre Eiffel o le Cascate del Niagara, il compito è semplice. Ma il lavoro diventa significativamente più difficile quando l'immagine manca di indicazioni di posizione specifiche o viene scattata all'interno o mostra un animale domestico o cibo o qualche altro dettaglio.

Tuttavia, gli esseri umani sono sorprendentemente bravi in ​​questo compito. Per aiutare, portano ogni tipo di conoscenza sul mondo come il tipo e il linguaggio dei segni esposti, i tipi di vegetazione, gli stili architettonici, la direzione del traffico e così via. Gli esseri umani trascorrono una vita a raccogliere questo tipo di segnali di geolocalizzazione.

Quindi è facile pensare che le macchine avrebbero difficoltà con questo compito. E infatti, lo hanno.

Oggi, le cose cambiano grazie al lavoro di Tobias Weyand, uno specialista di visione artificiale di Google, e un paio di amici. Questi ragazzi hanno addestrato una macchina di deep learning per calcolare la posizione di quasi tutte le foto usando solo i pixel che contiene.

La loro nuova macchina supera significativamente le prestazioni degli esseri umani e può persino utilizzare un trucco intelligente per determinare la posizione di immagini di interni e immagini di cose specifiche come animali domestici, cibo e così via che non hanno indicazioni di posizione.

Il loro approccio è semplice, almeno nel mondo dell'apprendimento automatico. Weyand e co iniziano dividendo il mondo in una griglia composta da oltre 26.000 quadrati di dimensioni variabili che dipendono dal numero di immagini scattate in quella posizione.

Quindi le grandi città, che sono oggetto di molte immagini, hanno una struttura a griglia più fine rispetto alle regioni più remote dove le fotografie sono meno comuni. In effetti, il team di Google ha ignorato aree come gli oceani e le regioni polari, dove sono state scattate poche fotografie.

Successivamente, il team ha creato un database di immagini geolocalizzate dal Web e ha utilizzato i dati sulla posizione per determinare il quadrato della griglia in cui è stata scattata ciascuna immagine. Questo set di dati è enorme, composto da 126 milioni di immagini insieme ai relativi dati sulla posizione Exif.

Weyand e colleghi hanno utilizzato 91 milioni di queste immagini per insegnare a una potente rete neurale a calcolare la posizione della griglia utilizzando solo l'immagine stessa. La loro idea è inserire un'immagine in questa rete neurale e ottenere come output una particolare posizione della griglia o un insieme di probabili candidati.

Hanno quindi convalidato la rete neurale utilizzando i restanti 34 milioni di immagini nel set di dati. Alla fine hanno testato la rete, che chiamano PlaNet, in diversi modi per vedere come funziona.

I risultati costituiscono una lettura interessante. Per misurare la precisione della loro macchina, le hanno fornito 2,3 milioni di immagini geotaggate da Flickr per vedere se poteva determinare correttamente la loro posizione. PlaNet è in grado di localizzare il 3,6% delle immagini con una precisione a livello di strada e il 10,1% con una precisione a livello di città, affermano Weyand e co. Inoltre, la macchina determina il paese di origine in un ulteriore 28,4% delle foto e il continente nel 48,0% di esse.

È piuttosto buono. Ma per mostrare quanto sia bravo, Weyand e compagni hanno messo alla prova PlaNet in un test contro 10 umani ben viaggiati. Per il test, hanno utilizzato un gioco online che presenta a un giocatore una vista casuale presa da Google Street View e gli chiede di individuarne la posizione su una mappa del mondo.

Chiunque può giocare a www.geoguessr.com . Provalo: è molto divertente e più complicato di quanto sembri.

Inutile dire che PlaNet ha sconfitto gli umani. In totale, PlaNet ha vinto 28 dei 50 round con un errore di localizzazione mediano di 1131,7 km, mentre l'errore medio di localizzazione umana era di 2320,75 km, affermano Weyand e co. [Questo] esperimento su piccola scala mostra che PlaNet raggiunge prestazioni sovrumane nel compito di geolocalizzare le scene di Street View.

Una domanda interessante è come PlaNet funzioni così bene senza essere in grado di utilizzare gli spunti su cui gli esseri umani fanno affidamento, come la vegetazione, lo stile architettonico e così via. Ma Weyand e compagni dicono di sapere perché: 'Pensiamo che PlaNet abbia un vantaggio sugli umani perché ha visto molti più luoghi di quanti qualsiasi essere umano possa mai visitare e ha appreso sottili spunti di scene diverse che sono persino difficili da vedere per un essere umano ben viaggiato distinguere.

Vanno oltre e utilizzano la macchina per individuare le immagini che non hanno indicazioni di posizione, come quelle scattate in interni o di oggetti specifici. Ciò è possibile quando le immagini fanno parte di album che sono state scattate tutte nello stesso posto. La macchina guarda semplicemente attraverso altre immagini nell'album per capire dove sono state scattate e presume che l'immagine più specifica sia stata scattata nello stesso posto.

È un lavoro impressionante che mostra reti neurali profonde che flettono ancora una volta i muscoli. Forse ancora più impressionante è che il modello utilizza una quantità relativamente piccola di memoria a differenza di altri approcci che utilizzano gigabyte di roba. Il nostro modello utilizza solo 377 MB, che si adattano anche alla memoria di uno smartphone, affermano Weyand e co.

È un'idea allettante: il potere di una rete neurale sovrumana su uno smartphone. Sicuramente non ci vorrà molto ora!

Rif: arxiv.org/abs/1602.05314 : PlanNet: geolocalizzazione fotografica con reti neurali convoluzionali

nascondere