La Deep Learning Machine di Google impara a sintetizzare le immagini del mondo reale

Google Street View offre viste panoramiche di quasi tutte le strade della città in gran parte del mondo sviluppato, nonché viste lungo innumerevoli sentieri, all'interno di centri commerciali e intorno a musei e gallerie d'arte. È un'impresa straordinaria dell'ingegneria moderna che sta cambiando il modo in cui pensiamo al mondo che ci circonda.

Ma mentre Street View può mostrarci che aspetto hanno i luoghi lontani, non mostra come sarebbe il processo di viaggio o esplorazione. È facile trovare una soluzione: riproduci semplicemente una sequenza di immagini di Street View una dopo l'altra per creare un filmato.

Ma non funziona bene come potresti immaginare. L'esecuzione di queste immagini a 25 fotogrammi al secondo o giù di lì rende lo scenario incredibilmente veloce. Ciò può essere accettabile quando lo scenario non cambia, magari lungo autostrade e autostrade o attraverso paesaggi immutabili. Ma è del tutto inaccettabile per le viste su strade trafficate o all'interno di una galleria d'arte.

Quindi Google ha escogitato una soluzione: aggiungere ulteriori frame tra quelli registrati dalle telecamere di Street View. Ma come dovrebbero essere queste cornici?

Oggi, John Flynn e i suoi amici di Google rivelano come hanno utilizzato il vasto know-how di apprendimento automatico dell'azienda per capire come dovrebbero essere questi frame mancanti, studiando semplicemente i frame su entrambi i lati. Il risultato è una macchina cinematografica computazionale in grado di trasformare più o meno qualsiasi sequenza di immagini in una pellicola scorrevole interpolando i fotogrammi mancanti.

La sfida che Flynn e i suoi compagni si sono posti è semplice. Data una serie di immagini di un luogo particolare, l'obiettivo è sintetizzare una nuova immagine della stessa area da una diversa angolazione di vista.

Non è facile. Una soluzione esatta richiederebbe una conoscenza 3D completa di tutta la geometria visibile nella vista invisibile che in generale non è disponibile a causa degli occlusori, affermano Flynn e co.

In effetti, è un problema su cui gli informatici si stanno grattando la testa per decenni ed è strettamente correlato al problema della stima della forma 3-D di una scena data due o più immagini di essa.

Gli informatici hanno sviluppato vari modi per risolvere questo problema, ma tutti soffrono di problemi simili, in particolare quando mancano informazioni a causa di un oggetto che ne occlude un altro. Questo porta al tearing, dove non ci sono abbastanza informazioni, e alla scomparsa dei minimi dettagli. Una sfida particolare sono gli oggetti che contengono dettagli fini e che si auto-occludono, come gli alberi.

Il nuovo approccio di Flynn e co è quello di addestrare un algoritmo di visione artificiale per capire come dovrebbe apparire la nuova immagine dopo essere stata addestrata su un vasto set di dati di immagini sequenziali.

Il compito del computer è di trattare ogni immagine come un insieme di pixel e di determinare la profondità e il colore di ogni pixel data la profondità e il colore dei pixel corrispondenti nelle immagini che appariranno prima e dopo di essa nel filmato.

Hanno addestrato il loro algoritmo, chiamato DeepStereo, utilizzando immagini di scene di strada catturate da un veicolo in movimento. In effetti, usano 100.000 di queste sequenze come set di dati di addestramento.

Lo hanno quindi testato rimuovendo un fotogramma da una sequenza di immagini di Street View e chiedendogli di riprodurlo guardando solo le altre immagini nella sequenza. Infine, confrontano l'immagine sintetizzata con quella rimossa, dando loro una sorta di gold standard con cui contrastarla.

I risultati sono impressionanti. Nel complesso, il nostro modello produce risultati plausibili difficili da distinguere immediatamente dalle immagini originali, affermano Flynn e co.

Riproduce con successo soggetti difficili come alberi ed erba. E quando fallisce, come con i riflessi speculari, lo fa con grazia piuttosto che strappando.

In particolare, gestisce bene gli oggetti in movimento. Appaiono sfocati in un modo che evoca il motion blur, dicono.

Il metodo non è perfetto, tuttavia. Gli artefatti evidenti nei nostri risultati includono una leggera perdita di risoluzione e la scomparsa di sottili strutture in primo piano, afferma il team di Google. E i soggetti parzialmente occlusi tendono a essere eccessivamente sfocati nell'output.

È anche ad alta intensità di calcolo. Flynn e colleghi affermano che occorrono 12 minuti su una workstation multicore per produrre una singola immagine appena sintetizzata. Quindi queste immagini non possono essere prodotte al volo. Tuttavia, il team prevede di migliorare questo aspetto in futuro ottimizzando il processo di generazione delle immagini.

È un lavoro impressionante che mostra ancora una volta il potenziale delle tecniche di deep learning. La squadra mostra i propri risultati nel video pubblicato qui , che mostra i film realizzati con i dati di Street View.

Ma dovrebbe avere anche altre applicazioni nella generazione di contenuti per teleconferenze, realtà virtuale e cinematografia. Potrebbe persino ridurre il carico di lavoro per gli animatori di frame di arresto.

Ad ogni modo, aspettati di vedere i film di viaggio di Google Street View inondare il Web in un futuro non troppo lontano.

Rif: arxiv.org/abs/1506.06825 : DeepStereo: imparare a prevedere nuovi punti di vista dalle immagini del mondo

nascondere