Trasformare una normale fotocamera per smartphone in una 3-D

Oggigiorno quasi tutti portano una fotocamera in virtù del possesso di un telefono cellulare, ma pochi di questi dispositivi catturano i contorni tridimensionali degli oggetti come una fotocamera di profondità.

Sulla fotocamera: Con alcune modifiche hardware, come un anello di LED nel vicino infrarosso, una Microsoft LifeCam è adattata per funzionare come una telecamera di profondità.

Le fotocamere di profondità stanno rapidamente guadagnando importanza per il loro potenziale nei dispositivi tascabili, in cui l'idea è che se i nostri telefoni catturano i contorni di qualsiasi cosa, dagli angoli delle strade alla disposizione del tuo soggiorno, gli sviluppatori possono creare applicazioni che vanno da migliori giochi interattivi a utili guide per non vedenti.

Eppure, mentre sforzi come quelli di Google Progetto Tango stanno aggiungendo telecamere di profondità ai gadget mobili, nuova ricerca di Microsoft mostra che con alcune semplici modifiche e tecniche di apprendimento automatico una normale fotocamera per smartphone o webcam può essere utilizzata come fotocamera di profondità 3D. L'idea è di rendere più facile l'accesso allo sviluppo di applicazioni 3D riducendo i costi e le barriere tecniche all'ingresso di tali dispositivi, e di rendere le stesse telecamere di profondità 3D molto più piccole e meno affamate di energia.

Mani in alto: I ricercatori di Microsoft hanno modificato la fotocamera di uno smartphone in modo che possa catturare la profondità delle mani e dei volti.

Un gruppo guidato da Sean Ryan Fanello, Cem Keskin e Shahram Izadi di Microsoft Research presenterà un carta sul lavoro Martedì al Siggraph, una conferenza di computer grafica e interazione a Vancouver, British Columbia.

Per modificare le telecamere, il gruppo ha rimosso il filtro nel vicino infrarosso, spesso utilizzato nelle fotocamere di tutti i giorni per bloccare i segnali luminosi normalmente indesiderati nelle immagini. Quindi hanno aggiunto un filtro che permetteva solo il passaggio della luce infrarossa, insieme a un anello di diversi LED a basso infrarosso vicino. In questo modo, hanno essenzialmente fatto in modo che ogni telecamera agisse come una telecamera a infrarossi.

A proposito di viso: Con alcune modifiche, i ricercatori di Microsoft possono utilizzare normali fotocamere per mappare la profondità delle mani e dei volti.

Abbiamo in qualche modo capovolto la telecamera, osserva Izadi.

Il team di Microsoft afferma di voler utilizzare l'intensità riflettente della luce infrarossa come qualcosa di simile a un incrocio tra un segnale sonar e una torcia in una stanza buia. La luce rimbalzerebbe sull'oggetto vicino e ritornerebbe al sensore con un'intensità corrispondente. Gli oggetti sono luminosi quando sono vicini e si attenuano quando sono lontani, per noi intuitivi quando si tratta di luce visibile. Ma il gruppo aveva bisogno di addestrare le macchine (in questo caso uno smartphone Samsung Galaxy Nexus e una videocamera Web Microsoft LifeCam) su quella relazione, in modo che la videocamera potesse determinare se stesse vedendo, ad esempio, una mano grande in lontananza o una piccola mano da vicino.

Per questo progetto, i ricercatori hanno deciso di concentrarsi su una sola sfida: modellare mani e volti umani, non tutti i tipi di oggetti e ambienti. Dopo aver creato una serie di dati di allenamento, che includevano immagini di mani, il gruppo ha scoperto che poteva misurare i movimenti di una persona a una velocità di 220 fotogrammi al secondo. In un dimostrazione il gruppo ha mostrato come tale tracciamento potrebbe essere utilizzato per navigare su una mappa, ad esempio facendo movimenti di presa o allargando le mani, o per giocare a un semplice gioco, ad esempio affettando virtualmente una banana volante in aria.

Mano di addestramento: Una mano catturata da una fotocamera modificata che funziona come una fotocamera di profondità (a sinistra) viene utilizzata dall'algoritmo di apprendimento automatico dei ricercatori Microsoft per produrre una stima della sua profondità (a destra).

Mentre i dati dell'allenamento si concentravano su volti e mani, il gruppo non stava effettivamente addestrando le macchine a riconoscere le mani o i volti, come pensiamo a loro, ma solo le proprietà del riflesso della pelle. L'enorme quantità di dati di addestramento consente alla macchina di creare associazioni sufficienti con i punti dati nelle immagini da poter quindi utilizzare proprietà aggiuntive dell'immagine per stimare la profondità. Microsoft ha scelto la skin poiché ha così tante implicazioni per la navigazione in ambienti Xbox e Windows, ma Kohli sottolinea che le tecniche di machine learning potrebbero essere trasferite ovunque.

L'unica limitazione è il tipo di dati di allenamento che gli fornisci, dice. L'approccio in sé può essere adattato per funzionare su qualsiasi altro scenario.

nascondere