211service.com
Oculus Rift Hack trasferisce le tue espressioni facciali sul tuo avatar
La realtà virtuale è destinata a ottenere un tocco vitale di realtà sociale.
Il software combina i dati dei sensori che tracciano le parti superiore e inferiore del viso e abbina il risultato a un modello 3-D di un viso.
I ricercatori della University of Southern California e della divisione Oculus di Facebook hanno dimostrato un modo per tracciare le espressioni facciali di qualcuno che indossa un visore per realtà virtuale e trasferirle a un personaggio virtuale. Ciò potrebbe rendere molto più gratificante socializzare, lavorare o giocare nei mondi virtuali, perché l'espressione di un doppio corpo virtuale o di un avatar ultraterreno potrebbe imitare perfettamente quella del vero volto di una persona.
Il sistema tiene traccia del movimento della bocca di una persona utilizzando una telecamera 3D collegata all'auricolare con un breve braccio. I movimenti della parte superiore del viso vengono misurati utilizzando estensimetri aggiunti all'imbottitura in schiuma che adatta l'auricolare al viso. Dopo che le due fonti di dati sono state combinate, è possibile utilizzare un'accurata rappresentazione 3D dei movimenti facciali dell'utente per animare un personaggio virtuale, che si tratti di una persona surrogata o di qualcosa di diverso dall'essere umano (guarda il video).
Ciò potrebbe rendere più avvincente abitare e interagire nei mondi virtuali, afferma Hao Li , un assistente professore presso la University of Southern California che ha guidato il progetto. Per ottenere un ambiente sociale virtuale, vuoi trasmettere questo comportamento ad altre persone, dice. Questo è il primo tracciamento facciale che è stato dimostrato attraverso un display montato sulla testa. Li è stato nominato uno di Revisione della tecnologia del MIT Giovani Innovatori nel 2013.
Il CEO di Facebook Mark Zuckerberg ha dichiarato di essere interessato al visore Oculus Rift che fornisce nuovi modi per socializzare, sebbene non abbia divulgato alcun dettaglio. Il social network ha acquisito Oculus l'anno scorso (vedi What Zuckerberg Sees in Oculus Rift ).
Li dice che i ricercatori di Oculus hanno lavorato con lui esclusivamente come esercizio di ricerca, ma che non sarebbe stato troppo difficile perfezionare il sistema che hanno inventato e renderlo un prodotto commerciale. Se le persone pensano che questo sia davvero fondamentale per importanti applicazioni killer, potresti metterlo in produzione in tempi relativamente brevi, dice.
È davvero fantastico, afferma Philip Rosedale, che in precedenza ha fondato Second Life e ora è CEO di una startup di mondi virtuali chiamata Alta fedeltà . L'azienda sta lavorando per consentire un'interazione sociale virtuale realistica utilizzando webcam e altre tecnologie di sensori per tenere traccia delle espressioni facciali e dei gesti delle braccia e delle mani (vedi The Quest to Put More Reality in Virtual Reality).
Ci sono buone prove che fare in modo che gli avatar delle persone mostrino il loro linguaggio del corpo del mondo reale li aiuta a connettersi con altre persone in un mondo virtuale, afferma Rosedale. È d'accordo con Li sul fatto che dovrebbe essere possibile semplificare il primo proof of concept. Ad esempio, la fotocamera potrebbe essere integrata nella parte inferiore dell'auricolare. Gli sforzi di ricercatori e startup per inserire telecamere per il rilevamento degli occhi all'interno di cuffie per realtà virtuale potrebbero offrire un modo alternativo per raccogliere dati sulla parte superiore del viso.
Il fulcro del sistema di Li è un software in grado di combinare i dati dei sensori che tracciano le parti superiore e inferiore del viso e abbinare il risultato su un modello 3-D di un viso.
Per ora, quel software richiede che tu esegua un breve processo di calibrazione la prima volta che usi il sistema. Per prima cosa dai ai muscoli del viso un allenamento di 10 secondi contorcendoli in alcune espressioni diverse mentre indossi un visore con la parte del display rimossa davanti a una fotocamera 3-D, in modo che possa avere una visione completa del viso. Quindi indossi l'auricolare completo e fai allenare il tuo viso per altri 10 secondi. I dati raccolti aiutano il software a capire come abbinare correttamente i flussi di dati dalla tua faccia superiore e inferiore.
Li dice che sta lavorando per eliminare questo passaggio alimentando il suo software con più dati su facce diverse. Sta anche lavorando su altre tecniche che potrebbero rendere più facile copiare il tuo vero io in un mondo virtuale. Sono già stati sviluppati molti strumenti per creare repliche 3D dei corpi e dei volti delle persone utilizzando fotocamere convenzionali e 3D. Li ha recentemente realizzato un sistema che affronta il compito più impegnativo di ricreare in 3D realistica l'acconciatura di una persona. Il suo software può farlo usando solo una sola foto . Quel progetto e la ricerca sul face-tracking saranno entrambi presentati al Conferenza di computer grafica Siggraph a Los Angeles questo agosto.