La fotocamera consente ai non vedenti di navigare con i gesti

Eelke Folmer e Vinitha Khambadkar pensano che le persone cieche potrebbero fare a meno dei loro bastoni bianchi e invece navigare con una telecamera al collo che fornisce una guida vocale in risposta ai gesti delle mani.





Folmer e Khambadkar, ricercatori dell'Università del Nevada, hanno presentato la tecnologia la scorsa settimana all'ACM Symposium on User Interface Software and Technology. Conosciuto come l'interfaccia gestuale per la percezione spaziale remota, che abbreviano come GIST , il sistema utilizza un sensore Microsoft Kinect per analizzare e identificare gli oggetti nel suo campo visivo. GIST ti consente di estrarre informazioni dal tuo ambiente, afferma Folmer.

La ricerca del Nevada si basa sulle idee del MIT Progetto Sesto Senso , uno sforzo di realtà aumentata in cui un dispositivo indossabile proietta informazioni sul mondo fisico e consente all'utente di interagire con esso agitando, indicando o facendo altri gesti della mano. Ma al contrario, il GIST raccoglie dati in risposta ai gesti delle mani come un modo per aumentare la percezione spaziale gravemente ridotta delle persone non vedenti.

Ad esempio, se qualcuno che indossa GIST fa un segno V con l'indice e il medio, il dispositivo identificherà il colore dominante nell'area incapsulata. Se l'utente tende un pugno chiuso, il sistema identificherà se una persona è in quella direzione e quanto è lontana. (Vedi il breve video dimostrativo dei ricercatori di seguito.)



I gesti non sono destinati ad essere l'unico mezzo di interazione con GIST, tuttavia, grazie alla capacità di Kinect di riconoscere oggetti, volti e parole. Come spiega Folmer: Dici al sensore qualcosa come 'Questa è la mia tazza'. Lo metti sul tavolo e dici: 'Ehi, dov'è la mia tazza?' Dirà che è proprio di fronte a te. Il prossimo trucco è capire come continuare a tracciare l'oggetto quando si sposta più lontano o dietro l'utente.

I ricercatori hanno anche in programma di vedere se il GIST potrebbe dirlo efficacemente a chi lo indossa chi si trova di fronte a loro, confrontando i volti delle persone che rileva con un piccolo database che l'utente potrebbe configurare con i comandi vocali. Se ciò non funziona, dice Folmer, i ricercatori potrebbero provare un sistema che identifica le persone in base alla forma del loro corpo.

GIST beneficerà presto del nuovo sensore Kinect 2.0, che migliora il tracciamento dell'originale e consente un riconoscimento preciso delle dita, al contrario delle semplici mani. L'avvertenza, tuttavia, è che il nuovo Kinect è più grande e ingombrante, il che lo rende poco adatto a un'usura prolungata intorno al collo.



Ma Folmer crede che sia solo una questione di tempo prima che ci siano sensori simili a Kinect abbastanza piccoli da poter essere inseriti negli smartphone: in effetti, il processo è già in corso (vedi Le fotocamere con rilevamento della profondità si spostano sui dispositivi mobili). E nel complesso, Folmer ritiene che man mano che i dispositivi informatici tradizionali diventano più piccoli, saranno molto utili per le persone con problemi di vista perché tali dispositivi si baseranno su interfacce, come la voce, che i non vedenti usano da decenni.

nascondere