211service.com
Come i braccialetti possono tradurre la lingua dei segni
Un paio di mio bracciali a controllo gestuale e un computer o uno smartphone possono rendere più veloce e più facile per i non udenti comunicare usando il linguaggio dei segni con coloro che non lo capiscono.
Questo è ciò che i ricercatori dell'Arizona State University dicono di poter fare con un progetto chiamato Scettro . Usano le fasce da braccio per insegnare al software una serie di gesti della lingua dei segni americana; quindi, quando una persona che indossa le fasce fa uno di questi segni, può essere abbinato alla parola o frase corrispondente nel database di Sceptre e viene visualizzato come testo su uno schermo.
La speranza è di facilitare la comunicazione in particolare in situazioni di emergenza, come in uno studio medico o in un ospedale, senza fare affidamento sulla comunicazione scritta o, come ha fatto qualche altra ricerca sul riconoscimento della lingua dei segni, utilizzando le telecamere per riconoscere i gesti nella lingua dei segni. UN carta sul lavoro sarà presentato in una conferenza sulle interfacce utente intelligenti a marzo.
I ricercatori si sono affidati ai bracciali Myo per far funzionare Sceptre perché includono sia un'unità di misurazione inerziale per il tracciamento del movimento che sensori elettromiografici per il rilevamento muscolare, che possono essere utilizzati per aiutare a determinare le configurazioni delle dita. Hanno addestrato il software a riconoscere una varietà di gesti ASL, così come i segni per le singole lettere e i numeri da uno a 10, tutti eseguiti da qualcuno che indossa i braccialetti Myo.
Sceptre, un progetto di ricerca che traduce la lingua dei segni in testo utilizzando i bracciali Myo, potrebbe essere fatto funzionare con un computer o uno smartphone.
Dopo che gli utenti hanno addestrato il loro software su 20 diversi gesti ASL come pizza, happy e orange ripetendoli ciascuno tre volte, i ricercatori hanno scoperto che Sceptre è stato quindi in grado di decifrare correttamente il segno quasi il 98% delle volte.
In un video a dimostrare come funziona, Prajwal Paudyal, uno studente laureato presso l'Arizona State University che è coautore del documento , indossa i braccialetti e firma diverse cose che vengono poi illustrate sul display di un computer, come tutta la mattina, mal di testa e non riesce a dormire.
Sebbene i segni fossero mostrati come testo nello studio, potevano anche essere pronunciati ad alta voce da un'app per facilitare una conversazione, dice Paudyal . E mentre la demo dei ricercatori ha mostrato il testo sul display di un computer, a cui i braccialetti Myo si sono collegati tramite Bluetooth, Sceptre potrebbe essere utilizzato anche solo con uno smartphone, qualcosa su cui stanno lavorando anche i ricercatori (Myo supporta lo streaming di dati da due braccialetti a uno smartphone, ma i ricercatori affermano che ciò non era possibile quando hanno condotto il loro lavoro iniziale).
Idealmente, la persona può usarlo ovunque vada, dice Paudyal.
Sceptre, un progetto di ricerca dell'Arizona State University, utilizza due bracciali Myo per tradurre la lingua dei segni in testo.
Roozbeh Jafari , un professore associato presso il Center for Remote Healthcare Technologies and Systems del Texas A&M, ha svolto un lavoro simile, sebbene abbia comportato la costruzione dei sensori piuttosto che l'utilizzo di dispositivi standard come ha fatto il gruppo ASU.
Dice che ci sono una serie di problemi che dovrebbero essere risolti per far funzionare qualcosa come Sceptre per i consumatori. In genere, quando si posizionano i sensori elettromiografici sul corpo, il sistema che li utilizza deve essere calibrato a meno che non si trovino esattamente nella stessa posizione in cui si trovavano in precedenza, dice. C'è anche la necessità di tenere conto delle variazioni che si verificano naturalmente nel modo in cui le persone firmano le stesse cose. Nonostante questi ostacoli, dice, penso che ci stiamo muovendo nella giusta direzione.