Traduttore di lingua dei segni

I dizionari bilingue sono di solito una strada a doppio senso: puoi cercare una parola in inglese e trovare, ad esempio, il suo equivalente spagnolo, ma puoi anche fare il contrario. I dizionari della lingua dei segni, tuttavia, traducono solo dalle parole scritte ai gesti. Questo può essere estremamente frustrante, in particolare per i genitori di bambini sordi che vogliono capire gesti non familiari o per le persone sorde che vogliono interagire online usando la loro lingua principale. Così i ricercatori della Boston University (BU) stanno sviluppando un dizionario ricercabile per la lingua dei segni , in cui qualsiasi utente può inserire un gesto nel motore di ricerca di un dizionario dal proprio laptop firmando davanti a una fotocamera integrata.

Ricerca per segno: I ricercatori di Boston stanno progettando il primo dizionario della lingua dei segni ricercabile con i gesti. Un firmatario (nella foto) siede in uno studio dotato di telecamere ad alta velocità che catturano i movimenti delle mani e le espressioni facciali. I video su un laptop la spingono a fare segni particolari. Il video del firmatario verrà utilizzato per addestrare gli algoritmi per identificare i modelli gestuali.

Potresti avere una raccolta di lingua dei segni su YouTube e ora per cercare devi cercare in inglese, dice Stan Sclaroff , professore di informatica alla BU. È l'equivalente, dice Sclaroff, di cercare il testo spagnolo usando le traduzioni inglesi. È innaturale, dice, e non è giusto.

Sclaroff sta sviluppando il dizionario in collaborazione con Carol Neidle , professore di linguistica alla BU, e Vassilis Athitsos, assistente professore di informatica e ingegneria all'Università del Texas ad Arlington. Una volta che l'utente esegue un gesto, il dizionario lo analizzerà e estrarrà le prime cinque possibili corrispondenze e significati.

Il riconoscimento del linguaggio dei segni di oggi è [at] circa la fase in cui il riconoscimento vocale era 20 anni fa, afferma Thad Starner , capo del gruppo di calcolo contestuale presso il Georgia Institute of Technology. Il gruppo di Starner si è sviluppato software di riconoscimento del linguaggio dei segni per bambini , utilizzando guanti carichi di sensori per monitorare i movimenti delle mani. Lui ei suoi studenti hanno progettato giochi educativi in ​​cui i bambini con problemi di udito, indossando i guanti, imparano la lingua dei segni. Un computer valuta la forma della mano e passa all'esercizio successivo se un bambino ha firmato correttamente.

A differenza del lavoro di Starner, l'obiettivo di Sclaroff e Neidle è un sistema senza sensori in cui chiunque disponga di una fotocamera e di una connessione Internet possa apprendere la lingua dei segni e interagire. L'approccio, secondo Starner, è unico nel campo del riconoscimento del linguaggio dei segni, così come nel campo della visione artificiale.

Ciò richiede molta potenza di elaborazione e provare a gestire il linguaggio dei segni in diverse qualità video è molto difficile, afferma Starner. Quindi, se hanno successo, sarebbe molto bello poter effettivamente cercare nel Web nella lingua dei segni.

Per affrontare questa difficile sfida, il team della BU chiede a più firmatari di sedersi in uno studio, uno alla volta, e firmare attraverso 3.000 gesti in un classico dizionario della lingua dei segni americana (ASL). Mentre firmano, quattro fotocamere ad alta velocità e di alta qualità riprendono contemporaneamente le viste frontali e laterali, nonché le espressioni facciali. Secondo Neidle, sorrisi, cipiglio e sopracciglia alzate sono una parte in gran parte sottovalutata dell'ASL che potrebbe offrire forti indizi sul significato di un gesto.

Quando arrivano i dati visivi, Neidle e i suoi studenti li analizzano, segnando l'inizio e la fine di ogni segno e identificando i sottogesti chiave, unità equivalenti ai fonemi inglesi. Nel frattempo, Sclaroff sta usando queste informazioni per sviluppare algoritmi che possono, ad esempio, distinguere le mani del firmatario dallo sfondo, o riconoscere la posizione della mano, la forma e i modelli di movimento. Dato che ogni individuo potrebbe firmare una parola in un modo leggermente diverso, il team sta analizzando i gesti dei firmatari nativi e non nativi, sperando di sviluppare un riconoscitore del computer in grado di gestire tali variazioni.

La sfida principale in futuro potrebbe essere tenere conto dei numerosi fattori incontrollabili dal lato dell'interfaccia dell'utente, afferma Sclaroff. Ad esempio, chi utilizza un gesto per inserire una query di ricerca in un laptop avrà una fotocamera di qualità inferiore. Lo sfondo potrebbe essere più disordinato rispetto all'ambiente di studio attentamente controllato nei campioni del database e il computer dovrà adattarsi a variabili come l'abbigliamento e il tono della pelle.

Solo per produrre il segno e cercarlo, questa è la vera novità che stiamo cercando di realizzare, dice Neidle. Sarebbe un miglioramento rispetto a tutto ciò che esiste ora.

nascondere