Trascrivere la voce nella tua testa

Lorrie Lejeune / MIT





I ricercatori del MIT hanno sviluppato un'interfaccia per computer in grado di trascrivere le parole che l'utente verbalizza internamente ma in realtà non parla ad alta voce.

Gli elettrodi nel dispositivo indossabile raccolgono segnali neuromuscolari nella mascella e nel viso che vengono attivati ​​pronunciando parole nella tua testa ma non sono rilevabili dall'occhio umano. I segnali vengono inviati a un sistema di apprendimento automatico che è stato addestrato a correlare segnali particolari con parole particolari.

Il dispositivo, chiamato AlterEgo, include anche delle cuffie a conduzione ossea, che trasmettono le vibrazioni attraverso le ossa facciali all'orecchio interno. Poiché le cuffie non ostruiscono il condotto uditivo, il sistema può trasmettere informazioni senza interrompere la conversazione o interferire con l'esperienza uditiva.



AlterEgo fornisce un canale privato e discreto per trasmettere e ricevere informazioni, consentendo a chi lo indossa di fare cose come posare in modo invisibile e ricevere risposte a problemi di calcolo difficili o segnalare silenziosamente le mosse degli avversari in una partita a scacchi e ricevere altrettanto silenziosamente le risposte consigliate dal computer.

Fondamentalmente non possiamo vivere senza i nostri telefoni cellulari, afferma Pattie Maes, professoressa di arti e scienze dei media e relatore di tesi per Arnav Kapur, lo studente laureato di Media Lab che ha guidato lo sviluppo del sistema. Ma al momento, l'uso di questi dispositivi è molto dirompente. Se voglio cercare qualcosa di rilevante per una conversazione che sto avendo, devo trovare il mio telefono e digitare il passcode, aprire un'app e digitare una parola chiave di ricerca. L'obiettivo con AlterEgo era costruire un sistema di potenziamento dell'intelligenza non invasivo che sarebbe stato completamente controllato dall'utente.

L'idea che le verbalizzazioni interne abbiano correlati fisici esiste dal 19° secolo ed è stata seriamente studiata negli anni '50. Uno degli obiettivi del movimento di lettura veloce degli anni '60 era quello di eliminare questa subvocalizzazione, come è noto.



Ma la subvocalizzazione come interfaccia del computer è in gran parte inesplorata. Per determinare quali posizioni facciali forniscono i segnali neuromuscolari più affidabili, i ricercatori hanno attaccato 16 elettrodi ai volti dei soggetti della ricerca e hanno fatto loro subvocalizzare la stessa serie di parole quattro volte.

I ricercatori hanno scritto un codice per analizzare i dati risultanti e hanno scoperto che i segnali provenienti da sette posizioni degli elettrodi erano costantemente in grado di distinguere le parole subvocalizzate. In un documento che hanno presentato alla conferenza ACM Intelligent User Interface dell'Association for Computing Machinery, hanno descritto un prototipo di un'interfaccia indossabile per la voce silenziosa, che si avvolge intorno alla nuca come una cuffia telefonica e ha appendici curve simili a tentacoli che si toccano la faccia in sette punti su entrambi i lati della bocca e lungo le mascelle.

Ma negli esperimenti successivi, i ricercatori hanno ottenuto risultati comparabili utilizzando solo quattro elettrodi lungo una mascella, il che potrebbe creare un dispositivo meno invadente.



Dopo aver selezionato le posizioni degli elettrodi, i ricercatori hanno raccolto dati su alcune attività di calcolo con vocabolari di circa 20 parole ciascuno. Uno era l'aritmetica, in cui l'utente subvocalizzato grandi problemi di addizione o moltiplicazione; un'altra era l'applicazione degli scacchi, in cui l'utente riportava le mosse utilizzando il sistema di numerazione standard degli scacchi.

Quindi, per ogni applicazione, hanno utilizzato a rete neurale per trovare correlazioni tra particolari segnali neuromuscolari e particolari parole.

Utilizzando l'interfaccia prototipo, i ricercatori hanno condotto uno studio di usabilità in cui 10 soggetti hanno trascorso circa 15 minuti a personalizzare l'applicazione aritmetica per la propria neurofisiologia e altri 90 minuti a utilizzarla per eseguire calcoli. In quello studio, l'accuratezza della trascrizione era in media di circa il 92%. Ma, afferma Kapur, le prestazioni dovrebbero migliorare con più dati di allenamento, che potrebbero essere raccolti durante l'uso ordinario.



Nel lavoro in corso, i ricercatori stanno raccogliendo dati su conversazioni più elaborate, nella speranza di creare applicazioni con vocabolari molto più ampi. Dice Kapur, penso che un giorno otterremo una conversazione completa.

nascondere