Le sfide e le minacce della lettura labiale automatizzata

Nel XVI secolo, un monaco benedettino spagnolo di nome Pietro Ponce ha aperto la strada all'arte apparentemente magica della lettura labiale. Anche se la tecnica probabilmente lo precede, Ponce è stato il primo insegnante di lettura labiale di successo.

Allora, come oggi, la tecnica veniva utilizzata principalmente per aiutare le persone con difficoltà di udito a interpretare il parlato. Ma viene utilizzato anche da altri per intercettare le conversazioni. In effetti, vari esperimenti mostrano che la nostra capacità di interpretare il parlato migliora quando possiamo vedere le labbra in movimento di chi parla. In altre parole, quasi tutti usano la lettura labiale in una certa misura.

Ciò solleva una domanda interessante. Il processo di lettura labiale può essere automatizzato ed eseguito da computer? E se sì, quanto può essere efficace questo approccio e che tipo di minaccia rappresenta per la privacy?

Oggi riceviamo alcune risposte grazie al lavoro di Ahmad Hassanat all'Università di Mu'tah in Giordania. Delinea le sfide che i ricercatori devono affrontare nel campo della lettura labiale automatizzata, altrimenti nota come riconoscimento vocale visivo. Ciò che risulta chiaro dalla sua analisi è che, se la lettura labiale deve essere automatizzata con successo, devono ancora essere superate sfide significative.

Il processo fondamentale della lettura labiale è riconoscere una sequenza di forme formate dalla bocca e quindi abbinarla a una parola o sequenza di parole specifica.

C'è una sfida significativa qui. Durante il discorso, la bocca forma da 10 a 14 forme diverse, note come visemi. Al contrario, il parlato contiene circa 50 suoni individuali noti come fonemi. Quindi un singolo visema può rappresentare diversi fonemi diversi.

E qui sta il problema. Una sequenza di visemi di solito non può essere associata a una parola o sequenza di parole univoche. Invece, una sequenza di visemi può avere diverse soluzioni. La sfida per il lettore labiale è scegliere quella che l'oratore ha usato.

Il problema è aggravato dal fatto che le labbra di un oratore sono spesso oscurate in modo che in media un lettore labiale veda solo circa il 50 percento delle parole pronunciate. Il risultato è che la lettura labiale non è affatto perfetta anche per i praticanti più esperti.

Gli esperimenti mostrano quanto sia difficile, anche quando il vocabolario è estremamente limitato. quando alle persone viene chiesto di decidere quale delle cifre da 1 a 9 è stata pronunciata, semplicemente leggendo le labbra, la loro percentuale di successo è in media di poco superiore al 50%. Non va affatto bene.

Quindi è facile immaginare che le prospettive per l'automazione di questa tecnica siano scarse. Ma Hassanat indica un crescente corpo di ricerca che affronta questo problema, aiutato da un rapido miglioramento della visione artificiale negli ultimi anni.

Il primo problema per la lettura labiale automatizzata è il riconoscimento facciale e labiale. Questo è migliorato a passi da gigante negli ultimi anni. Una sfida più difficile è riconoscere, estrarre e classificare le caratteristiche geometriche delle labbra durante il discorso.

Questo viene fatto misurando l'altezza e la larghezza delle labbra, nonché altre caratteristiche come la forma dell'ellisse che delimita le labbra, la quantità di denti in vista e il rossore dell'immagine, che determina la quantità di lingua visibile .

Determinare il contorno esatto delle labbra è difficile a causa della differenza relativamente piccola tra i pixel che mostrano il viso e le labbra. In effetti, Hassanat afferma che ciò non è necessario poiché l'ellisse di delimitazione e l'altezza e la forma della bocca forniscono un'approssimazione decente dei contorni reali. Sosteniamo che non è necessario utilizzare tutti o alcuni dei punti di contorno del labbro per definire la forma esterna delle labbra, dice.

Tuttavia, gli esperimenti che lui e altri hanno fatto hanno riscontrato altri problemi. Uno è che barbe e baffi possono confondere significativamente i sistemi di riconoscimento vocale visivo. Di conseguenza, hanno più successo con i parlanti di sesso femminile che maschile.

Un altro problema è che alcune persone sono più espressive con le labbra rispetto ad altre, quindi è più facile interpretare ciò che stanno dicendo dai soli movimenti delle labbra. In effetti, alcune persone muovono a malapena le labbra e queste cosiddette persone visive senza parole sono quasi impossibili da interpretare.

Tuttavia, il sistema di riconoscimento vocale visivo di Hassanat è straordinariamente buono. I suoi esperimenti raggiungono un tasso medio di successo del 76 percento, anche se in condizioni attentamente controllate. Il tasso di successo è ancora più alto per le donne a causa dell'assenza di barba e baffi.

Tutto ciò suggerisce che esiste un potenziale significativo per i sistemi di riconoscimento vocale visivo in futuro, in particolare come ausilio per altre forme di riconoscimento vocale.

Tuttavia, restano importanti sfide. In particolare, Hassanat sottolinea che i migliori lettori del labbro umano fanno affidamento su quantità significative di informazioni aggiuntive per interpretare il parlato, come il contesto della conversazione, i movimenti del corpo di chi parla e una buona conoscenza della grammatica, dei modi di dire e del linguaggio comune.

Questi sono fattori con cui i computer devono ancora fare i conti. La lettura automatica delle labbra potrebbe essere ancora lontana, ma i primi segnali sono che non è affatto impossibile.

E questo solleva tutta una serie di altri problemi relativi alla privacy. Ad esempio, è possibile che i video di conversazioni senza audio siano impossibili da interpretare ora ma potrebbero essere facili da interpretare in futuro. In che modo i politici, gli uomini d'affari e le figure popolari potrebbero essere onesti sotto questo tipo di analisi future?

Qualcosa a cui pensare la prossima volta che vedi una telecamera a circuito chiuso.

Rif: arxiv.org/abs/1409.1411 : Riconoscimento vocale visivo

nascondere