Virtual Eyes allena l'algoritmo di deep learning per riconoscere la direzione dello sguardo

Il contatto visivo è una delle forme più potenti di comunicazione non verbale. Se avatar e robot vogliono sfruttarlo, gli informatici dovranno monitorare, comprendere e riprodurre meglio questo comportamento.

Ma il rilevamento degli occhi è più facile a dirsi che a farsi. Forse l'approccio più promettente è addestrare un algoritmo di apprendimento automatico per riconoscere la direzione dello sguardo studiando un ampio database di immagini di occhi in cui la direzione dello sguardo è già nota.

Il problema qui è che non esistono database di grandi dimensioni di questo tipo. E sono difficili da creare: immagina di fotografare una persona che guarda in un'ampia gamma di direzioni, utilizzando tutti i tipi di diverse angolazioni della fotocamera in molte condizioni di illuminazione diverse. E poi farlo di nuovo per un'altra persona con una forma degli occhi e un viso diversi e così via. Un progetto del genere richiederebbe molto tempo e denaro.

Oggi, Erroll Wood dell'Università di Cambridge nel Regno Unito e alcuni amici affermano di aver risolto questo problema creando un enorme database del tipo di immagini di occhi che richiede un algoritmo di apprendimento automatico. Ciò ha permesso loro di addestrare una macchina a riconoscere la direzione dello sguardo in modo più accurato di quanto non fosse mai stato ottenuto prima.

Allora come hanno fatto? Il loro trucco è creare il database in modo completamente artificiale. Iniziano costruendo un modello virtuale altamente dettagliato di un occhio, una palpebra e la regione circostante. Quindi costruiscono questo modello in vari volti diversi che rappresentano persone di età, colori della pelle e tipi di occhi diversi e li fotografano, virtualmente.

Le fotografie possono essere descritte da quattro diverse variabili. Questi sono: posizione della telecamera, direzione dello sguardo, ambiente di illuminazione e modello dell'occhio. Per creare il database, Wood e colleghi iniziano con un particolare modello di occhio e ambiente di illuminazione e iniziano con gli occhi che puntano in una direzione specifica. Quindi variano la posizione della fotocamera, scattando fotografie da un'ampia gamma di angolazioni attorno alla testa.

Successivamente, spostano gli occhi in un'altra posizione e ripetono le variazioni nella posizione della telecamera. E così via.

Il risultato è un database di oltre 11.000 immagini che coprono variazioni di 40 gradi nell'angolo della telecamera e variazioni dello sguardo oltre i 90 gradi. Hanno scelto il colore degli occhi e le condizioni di illuminazione ambientale in modo casuale per ogni immagine.

Infine, Wood e colleghi hanno utilizzato il set di dati per addestrare una rete neurale convoluzionale profonda per riconoscere la direzione dello sguardo. E hanno testato l'algoritmo risultante su una serie di immagini naturali prese in natura. Abbiamo dimostrato che il nostro metodo supera i metodi all'avanguardia per la stima dello sguardo basata sull'aspetto di set di dati incrociati in natura, dicono.

È un lavoro interessante. Le tecniche di deep learning stanno attualmente prendendo d'assalto la parola dell'informatica grazie a due progressi. Il primo è una migliore comprensione delle reti neurali stesse che ha permesso agli informatici di migliorarle in modo significativo.

Il secondo è la creazione di enormi set di dati annotati che possono essere utilizzati per addestrare queste reti. Molti di questi nuovi set di dati sono stati creati utilizzando metodi di crowd sourcing come Mechanical Turk di Amazon.

Ma Wood e compagni hanno adottato un approccio diverso. Il loro set di dati è interamente sintetico, creato all'interno di un computer. Quindi sarà interessante vedere dove altro possono applicare questo metodo sintetico per creare set di dati per altri tipi di deep learning.

Rif: arxiv.org/abs/1505.05916 : Rendering di occhi per la registrazione della forma dell'occhio e la stima dello sguardo

nascondere