La fotocamera a pixel singolo raggiunge il traguardo, imitando la visione umana

L'imaging computazionale sta subendo una rivoluzione. Questa è la disciplina della creazione di immagini utilizzando tecniche computazionali piuttosto che ottiche. La sua svolta più nota è la capacità di registrare immagini e filmati ad alta risoluzione utilizzando un singolo pixel. Ma i ricercatori lo hanno anche utilizzato per costruire fotocamere senza obiettivo, sistemi di imaging 3D e altro ancora.

Oggi, portano la tecnica ancora più in là usandola per imitare il modo in cui gli esseri umani vedono il mondo. David Phillips dell'Università di Glasgow e alcuni amici affermano di aver trovato un modo per utilizzare un singolo pixel per creare immagini in cui l'area centrale è registrata ad alta risoluzione mentre la periferia è registrata a bassa risoluzione. Ciò imita esattamente i sistemi di visione degli animali in cui la retina ha una regione centrale di elevata acuità visiva chiamata fovea circondata da un'area di risoluzione inferiore.

Il team ha anche mostrato come spostare la regione foveata per seguire gli oggetti all'interno del campo visivo. La tecnica ha il potenziale per cambiare il modo in cui funzionano molti sistemi di imaging in futuro.

Prima un po' di background. Un sistema di imaging a pixel singolo registra la luce da una scena in un unico punto. Questa luce deve essere randomizzata in qualche modo, ad esempio facendola passare attraverso un vetro smerigliato o riflettendola su una matrice di micro-specchi disposti casualmente.

È facile pensare che si possa guadagnare poco registrando la luce randomizzata in questo modo. Il trucco ovviamente è prendere molte immagini a pixel singolo in questo modo. Sebbene ogni punto dati sembri essere un campione casuale di luce, punti dati consecutivi sono correlati perché sono riflessi della stessa scena.

Quindi il trucco dietro l'imaging computazionale è utilizzare un algoritmo di data mining per trovare la correlazione tra immagini successive. Un po' di sgranocchiare i numeri può quindi ricreare la scena originale.

Si scopre che questo è relativamente semplice, a condizione che la luce della scena sia correttamente randomizzata ogni volta che il pixel la registra. La risoluzione dell'immagine finale dipende quindi dal numero di punti dati utilizzati per crearla.

In altre parole, si può pensare che ogni punto dati registri un pixel nell'immagine finale. È questa idea che consente a Phillips e collaboratori di variare la risoluzione di un'immagine.

Questi ragazzi usano un array di micro-specchi digitali per randomizzare la luce da una scena che raggiunge il loro rilevatore di luce a pixel singolo. Ma sono anche in grado di controllare la risoluzione della randomizzazione in questo array. In questo modo possono utilizzare la randomizzazione ad alta risoluzione in alcune parti della scena per aumentare la risoluzione dell'immagine finale. Questa è l'immagine foveata

La loro matrice di micro-specchi può visualizzare circa 10.000 pattern randomizzati al secondo che consente loro di generare immagini da 32 x 32 pixel a una velocità di circa 10 al secondo.

Per cominciare, i pixel sono quadrati e di dimensioni uguali in ogni immagine 32 x 32. Ma un'immagine foveata ha pixel più piccoli e più densi al centro e pixel più grandi nelle periferie.

Phillips e compagni ottengono questo risultato randomizzando la luce dalla scena con una risoluzione maggiore al centro dell'immagine.

E i risultati sono impressionanti. Il team mostra come le immagini risultanti abbiano chiaramente una risoluzione maggiore al centro. Abbiamo dimostrato che la capacità di raccolta dei dati di un sistema di imaging computazionale a pixel singolo può essere migliorata imitando la visione foveata adattiva diffusa nel regno animale, dicono.

Ma mostrano anche come sia possibile spostare la fovea per seguire gli oggetti di interesse da un'immagine all'altra. Mostrano persino come sia possibile avere due fovea in una singola immagine per seguire due oggetti diversi, portando così la tecnica oltre le capacità del mondo animale. E dimostrano la tecnica sia con luce visibile che infrarossa.

Questo è un lavoro interessante che ha alcune importanti potenziali applicazioni. Il più ovvio è per i sistemi di imaging in cui gli array di pixel non sono pratici. Ad esempio, per le frequenze terahertz sono disponibili pixel singoli, ma non gli array di pixel.

Ma la tecnica è più generalmente applicabile. In tutti i sistemi di imaging esiste un compromesso tra risoluzione e frame rate. Questa tecnica consente di ottimizzare al volo questo compromesso e consente all'attenzione di concentrarsi sulle parti di un'immagine che sono di maggiore interesse.

Ciò potrebbe essere reso molto più potente combinandolo con altre tecniche di visione artificiale che gli algoritmi hanno iniziato a superare gli esseri umani in compiti, come il riconoscimento di volti e oggetti.

Gli esseri umani e gli animali hanno da tempo superato le macchine nei compiti di visione. Ma con tecniche come questa, questa padronanza non durerà a lungo.

Rif: arxiv.org/abs/1607.08236 : Imaging adattivo Foveated a pixel singolo con Super-Sampling dinamico

nascondere