Come modificare la fotocamera di uno smartphone in modo che scatti un milione di fotogrammi al secondo

xiaojie2020

Negli anni '30, un giovane ingegnere elettrico di nome Harold Edgerton iniziò a sperimentare la fotografia con flash elettronico al MIT. Lo usava notoriamente per congelare l'azione di oggetti quotidiani come un getto d'acqua, un palloncino che esplode e un proiettile che colpisce una mela.

Edgerton è stato il pioniere di un'ampia gamma di tecniche flash singole e multiple (oltre a molte altre tecniche di imaging). Molti di questi sono ora disponibili come standard su fotocamere e smartphone popolari.

Da allora, i tempi di posa sono aumentati. Alcuni iPhone possono scattare singole immagini con una velocità dell'otturatore di 1/10.000 di secondo. Telecamere specializzate possono registrare immagini alla velocità di 40.000 al secondo. Ma questo tipo di attrezzatura è complesso e costoso, quindi queste tecniche sono inaccessibili per la maggior parte delle persone.

Oggi, le cose sembrano destinate a cambiare grazie al lavoro di Sam Dillavou dell'Università di Harvard e di un paio di colleghi, che hanno sviluppato una tecnica che consente alle normali fotocamere elettroniche e agli smartphone di registrare immagini alla velocità mozzafiato di milioni di fotogrammi al secondo.

Prima un po' di background. Le moderne fotocamere utilizzano pixel elettronici per registrare la luce che li colpisce. Questi pixel registrano l'intensità, solitamente su una scala di 16 livelli. Questo è determinato dal livello di bit dei pixel. Quindi, durante un'esposizione, ogni pixel può registrare 14 sfumature di grigio tra il bianco e il nero.

Ma per molti tipi di immagini questo livello di dettaglio non è necessario: tutto ciò che serve è una semplice immagine in bianco o nero. In tal caso, il dettaglio grigio in più è ridondante.

Ciò ha dato a Dillavou e colleghi un'idea per separare singole immagini in più esposizioni più brevi.

Ecco come. Immagina un muro bianco coperto da una tenda nera. Ora apri la tenda da sinistra a destra per rivelare il muro e registra il movimento in un'unica esposizione.

Durante l'esposizione, i pixel sul lato sinistro dell'immagine registrano prima la tendina nera ma poi il muro bianco mentre la tendina si sposta attraverso il fotogramma. Questo è in media di un grigio chiaro.

Al contrario, i pixel che registrano il lato destro dell'immagine vedono la tendina nera per la maggior parte dell'esposizione. Solo alla fine dell'esposizione si scopre il muro bianco. In tal caso, la media è un grigio scuro.

Allo stesso modo, i pixel al centro dell'immagine registreranno un grigio medio. E l'immagine finale appare come un grigio graduato, che rappresenta il movimento del sipario.

L'idea chiave di Dillavou e colleghi è che questa singola immagine può essere pensata come tante istantanee in bianco e nero del sipario in movimento sovrapposte l'una all'altra. In effetti, il numero di immagini che possono essere ricavate da una singola immagine dipende dal numero di livelli di bit registrati dai pixel.

Forti di questa intuizione, hanno sviluppato una tecnica matematica per estrarre queste immagini da una singola immagine, un'idea che chiamano tecnica della cornice virtuale. In questo caso, può creare 16 immagini della tenda che si muove attraverso il muro.

Questa tecnica ha il potenziale per trasformare quasi tutte le fotocamere elettroniche in una meraviglia ad alta velocità. Il team lo ha testato confrontando i fotogrammi virtuali con quelli presi da una telecamera ad alta velocità che registra a 40.000 fotogrammi al secondo.

Hanno posizionato un foglio di gomma teso davanti a un divisore di raggio che ha inviato la luce a entrambe le telecamere, in modo che entrambe avessero la stessa visuale del foglio. Il team ha impostato l'illuminazione in modo che il foglio di gomma apparisse nero mentre lo sfondo apparisse bianco. Hanno usato un bisturi per incidere il foglio di gomma e hanno registrato il modo in cui si è diviso con entrambe le telecamere mentre la frattura scorreva sul foglio.

Infine, il team ha utilizzato la tecnica del fotogramma virtuale per estrarre immagini con frame rate elevato e confrontarle con quelle riprese dalla fotocamera ad alta velocità a 40.000 fotogrammi al secondo. Un video di questo confronto è scaricabile qui .

I risultati mostrano che la tecnica del frame virtuale ha un enorme potenziale. In primo luogo, entrambi i set di immagini mostrano un processo di fratturazione simile, il che conferma il merito dell'approccio. Ma ha anche una serie di vantaggi significativi. Registra 1,3 megapixel in ogni immagine, rispetto ai 60 kilopixel della fotocamera standard. Ciò aumenta notevolmente il campo visivo e quindi la distanza su cui è possibile registrare la frattura.

Anche il frame rate virtuale è molto più veloce. Il frame rate effettivo ottenuto usando [la tecnica del framing virtuale] è di 1 MHz, affermano Dillavou e co.

Continuano a studiare come l'applicazione della nuova tecnica a una varietà di fotocamere diverse aumenti la frequenza dei fotogrammi. I numeri aprono gli occhi. Ad esempio, la Nikon D850 registra fotogrammi virtuali a 16 MHz mantenendo una risoluzione superiore a 50 Mpx, dicono. Anche un iPhone X è in grado di registrare fino a un milione di fotogrammi al secondo utilizzando questa tecnica.

Ci sono poche ragioni per pensare che questo non possa essere gestito facilmente, poiché tutta l'elaborazione viene eseguita in un secondo momento. Questo frame rate virtuale migliorato non richiede alcun cambiamento nel funzionamento della fotocamera, afferma il team.

Tuttavia, ci sono alcuni limiti importanti ai tipi di fenomeni che possono essere registrati in questo modo. Innanzitutto, l'oggetto di interesse deve essere nero su sfondo bianco (o viceversa). Eventuali grigi nella scena rovineranno i risultati.

E il fenomeno stesso deve essere quello che Dillavou e compagni chiamano monotono. In altre parole, qualsiasi cambiamento durante un'esposizione deve passare dal nero al bianco (o viceversa) ma non viceversa. Nell'esempio con tenda, la tecnica della cornice virtuale funziona se la tenda si muove in una direzione ma non se si muove avanti e indietro.

Tuttavia, la tecnica della cornice virtuale è un progresso significativo per la fotografia. Ha il potenziale per trasformare la fotocamera dello smartphone nella tasca posteriore dei pantaloni in un registratore ad alta velocità, che avrebbe impressionato anche Doc Edgerton.

Rif: arxiv.org/abs/1811.02936 : Tecnica Virtual Frame: Imaging ultraveloce con qualsiasi fotocamera

nascondere