La visione artificiale ha imparato a usare le onde radio per vedere attraverso i muri e nell'oscurità

Output di riconoscimento dell'azione che mostra le figure che scalciano e si accarezzano sulla schiena CON CSAIL

La visione artificiale ha un record impressionante. Ha la capacità sovrumana di riconoscere persone, volti e oggetti. Può anche riconoscere molti diversi tipi di azioni, anche se non ancora bene come gli umani.

Ma ci sono dei limiti alle sue prestazioni. Le macchine hanno un momento particolarmente difficile quando persone, volti o oggetti sono parzialmente occlusi. E quando i livelli di luce scendono troppo, vengono effettivamente accecati, proprio come gli esseri umani.

Ma c'è un'altra parte dello spettro elettromagnetico che non è limitata allo stesso modo. Le onde radio riempiono il nostro mondo, che sia notte o giorno. Passano facilmente attraverso i muri e sono sia trasmessi che riflessi dai corpi umani. In effetti, i ricercatori hanno sviluppato vari modi per utilizzare i segnali radio Wi-Fi per vedere a porte chiuse.

Ma questi sistemi di radiovisione hanno alcune carenze. La loro risoluzione è bassa; le immagini sono rumorose e piene di riflessi che distraggono, il che rende difficile dare un senso a quello che sta succedendo.

In questo senso, le immagini radio e le immagini a luce visibile presentano vantaggi e svantaggi complementari. E questo aumenta la possibilità di utilizzare i punti di forza dell'uno per superare le carenze dell'altro.

Entrano Tianhong Li e i colleghi del MIT, che hanno trovato un modo per insegnare a un sistema di radiovisione a riconoscere le azioni delle persone addestrandolo con immagini di luce visibile. Il nuovo sistema di radiovisione può vedere cosa stanno facendo le persone in un'ampia gamma di situazioni in cui l'imaging della luce visibile non riesce. Introduciamo un modello di rete neurale in grado di rilevare le azioni umane attraverso pareti e occlusioni e in condizioni di scarsa illuminazione, affermano Li e co.

Il metodo della squadra utilizza un trucco accurato. L'idea di base è quella di registrare immagini video della stessa scena utilizzando la luce visibile e le onde radio. I sistemi di visione artificiale sono già in grado di riconoscere le azioni umane dalle immagini a luce visibile. Quindi il passo successivo è correlare quelle immagini con le immagini radiofoniche della stessa scena.

Ma la difficoltà sta nel garantire che il processo di apprendimento si concentri sul movimento umano piuttosto che su altre caratteristiche, come lo sfondo. Quindi Li e co introducono un passaggio intermedio in cui la macchina genera modelli 3D di figure stilizzate che riproducono le azioni delle persone nella scena.

Traducendo l'input in una rappresentazione intermedia basata sullo scheletro, il nostro modello può imparare da set di dati basati sulla visione e sulla radiofrequenza e consentire alle due attività di aiutarsi a vicenda. dire Li e co.

In questo modo il sistema impara a riconoscere le azioni in luce visibile e poi a riconoscere le stesse azioni che si svolgono al buio o dietro i muri, utilizzando le onde radio. Dimostriamo che il nostro modello raggiunge una precisione paragonabile ai sistemi di riconoscimento dell'azione basati sulla visione in scenari visibili, ma continua a funzionare in modo accurato quando le persone non sono visibili, affermano i ricercatori.

È un lavoro interessante che ha un potenziale significativo. Le applicazioni ovvie sono in scenari in cui le immagini in luce visibile falliscono, in condizioni di scarsa illuminazione ea porte chiuse.

Ma ci sono anche altre applicazioni. Un problema con le immagini a luce visibile è che le persone sono riconoscibili, il che solleva problemi di privacy.

Ma un sistema radio non ha la risoluzione per il riconoscimento facciale. Identificare le azioni senza riconoscere i volti non solleva gli stessi timori per la privacy. Può portare il riconoscimento dell'azione nelle case delle persone e consentire la sua integrazione nei sistemi domestici intelligenti, affermano Li e co. Ciò potrebbe essere utilizzato per monitorare la casa di una persona anziana e avvisare i servizi appropriati di una caduta, ad esempio. E lo farebbe senza troppi rischi per la privacy.

Questo va oltre le capacità degli odierni sistemi basati sulla visione.

Rif: arxiv.org/abs/1909.09300 : Rendere visibile l'invisibile: riconoscimento dell'azione attraverso muri e occlusioni

nascondere