Il tallone d'Achille di Machine Vision svelato da Google Brain Researchers

Uno dei progressi più spettacolari della scienza moderna è stata l'ascesa della visione artificiale. In pochi anni, una nuova generazione di tecniche di apprendimento automatico ha cambiato il modo in cui i computer vedono.

Le macchine ora superano gli esseri umani nel riconoscimento facciale e nel riconoscimento degli oggetti e stanno rivoluzionando numerose attività basate sulla visione come la guida, il monitoraggio della sicurezza e così via. La visione artificiale ora è sovrumana.

Ma un problema sta emergendo. I ricercatori della visione artificiale hanno iniziato a notare alcune preoccupanti carenze dei loro nuovi addebiti. Si scopre che gli algoritmi di visione artificiale hanno un tallone d'Achille che consente loro di essere ingannati da immagini modificate in modi che sarebbero banali da individuare per un essere umano.

Queste immagini modificate sono chiamate immagini contraddittorie e rappresentano una minaccia significativa. Un esempio contraddittorio per il dominio del riconoscimento facciale potrebbe consistere in segni molto sottili applicati al viso di una persona, in modo che un osservatore umano possa riconoscere correttamente la sua identità, ma un sistema di apprendimento automatico li riconoscerebbe come una persona diversa, affermano Alexey Kurakin e Samy Bengio di Google Brain e Ian Goodfellow di OpenAI, una società di ricerca sull'intelligenza artificiale senza scopo di lucro.

Poiché i sistemi di visione artificiale sono così nuovi, si sa poco delle immagini contraddittorie. Nessuno sa come crearli al meglio, come ingannano i sistemi di visione artificiale o come proteggersi da questo tipo di attacco.

Oggi, le cose iniziano a cambiare grazie al lavoro di Kurakin e compagni, che per la prima volta hanno iniziato a studiare sistematicamente le immagini del contraddittorio. Il loro lavoro mostra quanto siano vulnerabili i sistemi di visione artificiale a questo tipo di attacco.

Il team inizia con un database standard per la ricerca sulla visione artificiale, noto come ImageNet. Questo è un database di immagini classificate in base a ciò che mostrano. Un test standard consiste nell'addestrare un algoritmo di visione artificiale su una parte di questo database e quindi verificare quanto bene classifica un'altra parte del database.

Le prestazioni in questi test vengono misurate contando la frequenza con cui l'algoritmo ha la classificazione corretta nelle sue prime 5 risposte o anche nella sua prima risposta 1 (la sua cosiddetta accuratezza delle prime 5 o accuratezza della prima 1) o quante volte non ha la corretta rispondi tra i primi 5 o i primi 1 (il tasso di errore dei primi 5 o il tasso di errore 1 dei primi).

Uno dei migliori sistemi di visione artificiale è l'algoritmo Inception v3 di Google, che ha un tasso di errore dei primi 5 del 3,46%. Gli umani che eseguono lo stesso test hanno un tasso di errore dei primi 5 di circa il 5%, quindi Inception v3 ha davvero abilità sovrumane.

Kurakin e co hanno creato un database di immagini contraddittorie modificando 50.000 immagini da ImageNet in tre modi diversi. I loro metodi sfruttano l'idea che le reti neurali elaborano le informazioni per far corrispondere un'immagine con una particolare classificazione. La quantità di informazioni richieste, chiamata entropia incrociata, è una misura di quanto sia difficile il compito di abbinamento.

Il loro primo algoritmo apporta una piccola modifica a un'immagine in un modo che tenta di massimizzare questa entropia incrociata. Il loro secondo algoritmo ripete semplicemente questo processo per alterare ulteriormente l'immagine.

Questi algoritmi modificano entrambi l'immagine in un modo che rende più difficile la classificazione corretta. Questi metodi possono portare a classificazioni errate poco interessanti, come scambiare una razza di cani da slitta per un'altra razza di cani da slitta, dicono.

Il loro algoritmo finale ha un approccio molto più intelligente. Questo modifica un'immagine in modo da indirizzare il sistema di visione artificiale a classificarla erroneamente in un modo specifico, preferibilmente uno che sia meno simile alla vera classe. La classe meno probabile è solitamente molto dissimile dalla classe reale, quindi questo metodo di attacco si traduce in errori più interessanti, come scambiare un cane per un aeroplano, affermano Kurakin e compagni.

Quindi testano quanto bene l'algoritmo Inception v3 di Google può classificare le 50.000 immagini del contraddittorio.

I due semplici algoritmi riducono significativamente la precisione dei primi 5 e dei primi 1. Ma il loro algoritmo più potente, il metodo di classe meno probabile, riduce rapidamente la precisione a zero per tutte le 50.000 immagini. (Il team non dice quanto sia efficace l'algoritmo nel dirigere le classificazioni errate.)

Ciò suggerisce che le immagini contraddittorie sono una minaccia significativa, ma c'è una potenziale debolezza in questo approccio. Tutte queste immagini contraddittorie vengono immesse direttamente nel sistema di visione artificiale.

Ma nel mondo reale, un'immagine sarà sempre modificata dal sistema di telecamere che registra le immagini. E un algoritmo di immagine contraddittoria sarebbe inutile se questo processo ne neutralizzasse l'effetto. Quindi una domanda importante è quanto siano robusti questi algoritmi rispetto alle trasformazioni che avvengono nel mondo reale.

Per verificarlo, Kurakin e colleghi stampano tutte le immagini del contraddittorio insieme agli originali e le fotografano a mano con uno smartphone Nexus 5. Quindi alimentano queste immagini contraddittorie trasformate nel sistema di visione artificiale.

Kurakin e colleghi affermano che il metodo di classe meno probabile è il più vulnerabile a questo tipo di trasformazioni, ma che gli altri reggono ragionevolmente bene. In altre parole, gli algoritmi di immagine contraddittoria sono davvero una minaccia nel mondo reale. Secondo il team, una frazione significativa delle immagini contraddittorie realizzate utilizzando la rete originale viene classificata erroneamente anche quando viene inviata al classificatore tramite la telecamera.

Questo è un lavoro interessante che getta una luce importante sul tallone d'Achille della visione artificiale. E c'è molto lavoro da fare. Kurakin e co vogliono sviluppare immagini contraddittorie per altri tipi di sistemi di visione e renderle ancora più efficaci.

Tutto ciò solleverà alcune sopracciglia nella comunità della sicurezza informatica. I sistemi di visione artificiale ora sono più bravi degli umani nel riconoscere i volti, quindi è naturale aspettarsi che vengano utilizzati per qualsiasi cosa, dallo sblocco di smartphone e porte d'ingresso al controllo dei passaporti e alla biometria del conto bancario. Ma Kurakin e compagni sollevano la prospettiva di ingannare facilmente questi sistemi.

Negli ultimi due anni abbiamo imparato molto su quanto possono essere buoni i sistemi di visione artificiale. Ora stiamo solo scoprendo quanto facilmente possono essere ingannati.

Rif: arxiv.org/abs/1607.02533 : Esempi contraddittori nel mondo fisico

nascondere