211service.com
Come potremmo proteggerci dall'IA dannosa
Un diagramma che mostra l'immagine di un panda, più l'immagine di un rumore, che equivale all'immagine di un panda identificato erroneamente come un gibbone. Foto del panda: flickr.com / Gabriele Gherardi
In precedenza abbiamo toccato il concetto di esempi contraddittori, la classe di piccoli cambiamenti che, quando inseriti in un modello di deep learning, ne causano un comportamento anomalo. A marzo, abbiamo coperto il discorso della professoressa della UC Berkeley Dawn Song alla nostra conferenza annuale EmTech Digital su come ha usato gli adesivi per ingannare un'auto a guida autonoma facendogli credere che un segnale di stop fosse un segnale di 45 miglia all'ora e come ha usato su misura messaggi per creare un modello basato su testo sputare informazioni sensibili come i numeri di carta di credito. Ad aprile, abbiamo parlato in modo simile di come gli hacker white hat hanno utilizzato gli adesivi per confondere il pilota automatico Tesla nel guidare un'auto nel traffico in arrivo.
Negli ultimi anni, poiché i sistemi di deep learning sono diventati sempre più pervasivi nelle nostre vite, i ricercatori hanno dimostrato come esempi contraddittori possono influenzare qualsiasi cosa, dal semplice classificatori di immagini a sistemi di diagnosi del cancro , portando a conseguenze che vanno da benigne a pericolose per la vita. Nonostante il loro pericolo, tuttavia, gli esempi contraddittori sono poco conosciuti. E i ricercatori si sono preoccupati di come, o anche se, il problema possa essere risolto.
A nuova carta del MIT ora indica un possibile percorso per superare questa sfida. Potrebbe permetterci di creare modelli di deep learning molto più solidi che sarebbero molto più difficili da manipolare in modi dannosi. Per comprenderne il significato, esaminiamo prima le basi degli esempi contraddittori.
Come abbiamo notato molte volte in precedenza, il potere del deep learning deriva dalla sua eccellente capacità di riconoscere i modelli nei dati. Alimenta una rete neurale con decine di migliaia di foto di animali etichettati e imparerà quali schemi sono associati a un panda e quali schemi sono associati a una scimmia. Può quindi utilizzare quei modelli per identificare nuove immagini di animali che non ha mai visto prima.
Ma anche i modelli di deep learning sono fragili. Poiché un sistema di riconoscimento delle immagini si basa solo su modelli di pixel piuttosto che su una comprensione concettuale più profonda di ciò che vede, è facile indurre il sistema a vedere qualcos'altro completamente, semplicemente disturbando gli schemi nel modo giusto. Ecco un classico esempio: aggiungi un po' di rumore all'immagine di un panda e un sistema lo classificherà come un gibbone con quasi il 100% di sicurezza. Il rumore, qui, è l'attacco del contraddittorio.
Ian Goodfellow et al/OpenAI
Da alcuni anni i ricercatori osservano questo fenomeno, in particolare nei sistemi di visione artificiale, senza sapere davvero come sbarazzarsi di tali vulnerabilità. In effetti, un documento presentato la scorsa settimana all'importante conferenza di ricerca sull'intelligenza artificiale ICLR ha messo in dubbio se gli attacchi del contraddittorio sono inevitabili . Sembrerebbe che, indipendentemente dal numero di immagini di panda che inserisci in un classificatore di immagini, ci sarà sempre una sorta di perturbazione che puoi progettare per eliminare il sistema.
Ma il nuovo documento del MIT dimostra che abbiamo pensato male agli attacchi contraddittori. Piuttosto che pensare a modi per accumulare più e migliori dati di addestramento da alimentare al nostro sistema, dovremmo fondamentalmente ripensare al modo in cui ci avviciniamo all'addestramento.
Lo ha dimostrato identificando una proprietà piuttosto interessante degli esempi contraddittori che ci aiuta a capire perché sono così efficaci. Il rumore o gli adesivi apparentemente casuali che innescano classificazioni errate stanno in realtà sfruttando schemi molto precisi e minuscoli che il sistema di immagini ha imparato ad associare fortemente a oggetti specifici. In altre parole, la macchina non si comporta male quando vede un gibbone dove vediamo un panda. Sta infatti vedendo uno schema di pixel, impercettibile per gli esseri umani, che si è verificato molto più spesso nelle foto dei gibboni rispetto alle foto dei panda durante l'allenamento.
I ricercatori lo hanno illustrato eseguendo un esperimento: hanno creato un set di dati di immagini di cani che erano state tutte modificate in piccoli modi che avrebbero indotto un classificatore di immagini standard a identificarli erroneamente come gatti. Hanno quindi etichettato erroneamente le immagini come gatti e le hanno utilizzate per addestrare una nuova rete neurale da zero. Dopo l'allenamento, hanno mostrato alla rete neurale immagini di gatti reali e li ha identificati correttamente tutti come gatti.
Ciò che ha suggerito ai ricercatori è che in ogni set di dati ci sono due tipi di correlazioni: modelli che in realtà correlano con il significato dei dati, come i baffi in un'immagine di gatto o le colorazioni della pelliccia in un'immagine di panda, e schemi che esistono all'interno dei dati di addestramento ma non si generalizzano ad altri contesti. Queste ultime correlazioni fuorvianti, come le chiameremo noi, sono quelle sfruttate negli attacchi contraddittori. Nel diagramma sopra, ad esempio, l'attacco sfrutta un pattern di pixel falsamente correlato ai gibboni seppellendo quei pixel impercettibili all'interno dell'immagine del panda. Il sistema di riconoscimento, addestrato a riconoscere lo schema fuorviante, lo riprende e presume che stia guardando un gibbone.
Questo ci dice che se vogliamo eliminare il rischio di attacchi del contraddittorio, dobbiamo cambiare il modo in cui formiamo i nostri modelli. Attualmente, lasciamo che la rete neurale scelga le correlazioni che desidera utilizzare per identificare gli oggetti in un'immagine. Ma di conseguenza, non abbiamo alcun controllo sulle correlazioni che trova e se sono reali o fuorvianti. Se, invece, addestrassimo i nostri modelli a ricordare solo i modelli reali, quelli effettivamente legati al significato dei pixel, sarebbe teoricamente possibile produrre sistemi di deep learning che non possono essere pervertiti in questo modo per danni.
Quando i ricercatori hanno testato questa idea utilizzando solo correlazioni reali per addestrare il loro modello, in effetti ha mitigato la vulnerabilità del modello: è stato manipolato con successo solo il 50% delle volte, mentre un modello addestrato su correlazioni sia reali che false potrebbe essere manipolato 95 % del tempo.
In altre parole, sembra che gli esempi contraddittori non siano inevitabili. Ma abbiamo bisogno di più ricerche per eliminarli del tutto.
Questa storia è apparsa originariamente nella nostra newsletter AI nominata da Webby The Algorithm. Per ricevere più storie come questa direttamente nella tua casella di posta, registrati qui. È gratis.