211service.com
Le IA di apprendimento per rinforzo sono vulnerabili a un nuovo tipo di attacco
REVISIONE DELLA TECNOLOGIA DEL MIT / ADAM GLEAVE
Il bot di calcio si mette in fila per tirare in porta. Ma invece di prepararsi a bloccarlo, il portiere cade a terra e dimena le gambe. Confuso, l'attaccante fa una strana piccola danza di traverso, battendo i piedi e agitando un braccio, e poi cade. 1-0 per il portiere.
Non è una tattica che vedrai utilizzata dai professionisti, ma mostra che un'intelligenza artificiale addestrata tramite un deep Reinforcement Learning, la tecnica alla base di IA di gioco all'avanguardia come AlphaZero e OpenAI Five, è più vulnerabile agli attacchi rispetto al passato pensiero. E ciò potrebbe avere gravi conseguenze.
Adam Glave
Negli ultimi anni i ricercatori hanno trovato molti modi per rompere le IA addestrate utilizzando dati etichettati, noti come apprendimento supervisionato. Piccole modifiche all'input di un'intelligenza artificiale, come la modifica di alcuni pixel in un'immagine, possono sconcertarlo completamente, facendolo identificare l'immagine di un bradipo come un'auto da corsa, ad esempio. Questi cosiddetti attacchi contraddittori non hanno una soluzione sicura.
Rispetto all'apprendimento supervisionato, l'apprendimento per rinforzo è una tecnica relativamente nuova ed è stata studiata meno. Ma si scopre che è anche vulnerabile agli input falsi. L'apprendimento per rinforzo insegna a un'IA come comportarsi in diverse situazioni, premiandole per aver fatto la cosa giusta. Alla fine l'IA apprende un piano d'azione, noto come politica. Le politiche consentono alle IA di giocare, guidare auto o eseguire sistemi di trading automatizzati.
Nel 2017, Sandy Huang, che ora lavora in DeepMind, e i suoi colleghi hanno esaminato un'IA addestrata tramite l'apprendimento per rinforzo a giocare al classico videogioco Pong. Lo hanno mostrato l'aggiunta di un singolo pixel canaglia ai fotogrammi dell'input video lo farebbe perdere in modo affidabile . Ora Adam Gleave dell'Università della California, a Berkeley, ha portato gli attacchi contraddittori a un altro livello.
Gleave non è troppo preoccupato per la maggior parte degli esempi che abbiamo visto finora. Sono un po' scettico sul fatto che siano una minaccia, dice. L'idea che un utente malintenzionato possa rompere il nostro sistema di apprendimento automatico aggiungendo una piccola quantità di rumore non sembra realistica. Ma invece di ingannare un'IA facendogli vedere qualcosa che in realtà non c'è, puoi cambiare il modo in cui si comportano le cose intorno ad essa. In altre parole, un'IA addestrata utilizzando l'apprendimento per rinforzo può essere ingannata da comportamenti strani. Gleave ei suoi colleghi chiamano questa una politica contraddittoria. È un modello di minaccia precedentemente non riconosciuto, afferma Gleave.
Perdere il controllo
In un certo senso, le politiche contraddittorie sono più preoccupanti degli attacchi ai modelli di apprendimento supervisionato, perché le politiche di apprendimento per rinforzo governano il comportamento generale di un'IA. Se un'auto senza conducente classifica erroneamente l'input dalla sua fotocamera, potrebbe ricorrere ad altri sensori, ad esempio. Ma sabotare il sistema di controllo dell'auto, governato da un algoritmo di apprendimento per rinforzo, potrebbe portare al disastro. Se le politiche dovessero essere implementate senza risolvere questi problemi, potrebbe essere molto grave, afferma Gleave. Le auto senza conducente potrebbero andare in tilt se confrontate con un pedone che agita le braccia.
Gleave e i suoi colleghi hanno utilizzato l'apprendimento per rinforzo per addestrare robot con figure stilizzate a giocare una manciata di giochi a due giocatori, tra cui calciare una palla in porta, correre su una linea e lotta di sumo. I robot erano consapevoli della posizione e del movimento dei loro arti e di quelli dei loro avversari.
Adam Glave
Hanno quindi addestrato un secondo gruppo di bot per trovare il modo di sfruttare il primo e questo secondo gruppo ha scoperto rapidamente le politiche del contraddittorio. Il team ha scoperto che gli avversari hanno imparato a battere le loro vittime in modo affidabile dopo essersi allenati per meno del 3% del tempo impiegato dalle vittime per imparare a giocare in primo luogo.
Gli avversari hanno imparato a vincere non diventando giocatori migliori ma compiendo azioni che hanno infranto le politiche dei loro avversari. Nella partita di calcio e in quella di corsa, l'avversario a volte non si alza nemmeno in piedi. Questo fa crollare la vittima in un mucchio contorto o dimenarsi in cerchio. Inoltre, le vittime si sono comportate molto meglio quando erano mascherate e non erano affatto in grado di vedere il loro avversario.
La ricerca, che sarà presentata alla Conferenza internazionale sulle rappresentazioni dell'apprendimento ad Addis Abeba, in Etiopia, ad aprile, mostra che politiche che sembrano solide possono nascondere gravi carenze. Nell'apprendimento per rinforzo profondo non stiamo davvero valutando le politiche in modo sufficientemente completo, afferma Gleave. Un modello di apprendimento supervisionato, addestrato per classificare le immagini, ad esempio, viene testato su un set di dati diverso da quello su cui è stato addestrato per garantire che non abbia semplicemente memorizzato un particolare gruppo di immagini. Ma con l'apprendimento per rinforzo, i modelli vengono in genere addestrati e testati nello stesso ambiente. Ciò significa che non puoi mai essere sicuro di quanto bene il modello farà fronte a nuove situazioni.
La buona notizia è che le politiche del contraddittorio possono essere più facili da difendere rispetto ad altri attacchi del contraddittorio. Quando Gleave ha messo a punto le vittime per tenere conto del comportamento strano dei loro avversari, gli avversari sono stati costretti a provare trucchi più familiari, come far inciampare i loro avversari. È ancora un gioco sporco ma non sfrutta un problema tecnico nel sistema. Dopotutto, i giocatori umani lo fanno sempre.