L'intelligenza artificiale militare può essere facilmente e pericolosamente ingannata

Una tartaruga e un fucile immagini di getty

Lo scorso marzo, i ricercatori cinesi hanno annunciato un attacco ingegnoso e potenzialmente devastante contro uno degli asset tecnologici più preziosi d'America: un'auto elettrica Tesla.

Il team, del laboratorio di sicurezza del gigante tecnologico cinese Tencent, ha dimostrato diversi modi per ingannare gli algoritmi di intelligenza artificiale sull'auto di Tesla. Modificando sottilmente i dati forniti ai sensori dell'auto, i ricercatori sono stati in grado di confondere e disorientare l'intelligenza artificiale che gestisce il veicolo.

Questa storia faceva parte del nostro numero di novembre 2019

• Vedi il resto del problema
• sottoscrivi

In un caso, uno schermo TV conteneva uno schema nascosto che induceva i tergicristalli ad attivarsi. In un altro, i segnali di corsia sulla strada sono stati leggermente modificati per confondere il sistema di guida autonoma in modo che passasse sopra di loro e entrasse nella corsia per il traffico in arrivo.

Gli algoritmi di Tesla sono normalmente brillanti nell'individuare le gocce di pioggia sul parabrezza o nel seguire le linee sulla strada, ma funzionano in un modo fondamentalmente diverso dalla percezione umana. Ciò rende tali algoritmi di deep learning, che stanno rapidamente attraversando diversi settori per applicazioni come il riconoscimento facciale e la diagnosi del cancro, sorprendentemente facili da ingannare se si trovano i loro punti deboli.

Portare fuori strada una Tesla potrebbe non sembrare una minaccia strategica per gli Stati Uniti. Ma cosa accadrebbe se tecniche simili venissero utilizzate per ingannare i droni d'attacco, o un software che analizza le immagini satellitari, facendogli vedere cose che non ci sono o non vedere cose che ci sono?

Raccolta di intelligenza artificiale

In tutto il mondo, l'IA è già vista come il prossimo grande vantaggio militare.

All'inizio di quest'anno, gli Stati Uniti hanno annunciato una grande strategia per sfruttare l'intelligenza artificiale in molte aree dell'esercito, tra cui analisi dell'intelligence, processo decisionale, autonomia dei veicoli, logistica e armi. Il budget di 718 miliardi di dollari proposto dal Dipartimento della Difesa per il 2020 stanzia 927 milioni di dollari per l'intelligenza artificiale e l'apprendimento automatico. I progetti esistenti includono il piuttosto banale (testare se l'IA può prevedere quando carri armati e camion hanno bisogno di manutenzione) così come cose all'avanguardia della tecnologia delle armi (sciami di droni).

La spinta dell'IA del Pentagono è in parte guidata dalla paura del modo in cui i rivali potrebbero utilizzare la tecnologia. L'anno scorso Jim Mattis, allora segretario alla Difesa, ha inviato un promemoria al presidente Donald Trump avvertendo che gli Stati Uniti sono già indietro quando si tratta di IA. La sua preoccupazione è comprensibile.

Nel luglio 2017, la Cina ha articolato la sua strategia per l'IA, dichiarando che i principali paesi sviluppati del mondo stanno prendendo lo sviluppo dell'IA come una strategia importante per migliorare la competitività nazionale e proteggere la sicurezza nazionale. E pochi mesi dopo, il russo Vladimir Putin dichiarò minacciosamente: chiunque diventi il ​​leader nella sfera [dell'IA] diventerà il sovrano del mondo.

L'ambizione di costruire le armi più intelligenti e letali è comprensibile, ma come mostra l'hacking di Tesla, un nemico che sa come funziona un algoritmo di intelligenza artificiale potrebbe renderlo inutile o addirittura metterlo contro i suoi proprietari. Il segreto per vincere le guerre dell'IA potrebbe non risiedere nel creare le armi più impressionanti, ma nel padroneggiare l'inquietante tradimento del software.

Robot da battaglia

In una luminosa e soleggiata giornata dell'estate scorsa a Washington, DC, Michael Kanaan era seduto nella caffetteria del Pentagono, mangiando un panino e ammirando un nuovo potente set di algoritmi di apprendimento automatico.

Poche settimane prima, Kanaan aveva visto un videogioco in cui cinque algoritmi di intelligenza artificiale lavoravano insieme per sopraffare, superare e superare in astuzia cinque umani in una gara che prevedeva il controllo di forze, accampamenti e risorse in un campo di battaglia complesso e tentacolare. Tuttavia, la fronte sotto i capelli biondi corti di Kanaan era corrugata mentre descriveva l'azione. È stata una delle dimostrazioni più impressionanti della strategia dell'IA che avesse mai visto, uno sviluppo inaspettato simile ai progressi dell'IA negli scacchi, in Atari e in altri giochi.

Il gioco di guerra si è svolto all'interno di Dota 2, un popolare videogioco di fantascienza che è incredibilmente impegnativo per i computer. Le squadre devono difendere il proprio territorio mentre attaccano gli accampamenti degli avversari in un ambiente più complesso e ingannevole di qualsiasi gioco da tavolo. I giocatori possono vedere solo una piccola parte dell'intera immagine e può volerci circa mezz'ora per determinare se una strategia è vincente.

I combattenti dell'IA non sono stati sviluppati dai militari ma da OpenAI, una società creata da pezzi grossi della Silicon Valley tra cui Elon Musk e Sam Altman per fare ricerche fondamentali sull'IA. I guerrieri algoritmici dell'azienda, noti come OpenAI Five, hanno elaborato le proprie strategie vincenti attraverso una pratica incessante e rispondendo con le mosse che si sono rivelate più vantaggiose.

I missili guidati dall'intelligenza artificiale potrebbero essere accecati da dati contraddittori e forse persino tornare indietro verso obiettivi amici.

È esattamente il tipo di software che intriga Kanaan, una delle persone incaricate di utilizzare l'intelligenza artificiale per modernizzare l'esercito americano. Per lui, mostra ciò che i militari possono guadagnare arruolando l'aiuto dei migliori ricercatori di intelligenza artificiale del mondo. Ma se sono disposti è sempre più in questione.

Kanaan era il capo dell'Air Force nel Progetto Maven, un'iniziativa militare volta a utilizzare l'IA per automatizzare l'identificazione di oggetti nelle immagini aeree. Google era un appaltatore di Maven e quando altri dipendenti di Google lo hanno scoperto, nel 2018, l'azienda ha deciso di abbandonare il progetto. Successivamente ha ideato un codice di condotta per l'intelligenza artificiale in cui si afferma che Google non utilizzerà la sua intelligenza artificiale per sviluppare armi o altre tecnologie il cui scopo o implementazione principale è causare o facilitare direttamente lesioni alle persone.

I lavoratori di altre grandi aziende tecnologiche hanno poi chiesto ai loro datori di lavoro di evitare i contratti militari. Molti importanti ricercatori di intelligenza artificiale hanno sostenuto uno sforzo per avviare un divieto globale sullo sviluppo di armi completamente autonome.

Per Kanaan, tuttavia, sarebbe un grosso problema se i militari non potessero lavorare con ricercatori come quelli che hanno sviluppato OpenAI Five. Ancora più inquietante è la prospettiva che un avversario ottenga l'accesso a una tecnologia così all'avanguardia. Il codice è là fuori per essere utilizzato da chiunque, ha detto. Ha aggiunto: la guerra è molto più complessa di alcuni videogiochi.

Cinque algoritmi lavorano insieme per superare in astuzia cinque umani nel videogioco basato sul campo di battaglia Dota 2. immagine di cortesia

L'aumento dell'IA

Kanaan è generalmente molto ottimista riguardo all'IA, in parte perché sa in prima persona quanto sia utile per le truppe. Sei anni fa, in qualità di ufficiale dell'intelligence dell'Air Force in Afghanistan, era responsabile dell'implementazione di un nuovo tipo di strumento di raccolta di informazioni: un imager iperspettrale. Lo strumento può individuare oggetti che normalmente sono nascosti alla vista, come carri armati drappeggiati in mimetiche o emissioni di una fabbrica improvvisata di bombe. Kanaan afferma che il sistema ha aiutato le truppe statunitensi a rimuovere molte migliaia di libbre di esplosivo dal campo di battaglia. Ciononostante, era spesso impraticabile per gli analisti elaborare le enormi quantità di dati raccolti dall'imager. Abbiamo passato troppo tempo a guardare i dati e non abbastanza tempo a prendere decisioni, dice. A volte ci è voluto così tanto tempo che ti sei chiesto se avresti potuto salvare più vite.

Una soluzione potrebbe risiedere in una svolta nella visione artificiale da parte di un team guidato da Geoffrey Hinton presso l'Università di Toronto. Ha dimostrato che un algoritmo ispirato da una rete neurale a più livelli potrebbe riconoscere gli oggetti nelle immagini con un'abilità senza precedenti quando vengono forniti dati sufficienti e potenza del computer.

L'addestramento di una rete neurale implica l'immissione di dati, come i pixel in un'immagine, e l'alterazione continua delle connessioni nella rete, utilizzando tecniche matematiche, in modo che l'output si avvicini a un risultato particolare, come identificare l'oggetto nell'immagine. Nel tempo, queste reti di deep learning imparano a riconoscere gli schemi dei pixel che compongono le case o le persone. I progressi nell'apprendimento profondo hanno innescato l'attuale boom dell'IA; la tecnologia è alla base dei sistemi autonomi di Tesla e degli algoritmi di OpenAI.

Kanaan ha immediatamente riconosciuto il potenziale del deep learning per l'elaborazione dei vari tipi di immagini e dati dei sensori che sono essenziali per le operazioni militari. Lui e altri nell'Air Force iniziarono presto a fare pressioni sui loro superiori per investire nella tecnologia. I loro sforzi hanno contribuito alla grande spinta dell'IA del Pentagono.

Ma poco dopo che il deep learning è entrato in scena, i ricercatori hanno scoperto che le stesse proprietà che lo rendono così potente sono anche un tallone d'Achille.

Proprio come è possibile calcolare come modificare i parametri di una rete in modo che classifichi correttamente un oggetto, è possibile calcolare in che modo modifiche minime all'immagine di input possono causare una classificazione errata della rete. In tali esempi contraddittori, solo pochi pixel nell'immagine vengono alterati, lasciandola uguale a una persona ma molto diversa da un algoritmo di intelligenza artificiale. Il problema può sorgere ovunque venga utilizzato il deep learning, ad esempio nella guida di veicoli autonomi, nella pianificazione di missioni o nel rilevamento di intrusioni nella rete.

In mezzo all'aumento degli usi militari dell'IA, queste misteriose vulnerabilità nel software hanno ricevuto molta meno attenzione.

Bersagli in movimento

Un oggetto notevole serve a illustrare il potere dell'apprendimento automatico contraddittorio. È una tartaruga modello.

Per te o per me sembra normale, ma per un drone o un robot che esegue un particolare algoritmo di visione ad apprendimento profondo, sembra essere... un fucile. In un progetto separato, i ricercatori avevano utilizzato immagini 2D in modo che un sistema di visione AI reso disponibile tramite il cloud di Google lo scambiasse per qualsiasi cosa. (Da allora Google ha aggiornato l'algoritmo in modo che non venga ingannato.)

La tartaruga non è stata creata da un avversario di uno stato-nazione, ma da quattro ragazzi del MIT. Uno di loro è Anish Athalye, un giovane allampanato e molto educato che lavora sulla sicurezza informatica nel Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT. In un video sul laptop di Athalye delle tartarughe in fase di test (alcuni dei modelli sono stati rubati a una conferenza, dice), viene ruotato di 360 gradi e capovolto. L'algoritmo rileva la stessa cosa più e più volte: fucile, fucile, fucile.

I primi esempi contraddittori erano fragili e inclini al fallimento, ma Athalye e i suoi amici credevano di poter progettare una versione abbastanza robusta da funzionare su un oggetto stampato in 3D. Ciò ha comportato la modellazione di un rendering 3D di oggetti e lo sviluppo di un algoritmo per creare la tartaruga, un esempio contraddittorio che avrebbe funzionato a diverse angolazioni e distanze. In parole povere, hanno sviluppato un algoritmo per creare qualcosa che possa ingannare in modo affidabile un modello di apprendimento automatico.

Le applicazioni militari sono ovvie. Utilizzando il camuffamento algoritmico contraddittorio, carri armati o aerei potrebbero nascondersi da satelliti e droni dotati di intelligenza artificiale. I missili guidati dall'intelligenza artificiale potrebbero essere accecati da dati contraddittori e forse persino tornare indietro verso obiettivi amici. Le informazioni immesse negli algoritmi di intelligence potrebbero essere avvelenate per mascherare una minaccia terroristica o tendere una trappola per le truppe nel mondo reale.

Athalye è sorpreso da quanta poca preoccupazione abbia riscontrato per l'apprendimento automatico contraddittorio. Ho parlato con un gruppo di persone del settore e ho chiesto loro se sono preoccupati per esempi contraddittori. La risposta è, quasi su tutta la linea, no, dice, poiché le aziende si concentrano sul far funzionare i loro sistemi di intelligenza artificiale come priorità assoluta.

Fortunatamente, il Pentagono inizia a prenderne atto. Lo scorso agosto, la Defense Advanced Research Projects Agency (DARPA) ha annunciato diversi grandi progetti di ricerca sull'IA. Tra questi c'è GARD, un programma incentrato sull'apprendimento automatico contraddittorio. Hava Siegelmann, professore presso l'Università del Massachusetts, Amherst, e responsabile del programma per GARD, afferma che questi attacchi potrebbero essere devastanti in situazioni militari perché le persone non possono identificarli. È come se fossimo ciechi, dice. Questo è ciò che lo rende davvero molto pericoloso.

Le sfide presentate dall'apprendimento automatico contraddittorio spiegano anche perché il Pentagono è così desideroso di lavorare con aziende come Google e Amazon, nonché con istituzioni accademiche come il MIT. La tecnologia si sta evolvendo rapidamente e gli ultimi progressi stanno prendendo piede nei laboratori gestiti dalle società della Silicon Valley e dalle migliori università, non dai tradizionali appaltatori della difesa.

Fondamentalmente, stanno accadendo anche al di fuori degli Stati Uniti, in particolare in Cina. Penso che stia arrivando un mondo diverso, dice Kanaan, l'esperto di intelligenza artificiale dell'Air Force. Ed è uno che dobbiamo combattere con l'IA.

Il contraccolpo contro l'uso militare dell'IA è comprensibile, ma potrebbe non vedere il quadro più ampio. Anche se le persone sono preoccupate per i robot killer intelligenti, forse un rischio più grande a breve termine è una nebbia di guerra algoritmica, attraverso la quale anche le macchine più intelligenti non possono scrutare.

Will Knight è stato fino a poco tempo redattore senior per AI presso MIT Technology Review e ora lavora presso Wired.

nascondere