L'oscuro segreto nel cuore dell'IA

Nessuno sa davvero come fanno gli algoritmi più avanzati. Potrebbe essere un problema. Di

• Will Cavaliere pagina di archivio

11 aprile 2017

Keith Rankin

L'anno scorso, una strana auto a guida autonoma è stata rilasciata sulle tranquille strade della contea di Monmouth, nel New Jersey. Il veicolo sperimentale, sviluppato dai ricercatori del produttore di chip Nvidia, non sembrava diverso dalle altre auto a guida autonoma, ma era diverso da qualsiasi cosa dimostrata da Google, Tesla o General Motors e mostrava il potere crescente dell'intelligenza artificiale. L'auto non ha seguito una singola istruzione fornita da un ingegnere o programmatore. Invece, si basava interamente su un algoritmo che aveva imparato a guidare guardando un essere umano mentre lo faceva.

Far guidare un'auto in questo modo è stata un'impresa impressionante. Ma è anche un po' inquietante, dal momento che non è del tutto chiaro come l'auto prenda le sue decisioni. Le informazioni provenienti dai sensori del veicolo entrano direttamente in un'enorme rete di neuroni artificiali che elaborano i dati e quindi forniscono i comandi necessari per azionare il volante, i freni e altri sistemi. Il risultato sembra corrispondere alle risposte che ti aspetteresti da un guidatore umano. Ma cosa accadrebbe se un giorno avesse fatto qualcosa di inaspettato: si fosse schiantato contro un albero o si fosse seduto al semaforo verde? Allo stato attuale delle cose, potrebbe essere difficile scoprire il motivo. Il sistema è così complicato che anche gli ingegneri che lo hanno progettato potrebbero avere difficoltà a isolare il motivo di ogni singola azione. E non puoi chiederlo: non esiste un modo ovvio per progettare un sistema del genere in modo che possa sempre spiegare perché ha fatto quello che ha fatto.

Questa storia faceva parte del nostro numero di maggio 2017

• Vedi il resto del problema
• sottoscrivi

La mente misteriosa di questo veicolo indica un problema incombente con l'intelligenza artificiale . La tecnologia di intelligenza artificiale alla base dell'auto, nota come deep learning, si è dimostrata molto potente nel risolvere i problemi negli ultimi anni ed è stata ampiamente utilizzata per attività come la didascalia delle immagini, il riconoscimento vocale e la traduzione linguistica. Ora c'è la speranza che le stesse tecniche saranno in grado di diagnosticare malattie mortali, prendere decisioni commerciali da milioni di dollari e fare innumerevoli altre cose per trasformare interi settori.

Ma questo non accadrà, o non dovrebbe accadere, a meno che non troviamo il modo di rendere tecniche come il deep learning più comprensibili per i loro creatori e responsabili nei confronti dei loro utenti. Altrimenti sarà difficile prevedere quando potrebbero verificarsi dei guasti, ed è inevitabile che accada. Questo è uno dei motivi per cui l'auto di Nvidia è ancora sperimentale.

I modelli matematici vengono già utilizzati per aiutare a determinare chi rilascia la libertà condizionale, chi è approvato per un prestito e chi viene assunto per un lavoro. Se potessi avere accesso a questi modelli matematici, sarebbe possibile comprenderne il ragionamento. Ma le banche, i militari, i datori di lavoro e altri stanno ora rivolgendo la loro attenzione ad approcci di apprendimento automatico più complessi che potrebbero rendere del tutto imperscrutabile il processo decisionale automatizzato. Il deep learning, il più comune di questi approcci, rappresenta un modo fondamentalmente diverso di programmare i computer. È un problema che è già rilevante e sarà molto più rilevante in futuro, afferma Tommi Jaakkola, professore al MIT che lavora sulle applicazioni dell'apprendimento automatico. Che si tratti di una decisione di investimento, di una decisione medica o forse di una decisione militare, non vuoi semplicemente fare affidamento su un metodo 'scatola nera'.

C'è già un argomento secondo cui essere in grado di interrogare un sistema di intelligenza artificiale su come è arrivato alle sue conclusioni sia un diritto legale fondamentale. A partire dall'estate del 2018, l'Unione Europea potrebbe richiedere che le aziende siano in grado di fornire agli utenti una spiegazione delle decisioni raggiunte dai sistemi automatizzati. Questo potrebbe essere impossibile, anche per sistemi che sembrano relativamente semplici in superficie, come le app e i siti Web che utilizzano il deep learning per pubblicare annunci o consigliare brani. I computer che eseguono quei servizi si sono programmati da soli e lo hanno fatto in modi che non possiamo capire. Anche gli ingegneri che creano queste app non possono spiegare completamente il loro comportamento.

Ciò solleva domande da capogiro. Con l'avanzare della tecnologia, potremmo presto superare una soglia oltre la quale l'utilizzo dell'IA richiede un atto di fede. Certo, anche noi umani non siamo sempre in grado di spiegare veramente i nostri processi mentali, ma troviamo modi per fidarci e valutare intuitivamente le persone. Sarà possibile anche con macchine che pensano e prendono decisioni in modo diverso da come farebbe un essere umano? Non abbiamo mai costruito macchine che funzionano in modi che i loro creatori non comprendono. Quanto bene possiamo aspettarci di comunicare e andare d'accordo con macchine intelligenti che potrebbero essere imprevedibili e imperscrutabili? Queste domande mi hanno portato in un viaggio all'avanguardia della ricerca sugli algoritmi di intelligenza artificiale, da Google ad Apple e in molti luoghi intermedi, incluso un incontro con uno dei grandi filosofi del nostro tempo.

L'artista Adam Ferriss ha creato questa immagine, e quella sottostante, utilizzando Google Deep Dream, un programma che regola un'immagine per stimolare le capacità di riconoscimento dei pattern di una rete neurale profonda. Le immagini sono state prodotte utilizzando uno strato di livello medio della rete neurale. Adam Ferris

Nel 2015, un gruppo di ricerca presso il Mount Sinai Hospital di New York è stato ispirato ad applicare il deep learning al vasto database di cartelle cliniche dell'ospedale. Questo set di dati presenta centinaia di variabili sui pazienti, tratte dai risultati dei test, dalle visite mediche e così via. Il programma risultante, che i ricercatori hanno chiamato Deep Patient, è stato addestrato utilizzando i dati di circa 700.000 individui e, quando è stato testato su nuovi record, si è rivelato incredibilmente efficace nel predire la malattia. Senza alcuna istruzione esperta, Deep Patient aveva scoperto schemi nascosti nei dati dell'ospedale che sembravano indicare quando le persone erano sulla strada per una vasta gamma di disturbi, incluso il cancro del fegato. Ci sono molti metodi che sono abbastanza bravi nel predire la malattia dalla cartella di un paziente, dice Joel Dudley, che guida il team del Monte Sinai. Ma, aggiunge, questo era solo molto meglio.

Possiamo costruire questi modelli, ma non sappiamo come funzionano.

Allo stesso tempo, Deep Patient è un po' sconcertante. Sembra anticipare sorprendentemente bene l'insorgenza di disturbi psichiatrici come la schizofrenia. Ma poiché la schizofrenia è notoriamente difficile da prevedere per i medici, Dudley si chiedeva come fosse possibile. Ancora non lo sa. Il nuovo strumento non offre alcun indizio su come farlo. Se qualcosa come Deep Patient aiuterà effettivamente i medici, idealmente darà loro la motivazione per la sua previsione, per rassicurarli che è accurato e per giustificare, ad esempio, un cambiamento nei farmaci che vengono prescritti a qualcuno. Possiamo costruire questi modelli, dice tristemente Dudley, ma non sappiamo come funzionano.

L'intelligenza artificiale non è sempre stata così. Fin dall'inizio, c'erano due scuole di pensiero riguardo a quanto dovrebbe essere comprensibile, o spiegabile, l'IA. Molti pensavano che avesse più senso costruire macchine che ragionassero secondo regole e logica, rendendo il loro funzionamento interno trasparente a chiunque volesse esaminare del codice. Altri ritenevano che l'intelligenza emergerebbe più facilmente se le macchine si ispirassero alla biologia e imparassero osservando e sperimentando. Ciò significava capovolgere la programmazione del computer. Invece di un programmatore che scrive i comandi per risolvere un problema, il programma genera il proprio algoritmo basato su dati di esempio e un output desiderato. Le tecniche di apprendimento automatico che si sarebbero poi evolute nei più potenti sistemi di intelligenza artificiale di oggi hanno seguito quest'ultima strada: la macchina essenzialmente si programma da sola.

All'inizio questo approccio era di utilità pratica limitata e negli anni '60 e '70 rimase in gran parte confinato ai margini del campo. Poi l'informatizzazione di molte industrie e l'emergere di grandi set di dati hanno rinnovato l'interesse. Ciò ha ispirato lo sviluppo di tecniche di apprendimento automatico più potenti, in particolare nuove versioni di una nota come rete neurale artificiale. Negli anni '90, le reti neurali potevano digitalizzare automaticamente i caratteri scritti a mano.

Ma è stato solo all'inizio di questo decennio, dopo diverse modifiche e perfezionamenti intelligenti, che reti neurali molto grandi o profonde hanno dimostrato miglioramenti drammatici nella percezione automatizzata. Il deep learning è responsabile dell'odierna esplosione dell'IA. Ha conferito ai computer poteri straordinari, come la capacità di riconoscere le parole pronunciate quasi quanto potrebbe fare una persona, un'abilità troppo complessa per essere codificata manualmente nella macchina. Il deep learning ha trasformato la visione artificiale e ha notevolmente migliorato la traduzione automatica. Ora viene utilizzato per guidare tutti i tipi di decisioni chiave in medicina, finanza, produzione e oltre.

Adam Ferris

Il funzionamento di qualsiasi tecnologia di apprendimento automatico è intrinsecamente più opaco, anche per gli informatici, di un sistema codificato a mano. Questo non vuol dire che tutte le future tecniche di IA saranno ugualmente inconoscibili. Ma per sua natura, il deep learning è una scatola nera particolarmente oscura.

Non puoi semplicemente guardare all'interno di una rete neurale profonda per vedere come funziona. Il ragionamento di una rete è incorporato nel comportamento di migliaia di neuroni simulati, organizzati in dozzine o addirittura centinaia di strati intricati e interconnessi. I neuroni nel primo livello ricevono ciascuno un input, come l'intensità di un pixel in un'immagine, e quindi eseguono un calcolo prima di emettere un nuovo segnale. Questi output vengono alimentati, in una rete complessa, ai neuroni nello strato successivo, e così via, fino a quando non viene prodotto un output complessivo. Inoltre, esiste un processo noto come back-propagation che modifica i calcoli dei singoli neuroni in un modo che consente alla rete di imparare a produrre l'output desiderato.

I molti strati in una rete profonda le consentono di riconoscere le cose a diversi livelli di astrazione. In un sistema progettato per riconoscere i cani, ad esempio, gli strati inferiori riconoscono cose semplici come i contorni o il colore; gli strati più alti riconoscono cose più complesse come la pelliccia o gli occhi; e lo strato più in alto lo identifica come un cane. Lo stesso approccio può essere applicato, grosso modo, ad altri input che portano una macchina ad autoapprendimento: i suoni che compongono le parole nel parlato, le lettere e le parole che creano le frasi nel testo, oi movimenti del volante necessari per la guida.

Potrebbe essere parte della natura dell'intelligenza che solo una parte di essa sia esposta a una spiegazione razionale. Alcuni sono solo istintivi.

Sono state utilizzate strategie ingegnose per cercare di catturare e quindi spiegare in modo più dettagliato cosa sta accadendo in tali sistemi. Nel 2015, i ricercatori di Google hanno modificato un algoritmo di riconoscimento delle immagini basato sull'apprendimento profondo in modo che invece di individuare oggetti nelle foto, li generi o li modifichi. Eseguendo efficacemente l'algoritmo al contrario, potrebbero scoprire le funzionalità che il programma utilizza per riconoscere, ad esempio, un uccello o un edificio. Il immagini risultanti , prodotto da un progetto noto come Deep Dream, mostrava animali grotteschi simili a alieni che emergono da nuvole e piante e pagode allucinanti che fiorivano attraverso foreste e catene montuose. Le immagini hanno dimostrato che l'apprendimento profondo non deve essere del tutto imperscrutabile; hanno rivelato che gli algoritmi si concentrano su caratteristiche visive familiari come il becco o le piume di un uccello. Ma le immagini hanno anche accennato a quanto sia diverso il deep learning dalla percezione umana, in quanto potrebbe ricavare qualcosa da un artefatto che sapremmo ignorare. I ricercatori di Google hanno notato che quando il suo algoritmo generava immagini di un manubrio, generava anche un braccio umano che lo reggeva. La macchina aveva concluso che un braccio faceva parte della cosa.

Ulteriori progressi sono stati compiuti utilizzando idee prese in prestito dalle neuroscienze e dalle scienze cognitive. Un team guidato da Jeff Clune, un assistente professore presso l'Università del Wyoming, ha impiegato l'equivalente AI delle illusioni ottiche per testare le reti neurali profonde. Nel 2015, il gruppo di Clune ha mostrato come certe immagini potrebbero ingannare una rete del genere facendogli percepire cose che non ci sono, perché le immagini sfruttano i modelli di basso livello che il sistema cerca. Uno dei collaboratori di Clune, Jason Yosinski, ha anche costruito uno strumento che agisce come una sonda conficcata in un cervello. Il suo strumento prende di mira qualsiasi neurone nel mezzo della rete e cerca l'immagine che lo attiva di più. Le immagini che compaiono sono astratte (immaginate una versione impressionista di un fenicottero o di uno scuolabus), mettendo in evidenza la natura misteriosa delle capacità percettive della macchina.

Questa prima rete neurale artificiale, presso il Cornell Aeronautical Laboratory di Buffalo, New York, intorno al 1960, elaborava gli input dei sensori di luce.

Ferriss è stato ispirato a far funzionare la rete neurale artificiale di Cornell attraverso Deep Dream, producendo le immagini sopra e sotto. Adam Ferris

Tuttavia, abbiamo bisogno di qualcosa di più di un assaggio del pensiero dell'IA e non esiste una soluzione facile. È l'interazione dei calcoli all'interno di una rete neurale profonda che è fondamentale per il riconoscimento di schemi di livello superiore e il processo decisionale complesso, ma quei calcoli sono un pantano di funzioni e variabili matematiche. Se avessi una rete neurale molto piccola, potresti essere in grado di capirla, dice Jaakkola. Ma una volta che diventa molto grande e ha migliaia di unità per strato e forse centinaia di strati, allora diventa del tutto incomprensibile.

Nell'ufficio accanto a Jaakkola c'è Regina Barzilay, una professoressa del MIT determinata ad applicare l'apprendimento automatico alla medicina. Le è stato diagnosticato un cancro al seno un paio di anni fa, all'età di 43 anni. La diagnosi era di per sé scioccante, ma Barzilay era anche costernata dal fatto che metodi statistici e di apprendimento automatico all'avanguardia non fossero usati per aiutare con la ricerca oncologica o per guidare trattamento del paziente. Dice che l'IA ha un enorme potenziale per rivoluzionare la medicina, ma rendersi conto di quel potenziale significherà andare oltre le semplici cartelle cliniche. Prevede di utilizzare più dati grezzi che, secondo lei, sono attualmente sottoutilizzati: dati di imaging, dati di patologia, tutte queste informazioni.

Quanto bene possiamo andare d'accordo con macchine imprevedibili e imperscrutabili?

Dopo aver terminato la cura del cancro l'anno scorso, Barzilay e i suoi studenti hanno iniziato a lavorare con i medici del Massachusetts General Hospital per sviluppare un sistema in grado di estrarre referti patologici per identificare i pazienti con caratteristiche cliniche specifiche che i ricercatori potrebbero voler studiare. Tuttavia, Barzilay ha capito che il sistema avrebbe dovuto spiegare il suo ragionamento. Quindi, insieme a Jaakkola e uno studente, ha aggiunto un passaggio: il sistema estrae ed evidenzia frammenti di testo che sono rappresentativi di uno schema che ha scoperto. Barzilay e i suoi studenti stanno anche sviluppando un algoritmo di apprendimento profondo in grado di trovare i primi segni di cancro al seno nelle immagini mammografiche e mirano a dare a questo sistema una certa capacità di spiegare anche il suo ragionamento. Hai davvero bisogno di un ciclo in cui la macchina e l'uomo collaborino, - dice Barzilay.

Le forze armate statunitensi stanno riversando miliardi in progetti che utilizzeranno l'apprendimento automatico per pilotare veicoli e aerei, identificare obiettivi e aiutare gli analisti a setacciare enormi pile di dati di intelligence. Qui più che altrove, ancor più che in medicina, c'è poco spazio per il mistero algoritmico e il Dipartimento della Difesa ha identificato nella spiegabilità un ostacolo fondamentale.

David Gunning, un program manager presso la Defense Advanced Research Projects Agency, sta supervisionando il programma Explainable Artificial Intelligence, giustamente chiamato. Un veterano dai capelli d'argento dell'agenzia che in precedenza ha supervisionato il progetto DARPA che alla fine ha portato alla creazione di Siri, Gunning afferma che l'automazione si sta insinuando in innumerevoli aree dell'esercito. Gli analisti dell'intelligence stanno testando l'apprendimento automatico come un modo per identificare i modelli in grandi quantità di dati di sorveglianza. Molti veicoli terrestri e aerei autonomi sono in fase di sviluppo e test. Ma i soldati probabilmente non si sentiranno a loro agio in un carro armato robotico che non si spiega loro e gli analisti saranno riluttanti ad agire in base alle informazioni senza alcun ragionamento. È spesso nella natura di questi sistemi di apprendimento automatico che producono molti falsi allarmi, quindi un analista di informazioni ha davvero bisogno di ulteriore aiuto per capire perché è stata formulata una raccomandazione, afferma Gunning.

A marzo, la DARPA ha scelto 13 progetti del mondo accademico e industriale per i finanziamenti nell'ambito del programma di Gunning. Alcuni di loro potrebbero basarsi sul lavoro guidato da Carlos Guestrin, professore all'Università di Washington. Lui e i suoi colleghi hanno sviluppato un modo per i sistemi di apprendimento automatico per fornire una motivazione per i loro risultati. In sostanza, con questo metodo un computer trova automaticamente alcuni esempi da un set di dati e li fornisce in una breve spiegazione. Un sistema progettato per classificare un messaggio di posta elettronica come proveniente da un terrorista, ad esempio, potrebbe utilizzare molti milioni di messaggi nella sua formazione e nel processo decisionale. Ma usando l'approccio del team di Washington, potrebbe evidenziare alcune parole chiave trovate in un messaggio. Il gruppo di Guestrin ha anche escogitato modi per i sistemi di riconoscimento delle immagini di suggerire il loro ragionamento evidenziando le parti di un'immagine che erano più significative.

Adam Ferris

Uno svantaggio di questo approccio e di altri simili, come quello di Barzilay, è che le spiegazioni fornite saranno sempre semplificate, il che significa che alcune informazioni vitali potrebbero andare perse lungo il percorso. Non abbiamo realizzato l'intero sogno, ed è qui che l'IA ha una conversazione con te ed è in grado di spiegare, dice Guestrin. Siamo molto lontani dall'avere un'IA veramente interpretabile.

Non deve essere una situazione ad alto rischio come la diagnosi del cancro o le manovre militari perché questo diventi un problema. Conoscere il ragionamento dell'IA sarà anche cruciale se la tecnologia vuole diventare una parte comune e utile della nostra vita quotidiana. Tom Gruber, che guida il team Siri di Apple, afferma che la spiegazione è una considerazione fondamentale per il suo team poiché cerca di rendere Siri un assistente virtuale più intelligente e più capace. Gruber non discuterà piani specifici per il futuro di Siri, ma è facile immaginare che se ricevi una raccomandazione su un ristorante da Siri, vorrai sapere quale fosse il ragionamento. Ruslan Salakhutdinov, direttore della ricerca sull'intelligenza artificiale presso Apple e professore associato presso la Carnegie Mellon University, vede nella spiegabilità il fulcro della relazione in evoluzione tra umani e macchine intelligenti. Introdurrà la fiducia, dice.

Storia correlata

Leggi Avanti Le macchine che capiscono veramente il linguaggio sarebbero incredibilmente utili. Ma non sappiamo come costruirli.

Proprio come molti aspetti del comportamento umano sono impossibili da spiegare in dettaglio, forse non sarà possibile per l'IA spiegare tutto ciò che fa. Anche se qualcuno può darti una spiegazione ragionevole [per le sue azioni], probabilmente è incompleta e lo stesso potrebbe benissimo essere vero per l'IA, dice Clune, dell'Università del Wyoming. Potrebbe essere solo parte della natura dell'intelligenza che solo una parte di essa sia esposta a una spiegazione razionale. Alcuni sono solo istintivi, o subconsci, o imperscrutabili.

Se è così, a un certo punto potremmo dover semplicemente fidarci del giudizio dell'IA o fare a meno di usarlo. Allo stesso modo, quel giudizio dovrà incorporare l'intelligenza sociale. Proprio come la società è costruita su un contratto di comportamento previsto, dovremo progettare sistemi di intelligenza artificiale per rispettare e adattarsi alle nostre norme sociali. Se vogliamo creare carri armati robot e altre macchine assassine, è importante che il loro processo decisionale sia coerente con i nostri giudizi etici.

Per sondare questi concetti metafisici, sono andato alla Tufts University per incontrare Daniel Dennett, un famoso filosofo e scienziato cognitivo che studia la coscienza e la mente. Un capitolo dell'ultimo libro di Dennett, Dai batteri a Bach e ritorno , un trattato enciclopedico sulla coscienza, suggerisce che una parte naturale dell'evoluzione dell'intelligenza stessa è la creazione di sistemi in grado di svolgere compiti che i loro creatori non sanno come fare. La domanda è: quali adattamenti dobbiamo fare per farlo con saggezza: quali standard chiediamo a loro e a noi stessi? mi dice nel suo ufficio disordinato nell'idilliaco campus dell'università.

Ha anche una parola di avvertimento sulla ricerca della spiegabilità. Penso con tutti i mezzi che se useremo queste cose e faremo affidamento su di esse, allora diamo una presa più salda su come e perché ci stanno dando le risposte il più possibile, dice. Ma dal momento che potrebbe non esserci una risposta perfetta, dovremmo essere cauti nei confronti delle spiegazioni dell'IA come lo siamo l'uno dell'altro, non importa quanto intelligente sembri una macchina. Se non può fare meglio di noi nello spiegare cosa sta facendo, dice, allora non fidarti.

nascondere