Perché chiedere a un'IA di spiegarsi può peggiorare le cose

Frogger sta per parlare MS Tech/Getty

Upol Ehsan una volta ha fatto un giro di prova su un'auto a guida autonoma Uber. Invece di preoccuparsi del posto di guida vuoto, i passeggeri ansiosi sono stati incoraggiati a guardare uno schermo del ciuccio che mostrava la vista dall'alto di un'auto della strada: i pericoli evidenziati in arancione e rosso, le zone sicure in blu freddo.

Per Ehsan , che studia il modo in cui gli esseri umani interagiscono con l'IA al Georgia Institute of Technology di Atlanta, il messaggio inteso era chiaro: non spaventarti, ecco perché l'auto sta facendo quello che sta facendo. Ma qualcosa nella scena di strada dall'aspetto alieno ha evidenziato la stranezza dell'esperienza piuttosto che rassicurata. Ha fatto pensare a Ehsan: e se l'auto a guida autonoma potesse davvero spiegarsi?

Il successo del deep learning è dovuto all'armeggiare: le migliori reti neurali sono ottimizzate e adattate per crearne di migliori e i risultati pratici hanno superato la comprensione teorica. Di conseguenza, i dettagli su come funziona un modello addestrato sono in genere sconosciuti. Siamo arrivati ​​a pensarli come scatole nere.

La maggior parte delle volte ci va bene quando si tratta di cose come giocare a Go o tradurre il testo o scegliere il prossimo spettacolo Netflix su cui abbuffarsi. Ma se l'IA deve essere utilizzata per aiutare a prendere decisioni nelle forze dell'ordine, nelle diagnosi mediche e nelle auto senza conducente, allora dobbiamo capire come raggiunge tali decisioni e sapere quando sono sbagliate.

Le persone hanno bisogno del potere di dissentire o rifiutare una decisione automatizzata, dice Iris Howley , uno scienziato informatico al Williams College di Williamstown, Massachusetts. Senza questo, le persone si opporranno alla tecnologia. Lo puoi vedere in questo momento con la risposta del pubblico ai sistemi di riconoscimento facciale, dice.

Ehsan fa parte di un piccolo ma crescente gruppo di ricercatori che cercano di rendere le IA più capaci di spiegarsi, per aiutarci a guardare dentro la scatola nera. Lo scopo della cosiddetta IA interpretabile o spiegabile (XAI) è aiutare le persone a capire quali caratteristiche dei dati sta effettivamente imparando una rete neurale, e quindi se il modello risultante è accurato e imparziale.

Una soluzione è costruire sistemi di apprendimento automatico che mostrino il loro funzionamento: la cosiddetta scatola di vetro, in contrapposizione alla scatola nera, l'IA. I modelli Glassbox sono in genere versioni molto semplificate di una rete neurale in cui è più facile tenere traccia di come diversi dati influiscono sul modello.

Ci sono persone nella comunità che sostengono l'uso dei modelli glassbox in qualsiasi ambiente ad alto rischio, dice Jennifer Wortman Vaughan , uno scienziato informatico presso Microsoft Research. Sono ampiamente d'accordo. Semplici modelli glassbox possono funzionare così come reti neurali più complicate su determinati tipi di dati strutturati, come tabelle di statistiche. Per alcune applicazioni è tutto ciò di cui hai bisogno.

Ma dipende dal dominio. Se vogliamo imparare da dati disordinati come immagini o testo, siamo bloccati con reti neurali profonde e quindi opache. La capacità di queste reti di tracciare connessioni significative tra un numero molto elevato di caratteristiche disparate è legata alla loro complessità.

Anche qui, il machine learning glassbox potrebbe aiutare. Una soluzione è eseguire due passaggi ai dati, addestrando un modello di glassbox imperfetto come passaggio di debug per scoprire potenziali errori che potresti voler correggere. Una volta che i dati sono stati ripuliti, è possibile addestrare un modello di scatola nera più accurato.

È un equilibrio difficile, tuttavia. Troppa trasparenza può portare a un sovraccarico di informazioni. In un Stallone 2018 Y osservando come gli utenti non esperti interagiscono con gli strumenti di apprendimento automatico, Vaughan ha scoperto che i modelli trasparenti possono effettivamente rendere più difficile rilevare e correggere gli errori del modello.

Un altro approccio consiste nell'includere visualizzazioni che mostrano alcune proprietà chiave del modello e dei dati sottostanti. L'idea è che puoi vedere i problemi seri a colpo d'occhio. Ad esempio, il modello potrebbe fare troppo affidamento su determinate funzionalità, che potrebbero segnalare una distorsione.

Questi strumenti di visualizzazione si sono rivelati incredibilmente popolari nel breve tempo in cui sono stati disponibili. Ma aiutano davvero? Nel primo studio del genere , Vaughan e il suo team hanno cercato di scoprirlo e hanno esposto alcuni seri problemi.

Il team ha utilizzato due popolari strumenti di interpretabilità che offrono una panoramica di un modello tramite grafici e grafici di dati, evidenziando le cose che il modello di apprendimento automatico ha raccolto maggiormente durante la formazione. All'interno di Microsoft sono stati reclutati undici professionisti dell'IA, tutti diversi per istruzione, ruoli lavorativi ed esperienza. Hanno preso parte a una finta interazione con un modello di apprendimento automatico addestrato su un set di dati sul reddito nazionale tratto dal censimento statunitense del 1994. L'esperimento è stato progettato specificamente per imitare il modo in cui i data scientist utilizzano gli strumenti di interpretabilità nei tipi di attività che affrontano abitualmente.

Ciò che la squadra ha trovato è stato sorprendente. Certo, gli strumenti a volte aiutavano le persone a individuare i valori mancanti nei dati. Ma questa utilità è stata oscurata da una tendenza a fidarsi eccessivamente e a interpretare male le visualizzazioni. In alcuni casi, gli utenti non potevano nemmeno descrivere cosa stavano mostrando le visualizzazioni. Ciò ha portato a ipotesi errate sul set di dati, sui modelli e sugli strumenti di interpretabilità stessi. E ha instillato una falsa fiducia sugli strumenti che hanno reso i partecipanti più entusiasti di implementare i modelli, anche quando sentivano che qualcosa non andava. In modo preoccupante, questo era vero anche quando l'output era stato manipolato per mostrare spiegazioni prive di senso.

Per supportare i risultati del loro studio su piccoli utenti, i ricercatori hanno quindi condotto un sondaggio online su circa 200 professionisti dell'apprendimento automatico reclutati tramite mailing list e social media. Hanno trovato una confusione simile e una fiducia mal riposta.

Peggio ancora, molti partecipanti sono stati felici di utilizzare le visualizzazioni per prendere decisioni sulla distribuzione del modello nonostante abbiano ammesso di non aver compreso la matematica dietro di loro. È stato particolarmente sorprendente vedere le persone giustificare le stranezze nei dati creando narrazioni che le spiegassero, dice Harmanpreet Kaur presso l'Università del Michigan, un coautore dello studio. La distorsione dell'automazione era un fattore molto importante che non avevamo considerato.

Ah, il pregiudizio dell'automazione. In altre parole, le persone sono pronte a fidarsi dei computer. Non è una novità fenomeno . Quando si tratta di sistemi automatizzati, dagli autopiloti degli aerei ai correttori ortografici, gli studi hanno dimostrato che gli esseri umani spesso accettano le scelte che fanno anche quando sono ovviamente sbagliate. Ma quando questo accade con strumenti progettati per aiutarci a evitare proprio questo fenomeno, abbiamo un problema ancora più grande.

Cosa possiamo fare al riguardo? Per alcuni, parte del problema con la prima ondata di XAI è che è dominata da ricercatori di apprendimento automatico, la maggior parte dei quali sono utenti esperti di sistemi di intelligenza artificiale. Dice Tim Miller dell'Università di Melbourne, che studia come gli esseri umani usano i sistemi di intelligenza artificiale: I detenuti gestiscono il manicomio.

Questo è ciò che ha realizzato Ehsan seduto nella parte posteriore dell'Uber senza conducente. È più facile capire cosa sta facendo un sistema automatizzato e vedere quando sta commettendo un errore se fornisce ragioni per le sue azioni come farebbe un essere umano. Ehsan e il suo collega Marco Riedl stanno sviluppando un sistema di apprendimento automatico che genera automaticamente tali motivazioni nel linguaggio naturale . In un primo prototipo, la coppia ha preso una rete neurale che aveva imparato a giocare al classico videogioco Frogger degli anni '80 e l'ha addestrata a fornire una ragione ogni volta che si muoveva.

Screenshot del software Frogger Explanation di Ehsan e Riedl, Upol Ehsan

Per fare ciò, hanno mostrato al sistema molti esempi di esseri umani che giocano mentre parlano ad alta voce di ciò che stavano facendo. Hanno quindi preso una rete neurale per tradurre tra due lingue naturali e l'hanno adattata per tradurre invece tra le azioni nel gioco e le motivazioni del linguaggio naturale per quelle azioni. Ora, quando la rete neurale vede un'azione nel gioco, la traduce in una spiegazione. Il risultato è un'IA che gioca a Frogger che dice cose come mi muovo a sinistra per rimanere dietro il camion blu ogni volta che si muove.

Il lavoro di Ehsan e Riedl è solo l'inizio. Per prima cosa, non è chiaro se un sistema di apprendimento automatico sarà sempre in grado di fornire una logica in linguaggio naturale per le sue azioni. Prendi il gioco da tavolo AI AlphaZero di DeepMind. Una delle caratteristiche più sorprendenti del software è la sua capacità di fare mosse vincenti che la maggior parte dei giocatori umani non penserebbe di provare a quel punto in una partita. Se AlphaZero fosse in grado di spiegare le sue mosse, avrebbero sempre senso?

Le ragioni aiutano, indipendentemente dal fatto che le comprendiamo o meno, afferma Ehsan: L'obiettivo dell'XAI incentrato sull'uomo non è solo quello di far accettare all'utente ciò che dice l'IA, ma anche di stimolare la riflessione. Riedl ricorda di aver visto il live streaming della partita del torneo tra l'IA di DeepMind e il campione di Korean Go Lee Sedol. I commentatori stavano parlando di ciò che AlphaGo stava vedendo e pensando. 'Non era così che funzionava AlphaGo', afferma Riedl. 'Ma ho sentito che il commento era essenziale per capire cosa stava succedendo'.

Ciò su cui questa nuova ondata di ricercatori XAI è d'accordo è che se i sistemi di intelligenza artificiale devono essere utilizzati da più persone, queste persone devono far parte del progetto fin dall'inizio e persone diverse hanno bisogno di diversi tipi di spiegazioni. (Ciò è supportato da un nuovo studio di Howley e dei suoi colleghi, in cui mostrano che la capacità delle persone di comprendere una visualizzazione interattiva o statica dipende dai loro livelli di istruzione.) Pensa a un'IA per la diagnosi del cancro, afferma Ehsan. Vorresti che la spiegazione che dà a un oncologo fosse molto diversa dalla spiegazione che dà al paziente.

In definitiva, vogliamo che le IA si spieghino non solo ai data scientist e ai medici, ma anche agli agenti di polizia che utilizzano la tecnologia di riconoscimento facciale, agli insegnanti che utilizzano software di analisi nelle loro classi, agli studenti che cercano di dare un senso ai loro feed sui social media e a chiunque sia seduto sul sedile posteriore di un'auto a guida autonoma. Abbiamo sempre saputo che le persone si fidano eccessivamente della tecnologia, e questo è particolarmente vero con i sistemi di intelligenza artificiale, afferma Riedl. Più dici che è intelligente, più le persone sono convinte che sia più intelligente di loro.

Spiegazioni che chiunque può capire dovrebbero aiutare a far scoppiare quella bolla.

nascondere