Dobbiamo progettare la sfiducia nei sistemi di intelligenza artificiale per renderli più sicuri

per gentile concessione di ACM

Ayanna Howard ha sempre cercato di utilizzare i robot e l'intelligenza artificiale per aiutare le persone. Durante i suoi quasi 30 anni di carriera, ha costruito innumerevoli robot: per esplorare Marte, per pulire i rifiuti pericolosi e per assistere i bambini con bisogni speciali. Nel processo, ha sviluppato una serie impressionante di tecniche di manipolazione robotica, navigazione autonoma e visione artificiale. E ha guidato il campo nello studio di un errore comune che commettono gli esseri umani: riponiamo troppa fiducia nei sistemi automatizzati.

Il 12 maggio, l'Association for Computing Machinery ha assegnato a Howard quest'anno l'Athena Lecturer Award, che riconosce le donne che hanno dato un contributo fondamentale nell'informatica. L'organizzazione ha onorato non solo l'impressionante elenco di risultati scientifici di Howard, ma anche la sua passione e il suo impegno nel restituire alla sua comunità. Da quando è stata una celebre tecnologa, ha anche creato e guidato molti programmi volti ad aumentare la partecipazione e la fidelizzazione delle giovani donne e delle minoranze sottorappresentate sul campo.

A marzo, dopo 16 anni come professore presso il Georgia Institute of Technology, ha iniziato una nuova posizione come preside del college of engineering presso la Ohio State University. È la prima donna a ricoprire la carica. Il giorno in cui ha ricevuto il premio ACM, ho parlato con Howard della sua carriera e delle sue ultime ricerche.

Quanto segue è stato modificato per lunghezza e chiarezza.

Ho notato che usi il termine intelligenza umanizzata per descrivere la tua ricerca, invece di intelligenza artificiale. Perché?

Sì, ho iniziato a usarlo in un articolo nel 2004. Stavo pensando al motivo per cui lavoriamo sull'intelligenza per la robotica e i sistemi di intelligenza artificiale. Non è che vogliamo creare queste funzionalità intelligenti al di fuori delle nostre interazioni con le persone. Siamo motivati ​​dall'esperienza umana, dai dati umani, dagli input umani. L'intelligenza artificiale implica che si tratta di un diverso tipo di intelligenza, mentre l'intelligenza umanizzata dice che è intelligente ma motivata dal costrutto umano. E ciò significa che quando creiamo questi sistemi, ci assicuriamo anche che contenga anche alcuni dei nostri valori sociali.

Come sei entrato in questo lavoro?

È stato principalmente motivato dalla mia ricerca di dottorato. A quel tempo, stavo lavorando all'addestramento di un manipolatore robotico per rimuovere i pericoli in un ospedale. Questo era ai tempi in cui non avevi quei bei posti sicuri dove mettere gli aghi. Gli aghi sono stati gettati nella stessa spazzatura di tutto il resto e ci sono stati casi in cui gli operatori ospedalieri si sono ammalati. Quindi stavo pensando: come si progettano i robot per aiutare in quell'ambiente?

Quindi molto presto, si trattava di costruire robot utili per le persone. E stava riconoscendo che non sapevamo come costruire robot per svolgere molto bene alcuni di questi compiti. Ma le persone li fanno sempre, quindi imitiamo come lo fanno le persone. È così che è iniziato.

Poi ho lavorato con la NASA e ho cercato di pensare alla futura navigazione del rover su Marte. E ancora, era come: gli scienziati possono farlo davvero, davvero bene. Quindi chiederei agli scienziati di teleoperare questi rover e guardare cosa stavano vedendo sulle telecamere di questi rover, quindi provare a correlare il modo in cui guidano in base a quello. Questo è sempre stato il tema: perché non mi rivolgo agli esperti umani, codificano quello che stanno facendo in un algoritmo e poi faccio capire al robot?

Allora altre persone pensavano e parlavano di intelligenza artificiale e robotica in questo modo incentrato sull'uomo? O eri uno strano outlier?

Oh, ero un totale strano anormale. Guardavo le cose in modo diverso rispetto a tutti gli altri. E allora non c'era una guida su come fare questo tipo di ricerca. In effetti, quando guardo indietro ora a come ho fatto la ricerca, lo farei completamente in modo diverso. C'è tutta questa esperienza e conoscenza che da allora è emersa sul campo.

A che punto sei passato dal pensare alla costruzione di robot che aiutano gli esseri umani a pensare di più alla relazione tra robot e umani?

È stato in gran parte motivato da questo studia abbiamo fatto per l'evacuazione di emergenza e la fiducia dei robot. Quello che volevamo vedere era che quando gli esseri umani si trovano in una situazione ad alto rischio e con tempi critici, si fideranno della guida di un robot? Quindi abbiamo portato le persone in un edificio per uffici abbandonato fuori dal campus e sono state fatte entrare da un robot guida turistica. Abbiamo inventato una storia sul robot e su come hanno dovuto fare un sondaggio, questo genere di cose. Mentre erano lì, abbiamo riempito l'edificio di fumo e fatto scattare l'allarme antincendio.

Quindi volevamo vedere, mentre uscivano, si sarebbero diretti alla porta principale, al segnale di uscita o avrebbero seguito la guida del robot che li avrebbe guidati in una direzione diversa?

Pensavamo che le persone si sarebbero recate alla porta principale perché era così che sono entrate, e ricerche precedenti hanno affermato che quando le persone si trovano in una situazione di emergenza, tendono ad andare dove sono familiari. Oppure pensavamo che avrebbero seguito i segnali di uscita, perché è un comportamento addestrato. Ma i partecipanti lo hanno fatto non Fai questo. In realtà seguono la guida del robot.

Poi abbiamo introdotto alcuni errori. Abbiamo avuto un guasto al robot, l'abbiamo fatto girare in tondo, ti abbiamo fatto portare in una direzione che richiedeva di spostare i mobili. Abbiamo pensato che a un certo punto l'umano avrebbe detto: Fammi andare alla porta principale, o fammi andare al segnale di uscita proprio lì. Ci ha letteralmente portato fino alla fine prima che le persone smettessero di seguire la guida del robot.

Quella era la prima volta che le nostre ipotesi erano completamente sbagliate. Era come se non riuscissi a credere che le persone si fidino del sistema in questo modo. Questo è interessante e affascinante, ed è un problema.

Dopo quell'esperimento, hai visto questo fenomeno replicarsi nel mondo reale?

Ogni volta che vedo un incidente con la Tesla. Soprattutto i primi. Ero tipo, Sì, eccolo. Le persone si fidano troppo di questi sistemi. E ricordo dopo il primo, cosa hanno fatto? Erano tipo, ora devi tenere il volante per qualcosa come incrementi di cinque secondi. Se non hai la mano sul volante, il sistema si disattiva.

Ma, sai, non sono mai venuti a parlare con me o il mio gruppo, perché non funzionerà. E il motivo per cui non funziona è perché è molto facile giocare con il sistema. Se stai guardando il tuo cellulare e poi senti il ​​segnale acustico, devi solo alzare la mano, giusto? È subconscio. Non stai ancora prestando attenzione. Ed è perché pensi che il sistema sia a posto e che puoi ancora fare qualunque cosa stavi facendo: leggere un libro, guardare la TV o guardare il tuo telefono. Quindi non funziona perché non hanno aumentato il livello di rischio o incertezza, o incredulità o sfiducia. Non l'hanno aumentato abbastanza per consentire a qualcuno di impegnarsi nuovamente.

Storia correlata

Quando gli algoritmi sbagliano, la colpa è dell'essere umano più vicino Uno sguardo ai casi di studio storici ci mostra come gestiamo la responsabilità dei sistemi automatizzati.

È interessante che tu stia parlando di come, in questo tipo di scenari, devi progettare attivamente la sfiducia nel sistema per renderlo più sicuro.

Sì, è quello che devi fare. In questo momento stiamo provando un esperimento sull'idea del denial of service. Non abbiamo ancora risultati e stiamo lottando con alcune preoccupazioni etiche. Perché una volta che ne parliamo e pubblichiamo i risultati, dovremo spiegare perché a volte potresti non voler dare all'IA la possibilità di negare un servizio. Come si rimuove il servizio se qualcuno ne ha davvero bisogno?

Ma ecco un esempio con la cosa della sfiducia di Tesla. Denial of service sarebbe: creo un profilo di tua fiducia, che posso fare in base a quante volte hai disattivato o disimpegnato dal tenere il volante. Dati quei profili di disimpegno, posso quindi modellare a che punto sei completamente in questo stato di fiducia. Lo abbiamo fatto, non con i dati di Tesla, ma con i nostri stessi dati. E ad un certo punto, la prossima volta che entri in macchina, ti viene negato il servizio. Non hai accesso al sistema per il periodo di tempo X.

È quasi come quando punisci un adolescente togliendogli il telefono. Sai che gli adolescenti non faranno quello che non volevi che facessero se lo colleghi alla loro modalità di comunicazione.

Quali sono alcuni altri meccanismi che hai esplorato per aumentare la sfiducia nei sistemi?

L'altra metodologia che abbiamo esplorato è più o meno chiamata IA spiegabile, in cui il sistema fornisce una spiegazione rispetto ad alcuni dei suoi rischi o incertezze. Perché tutti questi sistemi hanno incertezza, nessuno di loro è al 100%. E un sistema sa quando è incerto. Quindi potrebbe fornire queste informazioni in un modo che un essere umano può capire, così le persone cambieranno il loro comportamento.

Ad esempio, supponiamo che io sia un'auto a guida autonoma e dispongo di tutte le informazioni sulla mia mappa e so che alcuni incroci sono più soggetti a incidenti di altri. Mentre ci avviciniamo a uno di loro, direi: ci stiamo avvicinando a un incrocio in cui 10 persone sono morte l'anno scorso. Lo spieghi in un modo in cui fa andare qualcuno, Oh, aspetta, forse dovrei essere più consapevole.

Abbiamo già parlato di alcune delle tue preoccupazioni riguardo alla nostra tendenza a fidarci troppo di questi sistemi. Cosa sono gli altri? D'altra parte, ci sono anche vantaggi?

Gli aspetti negativi sono davvero legati al pregiudizio. Ecco perché parlo sempre di pregiudizi e fiducia in modo intercambiabile. Perché se ho troppa fiducia in questi sistemi e questi sistemi stanno prendendo decisioni che hanno risultati diversi per diversi gruppi di individui - diciamo, un sistema di diagnosi medica ha differenze tra donne e uomini - ora stiamo creando sistemi che aumentano le disuguaglianze che abbiamo attualmente . Questo é un problema. E quando lo colleghi a cose legate alla salute o ai trasporti, che possono entrambi portare a situazioni di vita o di morte, una cattiva decisione può effettivamente portare a qualcosa da cui non puoi riprenderti. Quindi dobbiamo davvero aggiustarlo.

Gli aspetti positivi sono che i sistemi automatizzati sono migliori delle persone in generale. Penso che possano esserlo Anche meglio, ma personalmente preferirei interagire con un sistema di intelligenza artificiale in alcune situazioni piuttosto che con determinati esseri umani in altre situazioni. Ad esempio, so che ha alcuni problemi, ma dammi l'IA. Dammi il robot. Hanno più dati; sono più precisi. Soprattutto se hai una persona alle prime armi. È un risultato migliore. Potrebbe semplicemente essere che il risultato non sia uguale.

Oltre alla tua ricerca sulla robotica e sull'intelligenza artificiale, sei stato un grande sostenitore della crescente diversità nel campo durante tutta la tua carriera. Hai avviato un programma per fare da mentore a ragazze a rischio delle scuole medie 20 anni fa, ben prima che molte persone pensassero a questo problema. Perché è importante per te e perché è importante anche per il campo?

È importante per me perché posso identificare i momenti della mia vita in cui qualcuno mi ha fondamentalmente fornito l'accesso all'ingegneria e all'informatica. Non sapevo nemmeno che fosse una cosa. Ed è proprio per questo che in seguito non ho mai avuto problemi a sapere che potevo farcela. E così ho sempre sentito che era solo mia responsabilità fare la stessa cosa per coloro che l'hanno fatto per me. Quando sono cresciuto, ho notato che c'erano molte persone che non mi assomigliavano nella stanza. Quindi ho capito: aspetta, c'è sicuramente un problema qui, perché le persone semplicemente non hanno i modelli di ruolo, non hanno accesso, non sanno nemmeno che è una cosa.

E il motivo per cui è importante sul campo è perché ognuno ha una differenza di esperienza. Proprio come stavo pensando all'interazione uomo-robot prima ancora che diventasse una cosa. Non era perché ero brillante. Era perché ho visto il problema in un modo diverso. E quando parlo con qualcuno che ha un punto di vista diverso, è come, oh, proviamo a combinare e capire il meglio di entrambi i mondi.

Gli airbag uccidono più donne e bambini. Perché? Bene, dirò che è perché qualcuno non era nella stanza per dire, Ehi, perché non lo testiamo sulle donne sul sedile anteriore? Ci sono un sacco di problemi che hanno ucciso o sono stati pericolosi per determinati gruppi di persone. E direi che se torni indietro, è perché non avevi abbastanza persone che potessero dire Ehi, ci hai pensato? perché parlano della loro esperienza, del loro ambiente e della loro comunità.

Come speri che la ricerca sull'IA e sulla robotica si evolva nel tempo? Qual è la tua visione per il campo?

Se pensi alla codifica e alla programmazione, praticamente tutti possono farlo. Ci sono così tante organizzazioni ora come Code.org. Le risorse e gli strumenti ci sono. Mi piacerebbe avere una conversazione con uno studente un giorno in cui gli chiedo: conosci l'intelligenza artificiale e l'apprendimento automatico? e dicono, Dr. H, lo faccio dalla terza elementare! Voglio essere scioccato in quel modo, perché sarebbe meraviglioso. Certo, poi dovrei pensare a quale sarà il mio prossimo lavoro, ma questa è tutta un'altra storia.

Ma penso che quando hai gli strumenti con la codifica, l'intelligenza artificiale e l'apprendimento automatico, puoi creare i tuoi lavori, puoi creare il tuo futuro, puoi creare la tua soluzione. Quello sarebbe il mio sogno.

nascondere