Siamo in una crisi di diversità: cofondatore di Black in AI su ciò che sta avvelenando gli algoritmi nelle nostre vite

Timnit Gebru si guarda intorno nel mondo dell'IA e non vede quasi nessuno che le assomigli. Questo è un problema per tutti noi. Di

• Jackie Snow pagina di archivio

14 febbraio 2018

per gentile concessione di Timnit Brug

L'intelligenza artificiale è una parte sempre più integrata della nostra vita quotidiana, presente in qualsiasi cosa, dalle ricerche sul Web ai social media agli assistenti domestici come Alexa. Ma cosa facciamo se questa tecnologia di enorme importanza è involontariamente, ma fondamentalmente, parziale? E cosa facciamo se questo campo estremamente importante non include quasi nessun ricercatore nero? Timnit Gebru sta affrontando queste domande nell'ambito del gruppo Fairness, Accountability, Transparency, and Ethics in AI di Microsoft, a cui ha aderito la scorsa estate. Ha anche cofondato l'evento Black in AI alla conferenza sui sistemi di elaborazione delle informazioni neurali (NIPS) nel 2017 ed è stata membro del comitato direttivo della prima conferenza sull'equità e la trasparenza a febbraio. Ha parlato con Revisione della tecnologia del MIT su come il pregiudizio entra nei sistemi di intelligenza artificiale e come la diversità può contrastarlo.

In che modo la mancanza di diversità distorce l'intelligenza artificiale e in particolare la visione artificiale?

Questa storia faceva parte del nostro numero di marzo 2018

• Vedi il resto del problema
• sottoscrivi

Posso parlarne per un anno intero. C'è un pregiudizio sul tipo di problemi che riteniamo importanti, sul tipo di ricerca che riteniamo importante e su dove pensiamo debba andare l'IA. Se non abbiamo diversità nel nostro gruppo di ricercatori, non affronteremo i problemi che devono affrontare la maggior parte delle persone nel mondo. Quando i problemi non ci riguardano, non pensiamo che siano così importanti e potremmo non sapere nemmeno quali siano questi problemi, perché non stiamo interagendo con le persone che li stanno vivendo.

Quando ho iniziato Black in AI, l'ho iniziato con un paio di miei amici. Prima di allora avevo una minuscola mailing list in cui aggiungevo letteralmente qualsiasi persona di colore che vedevo in questo campo nella mailing list e dicevo: 'Ciao, sono Timnit. Sono la persona di colore numero due. Ciao, persona di colore numero uno. Diventiamo amici.'

Ci sono modi per contrastare i pregiudizi nei sistemi?

Il motivo per cui la diversità è davvero importante nell'IA, non solo nei set di dati ma anche nei ricercatori, è che hai bisogno di persone che abbiano solo questo senso sociale di come stanno le cose. Siamo in una crisi di diversità per l'IA. Oltre ad avere conversazioni tecniche, conversazioni sulla legge, conversazioni sull'etica, dobbiamo avere conversazioni sulla diversità nell'IA. Abbiamo bisogno di ogni sorta di diversità nell'IA. E questo deve essere trattato come qualcosa di estremamente urgente.

Da un punto di vista tecnico, ci sono molti diversi tipi di approcci. Uno è diversificare il tuo set di dati e avere molte annotazioni diverse del tuo set di dati, come razza, sesso ed età. Dopo aver addestrato un modello, puoi testarlo e vedere come funziona con tutti questi diversi sottogruppi. Ma anche dopo averlo fatto, sei destinato ad avere una sorta di distorsione nel tuo set di dati. Non puoi avere un set di dati che campiona perfettamente il mondo intero.

Qualcosa a cui sono davvero appassionato e su cui sto lavorando in questo momento è capire come incoraggiare le aziende a fornire più informazioni agli utenti o anche ai ricercatori. Avrebbero dovuto consigliare l'utilizzo, quali sono le insidie, quanto è parziale il set di dati, ecc. In modo che quando sono una startup e sto solo prendendo il tuo set di dati standard o modello standard e incorporandolo in qualsiasi cosa io stia facendo, almeno ho una certa conoscenza di quali tipi di insidie ​​potrebbero esserci. In questo momento siamo in un posto quasi come il selvaggio West, dove non abbiamo davvero molti standard [su] dove pubblichiamo set di dati.

E poi ci sono solo alcune cose per le quali probabilmente non dovresti usare l'apprendimento automatico in questo momento e non abbiamo una linea guida chiara per quali siano queste cose. Dovremmo dire che se hai intenzione di utilizzare l'apprendimento automatico per questo particolare compito, l'accuratezza del tuo modello dovrebbe essere almeno X e dovrebbe essere equa sotto questo particolare aspetto. Non abbiamo nessun tipo di guida neanche per questo. L'intelligenza artificiale sta iniziando solo ora a essere incorporata nel mainstream, in un prodotto ovunque, quindi siamo a un precipizio in cui abbiamo davvero bisogno di una sorta di conversazione sulla standardizzazione e l'utilizzo.

PER CORTESIA TIMNIT USATA

Qual è stata la motivazione alla base del tuo lavoro con Google Street View e altre ricerche demografiche?

Quando abbiamo iniziato questo progetto, c'era pochissimo lavoro da fare per cercare di analizzare la cultura usando le immagini. Ma sappiamo che online la maggior parte dei nostri dati è sotto forma di immagini. Una delle nostre motivazioni era mostrare che si potevano fare analisi sociali usando le immagini.

Questo potrebbe essere molto utile nei casi in cui ottenere dati basati su sondaggi è davvero difficile. Ci sono posti nel mondo in cui le infrastrutture non ci sono e le risorse non ci sono per mandare le persone porta a porta e raccogliere [censimento] dati, [ma dove] avere una comprensione dei diversi tipi di popolazione che vivono nel tuo paese significherebbe essere molto utile.

Ma poi di nuovo, questa è esattamente la cosa che mi ha fatto venire voglia di studiare l'equità. Perché se ho intenzione di continuare a fare questa linea di lavoro, ho davvero bisogno di avere una migliore comprensione delle ripercussioni potenzialmente negative. Quali sono le ripercussioni per la sorveglianza? Inoltre, quali sono le ripercussioni di una distorsione del set di dati? In qualsiasi tipo di progetto di data mining, avrai un pregiudizio. Quindi la mia linea di lavoro è stata davvero ciò che mi ha portato a voler trascorrere un po' di tempo nella comunità dell'equità per capire dove potevano essere le insidie.

Quali problemi speri di affrontare con questa prima conferenza sull'equità e la trasparenza?

Questa è davvero la prima conferenza che affronta le questioni di equità, responsabilità, etica e trasparenza nell'IA. Ci sono stati workshop in altre conferenze e per lo più ci sono stati workshop in conferenze basate sull'elaborazione del linguaggio naturale o conferenze basate sull'apprendimento automatico. È davvero importante tenere la conferenza a sé stante perché deve essere lavorata da persone di molte discipline che parlano tra loro.

Le persone che apprendono da sole non possono risolvere questo problema. Ci sono problemi di trasparenza; ci sono problemi su come le leggi dovrebbero essere aggiornate. Se hai intenzione di parlare di pregiudizi nell'assistenza sanitaria, vuoi parlare con [professionisti sanitari] di dove potrebbero essere i potenziali pregiudizi e quindi puoi pensare a come avere una soluzione basata sull'apprendimento automatico.

Qual è stata la tua esperienza di lavoro nell'IA?

Non è facile. Amo il mio lavoro. Amo la ricerca su cui lavoro. Amo il campo. Non riesco a immaginare cos'altro farei al riguardo. Detto questo, è molto difficile essere una donna di colore in questo campo. Quando ho iniziato Black in AI, l'ho iniziato con un paio di miei amici. Prima di allora avevo una minuscola mailing list in cui avrei letteralmente aggiunto qualsiasi persona di colore che avessi visto in questo campo nella mailing list e avrei detto, ciao, sono Timnit. Sono la persona di colore numero due. Ciao, persona di colore numero uno. Diventiamo amici.

Ciò che l'ha fatto davvero accelerare è stato [nel 2016] quando sono andato al NIPS e qualcuno diceva che c'erano circa 8.500 persone. Ho contato sei neri. Ero letteralmente nel panico. Questo è l'unico modo in cui posso descrivere come mi sono sentito. Ho visto che questo campo stava crescendo esponenzialmente, colpendo il mainstream; sta colpendo ogni parte della società. Allo stesso tempo, ho visto anche molta retorica sulla diversità e su come molte aziende pensano che sia importante.

E ho visto una discrepanza tra la retorica e l'azione. Perché sei neri su 8.500, è un numero ridicolo, giusto? Questo è quasi lo zero percento. Ero tipo, dobbiamo fare qualcosa ora. Voglio lanciare un invito all'azione alle persone che credono che la diversità sia importante. Perché è un'emergenza e dobbiamo fare qualcosa adesso.

nascondere