211service.com
Ho iniziato a piangere: dentro gli ultimi giorni di Timnit Gebru su Google e cosa succede dopo
.
Nhung Le
16 dicembre 2020
Ormai, abbiamo tutti sentito una versione della storia. Il 2 dicembre, dopo un lungo disaccordo sulla pubblicazione di un documento di ricerca, Google ha costretto il suo co-leader dell'IA etica, Timnit Gebru . Il giornale era sul rischi dei grandi modelli linguistici , modelli di intelligenza artificiale addestrati su quantità sbalorditive di dati di testo, che sono una linea di ricerca fondamentale per l'attività di Google. Gebru, una voce di primo piano nell'etica dell'IA, è stata una delle uniche donne di colore in Google Research.
Da allora la mossa ha acceso un dibattito sulla crescente influenza aziendale sull'IA, sulla mancanza di diversità di lunga data nella tecnologia e su cosa significhi fare una ricerca etica significativa sull'IA. Al 15 dicembre, oltre 2.600 dipendenti di Google e altri 4.300 nel mondo accademico, industriale e della società civile avevano firmato una petizione denunciando il licenziamento di Gebru, definendolo una censura della ricerca senza precedenti e un atto di ritorsione.
Storia correlata
Abbiamo letto il documento che ha costretto Timnit Gebru a lasciare Google. Ecco cosa dice. Il famoso ricercatore di etica dell'azienda ha evidenziato i rischi dei modelli linguistici di grandi dimensioni, che sono fondamentali per l'attività di Google.
Gebru è noto per il lavoro fondamentale in rivelando la discriminazione dell'IA , sviluppando modalità di documentazione e auditing dei modelli di IA e sostenendo una maggiore diversità nella ricerca. Nel 2016 è cofondatrice l'organizzazione no profit Black in AI , che è diventata una risorsa centrale per gli attivisti per i diritti civili, gli organizzatori del lavoro e i principali ricercatori di etica dell'IA, coltivando e mettendo in evidenza i talenti della ricerca sull'IA nera.
La perdita del lavoro non ha rallentato Gebru. La settimana successiva, ha preso parte a diversi workshop presso NeurIPS, la più grande conferenza annuale di ricerca sull'IA, a cui hanno partecipato oltre 20.000 persone quest'anno. È stato terapeutico, dice, vedere come la comunità che aveva contribuito a costruire si presentava e si sosteneva a vicenda. Ora, un'altra settimana dopo, si sta solo rilassando e riprendendo fiato, e sta cercando di dare un senso a tutto questo.
Lunedì 14 dicembre ho incontrato Gebru tramite Zoom. Ha raccontato cosa è successo durante il suo periodo in Google, ha riflettuto su cosa significasse per il campo e la ricerca sull'etica dell'IA e ha dato consigli di addio a coloro che vogliono continuare a ritenere responsabili le aziende tecnologiche. Puoi anche ascoltare un episodio speciale del nostro podcast, In Machines We Trust, per i momenti salienti dell'intervista. (Google ha rifiutato una richiesta di commento sui contenuti di questa intervista.)
Quanto segue è stato modificato e condensato.
Volevo prima controllare come stai.
Mi sento come se non avessi davvero avuto il tempo di elaborare emotivamente tutto ciò che è accaduto e le sue ripercussioni. Sto solo andando e andando e andando. Quindi sento che probabilmente cadrò a pezzi ad un certo punto quando c'è un po' di tregua. Ma in questo momento sono solo molto preoccupato per la mia squadra e per le persone che mi supportano, e per i tipi di rischi che stanno correndo, e per assicurarmi che non siano oggetto di ritorsioni.
Ci sono stati così tanti resoconti di ciò che è successo. Volevo partire da un punto molto precedente di questa storia. Cosa ti ha fatto scegliere inizialmente di lavorare in Google e com'era Google a quei tempi?
Penso Samy [Bengio, direttore di Google AI] e Jeff [Dean, vicepresidente senior di Google Research] erano al workshop Black in AI [a NeurIPS nel 2017]. Mi chiedevano cosa facessi e mi dissero: Oh sì, dovresti venire a lavorare in Google. Non ci stavo pianificando. All'epoca stavo facendo il mio post-dottorato presso Microsoft Research [MSR]. Non avevo capito cosa avrei fatto dopo. Ma sapevo che volevo tornare nella Bay Area e stavano creando un ufficio ad Accra, in Ghana. Ho pensato che sarebbe stato bene per me aiutare con quello.
Avevo molte riserve. Ero a New York City all'MSR e c'erano molte donne vocali lì: Danah Boyd, Hannah Wallach, Jen [Wortman Vaughan], Kate Crawford, Mary Gray. Non c'erano davvero donne di colore. Le uniche donne nere che conosco tra tutte le ricerche di Microsoft sono Danielle Bellgrave nel Regno Unito e Shawndra Hill a New York. Ma comunque, anche gli uomini erano molto favorevoli. Ero molto riluttante ad andare in un ambiente in cui sapevo che Google Research non era ben noto per la sua difesa delle donne. C'erano una serie di problemi che avevo sentito attraverso le mie reti sussurranti. In effetti, quando ho detto che sarei andato su Google Research, un certo numero di persone mi ha effettivamente messo a sedere. Quindi lo stavo già temendo, tipo Oh, amico, ok, in cosa sto andando?
Sono stata sicuramente la prima donna di colore a essere ricercatrice presso Google. Dopo di me, abbiamo altre due donne nere. Questo è, tipo, fuori da così tanti ricercatori. Centinaia e centinaia. Tre su Dio sa quanti.
Non hanno deluso. Era solo una lotta continua. Stavo cercando di affrontarlo parlando con le persone, cercando di educarle, cercando di convincerle a vedere un certo punto di vista. Continuavo a pensare che avrebbero potuto fare di meglio, sai? Con Samy, è diventato un grande sostenitore. Le persone si lamentavano del fatto che questa organizzazione [Google Research] assumesse solo il 14% di donne. Samy, il mio manager, ha assunto il 39% di donne. Non era come se avesse alcun incentivo a farlo. Era l'unico motivo per cui sento che non mi è successo prima. Probabilmente è perché ci stava proteggendo. E proteggendoci, si sarebbe cacciato nei guai lui stesso. Se gli altri leader ti stanno controllando i toni e sei troppo rumoroso, sei come un piantagrane - sappiamo tutti che è quello che succede a persone come me - allora se qualcuno ti difende, ovviamente sarà anche un problema per gli altri leader.
Quindi sono stati i miei due anni in Google. In realtà pensavo che forse avremmo fatto progressi fino all'ultimo incidente, perché la nostra squadra è cresciuta. È passato dall'essere quasi disintegrato: due mesi dopo la mia permanenza in Google, la mia co-responsabile, Meg Mitchell, stava per dimettersi. Ma poi abbiamo ampliato il nostro team e ora siamo tipo 12 persone. Quindi ho pensato che stessimo facendo un passo avanti.
Si è parlato tanto di diversità e inclusione, ma di tanta ipocrisia. Sono una delle donne nere all'1,6% di Google. In [Google] Research, non è dell'1,6%, è molto più basso. Sono stata sicuramente la prima donna di colore a essere ricercatrice presso Google. Dopo di me, abbiamo altre due donne nere. Questo è, tipo, fuori da così tanti ricercatori. Centinaia e centinaia. Tre su Dio sa quanti.
Quindi ad un certo punto ero tipo, sai una cosa? Non voglio nemmeno parlare di diversità. È solo estenuante. Vogliono avere incontri con te, non ti ascoltano e poi vogliono incontrarti di nuovo. Ho scritto un milione di documenti su un milione di cose relative alla diversità: sull'alfabetizzazione razziale e sull'apprendimento automatico [ML], iniziative di equità sul riciclaggio di denaro, sulla fidelizzazione delle donne e sui problemi. Tanti documenti e tante email.
Quindi è stata solo una cosa dopo l'altra. Non c'è stata una sola vacanza che ho fatto all'interno di Google in cui non fossi nel mezzo di un problema o di un altro. Semplicemente non è mai stata la pace della mente. Immagina che qualcuno ti stia sparando con una pistola e tu stia urlando. E invece di cercare di fermare la persona che ti sta sparando con una pistola, stanno cercando di impedirti di urlare. È così che ci si sente. Era così doloroso essere in quella posizione ancora e ancora e ancora.
Hai creato con successo uno dei team più diversificati nel settore dell'IA. Cosa ci è voluto effettivamente per farlo?
Abbiamo dovuto combattere ogni genere di cose. Dovevo essere un manager, e poi la gente non voleva che fossi un manager. Ero tipo, ok, ho avviato un'organizzazione no-profit molto nota. Perché hai 'preoccupazioni' sul fatto che io sia un manager? Samy non me l'ha detto, ma ha dovuto consegnare questo messaggio: lei sa che può essere licenziata per cose? Sa che se diventa una manager, dovrà essere un rappresentante di Google? Poi le persone hanno sollevato preoccupazioni sul fatto che sembrassi infelice in Google. Non è come, oh, c'è una cultura tossica che sta rendendo infelici le persone come lei. Quindi sistemiamo quella cultura. No, non era quella la conversazione. La conversazione era che sembra essere infelice, quindi non facciamo di lei una manager.
Ero livido in quel momento. Ero così arrabbiato. Chiedevo a tutte le altre persone che sono diventate manager al mio livello qual è stata la loro esperienza. Dico, questa persona è diventata un manager e nessuno gli ha mai chiesto se sapeva che sarebbe stato licenziato per X, Y e Z. Quest'altra persona è diventata un manager. Nessuno doveva parlare con loro. Non c'è stata alcuna discussione. Per me non è stato così.
Immagina che qualcuno ti stia sparando con una pistola e tu stia urlando. E invece di cercare di fermare la persona che ti sta sparando con una pistola, stanno cercando di impedirti di urlare.
Un'altra cosa: volevamo assumere scienziati sociali. Molte volte i ricercatori assumono semplicemente i loro amici e non volevamo farlo. Abbiamo fatto una chiamata. Abbiamo 300 domande. Li abbiamo esaminati a mano perché volevamo assicurarci che i reclutatori non filtrassero determinati gruppi di persone. Abbiamo telefonato velocemente con una ventenne, abbiamo avuto un colloquio in loco con 10 persone e poi ne abbiamo assunte due.
Il motivo per cui pensavo che stessimo facendo progressi era perché siamo stati in grado di ottenere risorse per assumere queste persone. Quindi ho pensato che forse Jeff stava iniziando a supportare la nostra squadra e supportare il tipo di cose che stavamo facendo. Non avrei mai immaginato - non so esattamente come sia andata a finire questa cosa - ma semplicemente non immaginavo che avrebbe firmato [il mio licenziamento]. Non riesco a immaginare che lo abbia avviato, ma anche lui che lo ha firmato è stato qualcosa di così sorprendente per me.
Durante il periodo in cui stavi creando il team, sei riuscito a costruire relazioni con altri team di Google? Alcune parti dell'organizzazione stavano diventando più ricettive alle questioni etiche dell'IA?
La maggior parte delle persone nel nostro team è sommersa da richieste di altri team o altre persone. E una delle nostre sfide era quella di non essere sempre nel mezzo di un incendio, perché volevamo essere lungimiranti. Volevamo dare forma a ciò che accadrà in futuro e non solo reagire.
La più grande discrepanza che vedo è che ci sono così tante persone che ci rispettano, ma poi ci sono persone al vertice, come i vicepresidenti, che forse non ci sopportano o semplicemente non rispettano affatto la nostra autorità o competenza. L'ho visto un certo numero di volte. Ma le persone in Google Cloud, o in particolare Cloud AI, alcuni dei dirigenti senior, sono stati di grande supporto. Sentivo che rispettassero davvero la nostra leadership, quindi avrebbero cercato di coinvolgerci in molte cose. D'altra parte, questo ultimo fiasco non è stato da loro. Ho i miei sospetti su quali vicepresidenti provenisse e di certo non hanno rispettato la nostra esperienza o leadership.
Potresti parlarne un po' di più?
Bene, anche se vedessi e basta l'e-mail di Jeff —Suppongo che non abbia scritto questa e-mail; Presumo che qualcuno l'abbia scritto e l'abbia inviato: parla di come la nostra ricerca [documento sui modelli linguistici di grandi dimensioni] avesse delle lacune, mancava della letteratura. [L'e-mail non] suona come se stessero parlando con persone esperte nella loro zona. Questa non è una revisione tra pari. Questo non è il recensore n. 2 che ti dice, Ehi, c'è questa citazione mancante. Questo è un gruppo di persone, che non conosciamo, che sono in alto perché sono su Google da molto tempo, a cui, per qualche motivo e processo sconosciuto che non ho mai visto, è stato dato il potere per chiudere questa ricerca.
Avevamo 128 citazioni [su quel foglio] e abbiamo inviato il nostro articolo a molte di queste persone che abbiamo citato. Siamo stati così scrupolosi. Ho detto, va bene, voglio raggruppare le persone a cui chiederemo un feedback in quattro secchi. Uno sono le persone che hanno sviluppato loro stessi grandi modelli linguistici, solo per avere la loro prospettiva. Uno sono le persone che lavorano nell'area della comprensione e dell'attenuazione dei pregiudizi in questi modelli. Uno sono le persone che potrebbero non essere d'accordo con il nostro punto di vista. Uno sono le persone che usano questi grandi modelli linguistici per varie cose. E abbiamo un intero documento con tutto questo feedback che dovevamo affrontare e che voglio ancora fare prima di pubblicare questo lavoro.
Ma il modo in cui [la leadership di Google] ci parlava, non era come se stessero parlando con esperti e linguisti di fama mondiale. Come Emily Bender [una professoressa all'Università di Washington e coautrice del documento] non è una persona a caso che ha appena messo il suo nome su un foglio a caso là fuori. Mi sentivo come se l'intera faccenda fosse così irrispettosa.
Prima di questo articolo in particolare, ci sono stati casi precedenti in cui hai mai pensato che Google stesse limitando o limitando la capacità del tuo team di condurre ricerche?
Mi sentivo come se ci fossero stati casi precedenti in cui hanno annacquato molto i risultati della ricerca. Le persone hanno avuto conversazioni con PR e politiche o altro, e avrebbero contestato determinate parole o contestato determinate specifiche. È quello che pensavo potessero provare a fare anche con questo foglio. Così ho scritto un documento e ho continuato a chiedere loro, qual è esattamente il tuo feedback? Il tuo feedback è per aggiungere una sezione? Rimuovere? Cosa significa questo? Cosa ci stai chiedendo?
Questa è stata letteralmente la mia e-mail venerdì dopo il Ringraziamento [ 27 novembre, cinque giorni prima del licenziamento di Gebru ] perché il giorno del Ringraziamento avevo passato la giornata a scrivere questo documento invece di divertirmi con la mia famiglia. Il giorno successivo, venerdì, che è il momento in cui avrei dovuto ritrattare questo articolo, ho scritto: Ok, ho scritto questo documento di sei pagine affrontando ad alto e basso livello qualsiasi feedback posso raccogliere. E spero che ci sia almeno un'apertura per ulteriori conversazioni piuttosto che solo ulteriori ordini. Ho scritto quella e-mail. Come quello. Come risponde Megan [Kacholia, VP of Engineering presso Google Research] a questa email? Lunedì, lei risponde e dice: Può confermare di aver ritrattato il documento o di aver tolto i nomi degli autori da questo articolo. Grazie. E puoi per favore confermare dopo averlo fatto. Mandami una mail e conferma. Come se non avessi un'agenzia.
Non è quello che fanno alle persone che si sono impegnate in una grave cattiva condotta. Danno loro 80 milioni di dollari e danno loro una bella uscita. Non fanno quello che hanno fatto a me.
Poi, in quel documento, ho scritto che questo è stato estremamente irrispettoso nei confronti del team di intelligenza artificiale etica, e ci deve essere una conversazione, non solo con Jeff e il nostro team, e Megan e il nostro team, ma l'intera ricerca sul rispetto per i ricercatori e come avere questo tipo di discussioni. No. Nessun impegno con questo.
Ho pianto, tra l'altro. Quando ho avuto il primo incontro, giovedì prima del Ringraziamento, un giorno prima che andassi in vacanza, quando Megan ci ha detto che devi ritrattare questo documento, ho iniziato a piangere. Ero così arrabbiato perché ho detto che sono così stanco di combattere costantemente qui. Ho pensato che se avessi semplicemente ignorato tutta questa ipocrisia della DEI [diversità, equità e inclusione] e altre cose, e mi fossi concentrato solo sul mio lavoro, almeno avrei potuto portare a termine il mio lavoro. E ora vieni per il mio lavoro. Così ho letteralmente iniziato a piangere.
Cosa pensi che fosse su questo particolare giornale che ha toccato questi eventi? Pensi che si trattasse effettivamente di questo articolo o c'erano altri fattori in gioco?
Non lo so. Samy era inorridito dall'intera faccenda. Diceva, non è così che trattiamo i ricercatori. Voglio dire, non è così che tratti le persone in generale. Le persone parlano di come, se questo accade a qualcuno così realizzato, mi fa immaginare cosa fanno alle persone, specialmente alle persone nei gruppi vulnerabili.
Probabilmente pensavano che sarei stato super silenzioso al riguardo. Non lo so. Non credo che il risultato finale riguardasse solo questo foglio. Forse sono rimasti sorpresi dal fatto che io abbia respinto in alcun modo. Sto ancora cercando di capire cosa è successo.
Hai mai sospettato, sulla base degli eventi e delle tensioni precedenti, che sarebbe finita in questo modo? E ti aspettavi la risposta della community?
Ho pensato che mi avrebbero reso abbastanza infelice da andarmene, o qualcosa del genere. Ho pensato che sarebbero stati più intelligenti che farlo in questo modo esatto, perché è una confluenza di così tante questioni che stanno affrontando: censura della ricerca, IA etica, diritti del lavoro, DEI—tutte le cose in cui sono finiti fuoco per prima. Quindi non mi aspettavo che fosse in quel modo, tipo tagliare completamente il mio account aziendale. È così spietato. Non è quello che fanno alle persone che si sono impegnate in una grave cattiva condotta. Essi consegna loro 80 milioni di dollari , e danno loro una bella via d'uscita, o forse non li promuovono in modo passivo-aggressivo, o altro. Non fanno alle persone che stanno effettivamente creando un ambiente di lavoro ostile quello che hanno fatto a me.
L'ho scoperto dai miei rapporti diretti, sai? Che è così, così triste. Erano così traumatizzati. Penso che la mia squadra sia rimasta sveglia fino alle 4 o 5 del mattino insieme, cercando di dare un senso a quello che è successo. E andare in giro per Samy, è stato tutto così terribile e spietato.
Ho pensato che se solo... mi fossi concentrato sul mio lavoro, allora almeno avrei potuto portare a termine il mio lavoro. E ora vieni per il mio lavoro. Così ho letteralmente iniziato a piangere.
Mi aspettavo una certa quantità di supporto, ma sicuramente non mi aspettavo la quantità di effusione che c'è. È stato incredibile da vedere. Non ho mai, mai provato qualcosa del genere. Voglio dire, parenti casuali mi stanno scrivendo, l'ho visto al telegiornale. Non è sicuramente qualcosa che mi aspettavo. Ma le persone stanno correndo così tanti rischi in questo momento. E questo mi preoccupa, perché voglio davvero assicurarmi che siano al sicuro.
Hai detto che questo non riguarda solo te; non si tratta solo di Google. È una confluenza di così tante questioni diverse. Cosa dice questa particolare esperienza sull'influenza delle aziende tecnologiche sull'IA in generale e sulla loro capacità di svolgere effettivamente un lavoro significativo nell'etica dell'IA?
Sai, c'erano un certo numero di persone confrontando Big Tech e Big Tobacco e come stavano censurando la ricerca anche se conoscevano i problemi da un po'. Respingo la dicotomia accademia-tecnologia, perché entrambi hanno lo stesso tipo di paradigma molto razzista e sessista. Il paradigma che impari e porti su Google o ovunque inizi nel mondo accademico. E le persone si muovono. Vanno all'industria e poi tornano al mondo accademico, o viceversa. Sono tutti amici; stanno andando tutti alle stesse conferenze.
Non penso che la lezione sia che non dovrebbe esserci alcuna ricerca sull'etica dell'IA nelle aziende tecnologiche, ma penso che la lezione sia che a) ci deve essere molta più ricerca indipendente. Dobbiamo avere più scelte rispetto alla DARPA [l'Agenzia per i progetti di ricerca avanzata della difesa] rispetto alle società. E b) ci deve essere il controllo delle aziende tecnologiche, ovviamente. A questo punto proprio non capisco come possiamo continuare a pensare che si autoregolano sulla DEI o sull'etica o qualunque cosa sia. Non hanno fatto la cosa giusta e non la faranno.
Penso che le istituzioni accademiche e le conferenze debbano ripensare alle loro relazioni con le grandi aziende e alla quantità di denaro che stanno prendendo da loro. Alcune persone si chiedevano persino, ad esempio, se alcune di queste conferenze non dovessero avere un codice di condotta senza censure o qualcosa del genere. Quindi penso che ci sia molto che queste conferenze e istituzioni accademiche possono fare. C'è troppo squilibrio di potere in questo momento.
Quale ruolo pensi possano svolgere i ricercatori di etica se sono nelle aziende? In particolare, se il tuo ex team rimane in Google, che tipo di percorso vede per loro in termini di capacità di produrre un lavoro di grande impatto e significativo?
Penso che ci debba essere una sorta di protezione per persone del genere, o ricercatori del genere. In questo momento, è ovviamente molto difficile immaginare come qualcuno possa fare una vera ricerca all'interno di queste società. Ma se tu avessi la protezione del lavoro, se hai la protezione degli informatori, se hai un po' più di supervisione, potrebbe essere più facile per le persone essere protette mentre svolgono questo tipo di lavoro. È molto pericoloso se hai questo tipo di ricercatori che fanno quello che il mio co-responsabile chiamava foglia di fico - insabbiamento - lavoro. Ad esempio, non stiamo cambiando nulla, stiamo solo mettendo una foglia di fico sull'arte. Se ti trovi in un ambiente in cui le persone che hanno il potere non sono investite nel cambiare nulla per davvero, perché non hanno alcun incentivo, ovviamente avere questo tipo di ricercatori integrati non aiuterà affatto. Ma penso che se riusciamo a creare meccanismi di responsabilità e supervisione, meccanismi di protezione, spero che potremo consentire a ricercatori come questo di continuare ad esistere nelle aziende. Ma molto deve cambiare perché ciò accada.
Oltre alle conferenze o al regolamento che modificano le strutture degli incentivi, ci sono altri meccanismi o cose che potresti vedere come parte di questo quadro di controllo esterno? Vedete qualche ruolo che il pubblico potrebbe svolgere nel ritenere responsabili le aziende tecnologiche?
Devo pensare di più a questo. Penso che il pubblico debba essere più istruito sul ruolo che le aziende tecnologiche, e anche l'IA, svolgono nella nostra vita quotidiana. Molte persone hanno fatto davvero un buon lavoro in questo senso. La gente ha scritto libri— Armi di distruzione matematica per me è stato un ottimo libro da leggere. C'è Bias codificato , il documentario. Sono anche felice di iniziare a vedere le università che offrono alcuni di questi corsi di informatica. Penso che dovrebbero essere obbligatori. Nicki Washington ha una lezione alla Duke che avrei voluto prendere. Ruha [Benjamin] ha una classe [a Princeton] . Penso che la nostra comprensione di come si sviluppa la scienza e di come si sviluppa l'ingegneria, debba solo cambiare. Il pubblico ha bisogno di capire la natura politica di questo lavoro. I sistemi di istruzione superiore, a mio avviso, sono molto indietro in questo modo. Hanno bisogno di fare molto lavoro.
Per quanto riguarda il pubblico, penso che se dovessi tornare a tre, quattro anni fa, ci sarebbe stata molta meno consapevolezza. Ora entità come l'ACLU [American Civil Liberties Union] sono pesantemente coinvolte; hai la Justice League algoritmica , Dati per Black Lives , facendo un sacco di lavoro qui. Quindi penso che il pubblico possa saperne di più. Ma penso che questo riguardi più in realtà i politici, perché abbiamo un meccanismo per coinvolgere il pubblico in varie cose. Ma i politici non stanno dando al pubblico un modo per essere coinvolto. Ad esempio, [società di analisi dei dati] Palantir veniva usato a New Orleans per la polizia predittiva e nessuno lo sapeva. Non c'è stato nessun voto. Non c'era fattura. Non c'è stata alcuna discussione a riguardo. Quindi il nostro governo deve dare attivamente al pubblico la possibilità di intervenire su questo tipo di questioni.
Cosa significa svolgere effettivamente un lavoro significativo sull'etica dell'IA?
Penso che forse significhi che puoi mettere in discussione le premesse fondamentali e le questioni fondamentali dell'IA. Non devi solo nascondere le cose, o non devi essere solo reazionario. Puoi avere preveggenza sul futuro e puoi iniziare presto mentre i prodotti vengono pensati e sviluppati, e non solo fare le cose a posteriori. Questa è la cosa numero uno a cui penso. E che le persone più colpite dalla tecnologia dovrebbero avere voce in capitolo, fin dall'inizio.
Hai menzionato in precedenza come l'etica nelle aziende tecnologiche spesso provenga dall'alto, da persone che non sono necessariamente quelle interessate dalla tecnologia. Qual è l'equilibrio ideale per avere effettivamente voci emarginate che guidano la conversazione, pur avendo anche il consenso della leadership?
Se le persone ai margini non hanno potere, allora non c'è alcun incentivo per nessuno ad ascoltarle o ad avere loro di plasmare la discussione. Quindi penso che le persone al vertice debbano promuovere un ambiente in cui le persone ai margini siano quelle che modellano le discussioni su queste cose, sull'etica dell'IA, sulla diversità e sull'inclusione.
Ci viene insegnato quando impariamo la scienza in modo obiettivo, ciò che viene chiamato la vista dal nulla, come se non dovessi portare il tuo punto di vista su di essa. Penso che le persone dovrebbero fare esattamente il contrario.
Non è quello che sta succedendo in questo momento. Vai su Google e vedi tutte le persone di alto livello che fanno etica dell'IA: non sono assolutamente nemmeno persone di gruppi sottorappresentati. Quella era la conversazione che stavamo avendo quando ero lì, e molti di noi ne erano super frustrati. Avevamo questi principi chiamati Niente su di noi senza di noi, e la prima cosa che ci è venuta in mente è stata la sicurezza psicologica. Riesci a immaginare? Ciò significa che non punirmi per aver parlato, che è esattamente quello che hanno fatto. Quindi devi cercare l'input, ma ripeto, non farlo in modo predatorio. Prima ancora di pensare ai prodotti che stai costruendo o alla ricerca che stai facendo, devi iniziare a immaginare: come puoi lavorare con le persone ai margini per plasmare questa tecnologia?
Ti vedi in un certo senso come un martire?
Non stavo cercando di esserlo e non penso di essere un martire in questo momento. Spero di essere più un agente per il cambiamento. Ma sì, Google in un certo senso me ne ha fatto uno, più di quanto sarei stato se non me lo avessero fatto.
Qual è il prossimo passo per te?
Oddio. Non ho avuto tempo per pensarci. In questo momento sto letteralmente cercando di assicurarmi che la mia squadra sia al sicuro, di assicurarmi che la narrativa su ciò che sta succedendo con me sia accurata e di prendere un po' di respiro quando posso. Se tutto va bene, bevi del vino, mangia del cibo, mangi del cioccolato, esci con la famiglia. E forse lo scoprirò dopo. Ma la mia più grande priorità è non essere nel tipo di ambiente in cui mi trovavo. Questa è la mia priorità più grande.
Che consiglio hai per le altre persone che vogliono costruire il lavoro che hai fatto?
Il mio consiglio è di documentarmi su alcune delle opere che ho citato, in particolare di Abito [Benjamin] , Meredith [Broussard] , Safiya [Nobile] , Simone Browne , e un certo numero di altre persone. E portaci dentro la tua esperienza vissuta. Non cercare di tirarti fuori da questo lavoro. Ha molto a che fare con te. Quindi il tuo angolo e la tua forza dipenderanno dalla tua esperienza vissuta. Ho tenuto un discorso chiamato La gerarchia della conoscenza e dell'apprendimento automatico , ed era più o meno questo: come ci viene insegnato quando impariamo la scienza in modo obiettivo, quella che viene chiamata la vista dal nulla, come se non dovessi portare il tuo punto di vista su di essa. Penso che le persone dovrebbero fare esattamente il contrario.
Aggiornamento: abbiamo chiarito il titolo di lavoro di Samy Bengio e corretto un riferimento a un ricercatore. Timnit si riferiva a Jen Wortman Vaughan, ricercatore principale senior di MSR, non a Jen Chayes, ex direttore della stessa azienda.