Dentro la lotta per recuperare l'IA dal controllo di Big Tech

Nella foto in alto da sinistra: Raphael Gontijo Lopes, Deborah Raji, Rediet Abebe. Seconda fila: Joy Buolamwini. Terza fila da sinistra: William Agnew, Timnit Gebru. Ricardo Santos

Timnit Gebru non ha mai pensato a carta scientifica le causerebbe tanti problemi.

Nel 2020, in qualità di co-responsabile del team di intelligenza artificiale etica di Google, Gebru aveva contattato Emily Bender , professore di linguistica all'Università di Washington, e i due hanno deciso di collaborare alla ricerca sulla direzione preoccupante dell'intelligenza artificiale. Gebru ha voluto identificare i rischi posti da grandi modelli linguistici , una delle più straordinarie scoperte recenti nella ricerca sull'IA. I modelli sono algoritmi addestrati su quantità sbalorditive di testo. Nelle giuste condizioni, possono comporre quelli che sembrano passaggi di prosa convincenti.

Questa storia faceva parte del nostro numero di luglio 2021

• Vedi il resto del problema
• sottoscrivi

Per alcuni anni, le aziende tecnologiche hanno gareggiato per costruire versioni più grandi e integrarle nei prodotti di consumo. Google, che ha inventato la tecnica, ne stava già utilizzando una per migliorare la pertinenza dei risultati di ricerca. OpenAI ha annunciato il più grande, chiamato GPT-3 , nel giugno 2020 e concesso in licenza in esclusiva a Microsoft pochi mesi dopo.

Gebru era preoccupato per la velocità con cui la tecnologia veniva implementata. Nel documento che ha finito per scrivere con Bender e altri cinque, ha dettagliato i possibili pericoli. I modelli erano estremamente costosi da creare, sia dal punto di vista ambientale (richiedono enormi quantità di potenza di calcolo) che finanziariamente; sono stati spesso formati sul linguaggio tossico e offensivo di Internet; e sarebbero arrivati ​​​​a dominare la ricerca nell'IA linguistica, sgomitando alternative promettenti.

Come altre tecniche di intelligenza artificiale esistenti, i modelli in realtà non comprendono il linguaggio. Ma poiché possono manipolarlo per recuperare informazioni testuali per gli utenti o generare conversazioni naturali, possono essere impacchettate in prodotti e servizi che fanno guadagnare alle aziende tecnologiche un sacco di soldi.

Quel novembre Gebru presentò il documento a una conferenza. Subito dopo, i dirigenti di Google le hanno chiesto di ritrattarlo e, quando ha rifiutato, l'hanno licenziata. Due mesi dopo, anche loro ha licenziato la sua coautrice Margaret Mitchell , l'altro leader del team di IA etica.

Lo smantellamento di quella squadra ha scatenato una delle più grandi controversie nel mondo dell'IA nella memoria recente. I difensori di Google hanno affermato che la società ha il diritto di supervisionare i propri ricercatori. Ma per molti altri ha consolidato i timori sul grado di controllo che i giganti della tecnologia hanno ora sul campo. Big Tech è ora il principale datore di lavoro e finanziatore dei ricercatori di intelligenza artificiale, inclusi, in qualche modo ironicamente, molti di coloro che ne valutano gli impatti sociali.

Storia correlata

Abbiamo letto il documento che ha costretto Timnit Gebru a lasciare Google. Ecco cosa dice.

Il famoso ricercatore di etica dell'azienda ha evidenziato i rischi dei modelli linguistici di grandi dimensioni, che sono fondamentali per l'attività di Google.

Tra le aziende più ricche e potenti del mondo, Google, Facebook, Amazon, Microsoft e Apple hanno reso l'IA una parte fondamentale della loro attività. Progressi nell'ultimo decennio, in particolare in una tecnica di intelligenza artificiale chiamata apprendimento approfondito , hanno consentito loro di monitorare il comportamento degli utenti; consigliare loro notizie, informazioni e prodotti; e soprattutto, indirizzali con annunci. L'anno scorso l'apparato pubblicitario di Google ha generato entrate per oltre 140 miliardi di dollari. Facebook ha generato 84 miliardi di dollari.

Le aziende hanno investito molto nella tecnologia che ha portato loro una così vasta ricchezza. La società madre di Google, Alphabet, ha acquisito il laboratorio di intelligenza artificiale con sede a Londra Mente Profonda per $ 600 milioni nel 2014 e spende centinaia di milioni all'anno per sostenere la sua ricerca. Microsoft ha firmato un accordo da 1 miliardo di dollari con OpenAI nel 2019 per i diritti di commercializzazione dei suoi algoritmi.

Allo stesso tempo, i giganti della tecnologia sono diventati grandi investitori nella ricerca sull'IA universitaria, influenzando pesantemente le sue priorità scientifiche. Nel corso degli anni, scienziati sempre più ambiziosi sono passati a lavorare a tempo pieno per giganti della tecnologia o hanno adottato una doppia affiliazione. Secondo uno studio condotto da ricercatori del Rete di intelligenza artificiale radicale , un gruppo che cerca di sfidare le dinamiche di potere nell'IA.

Il problema è che l'agenda aziendale per l'IA si è concentrata su tecniche con potenziale commerciale, ignorando in gran parte la ricerca che potrebbe aiutare ad affrontare sfide come la disuguaglianza economica e il cambiamento climatico. In effetti, ha peggiorato queste sfide. La spinta all'automazione delle attività ha comportato costi di lavoro e ha portato all'aumento di lavori noiosi come la pulizia dei dati e la moderazione dei contenuti. La spinta a creare modelli sempre più grandi ha fatto esplodere il consumo di energia dell'IA. Il deep learning ha anche creato una cultura in cui i nostri dati vengono costantemente raschiati, spesso senza consenso, per formare prodotti come i sistemi di riconoscimento facciale. E gli algoritmi di raccomandazione hanno esacerbato la polarizzazione politica, mentre i modelli linguistici di grandi dimensioni non sono riusciti a ripulire la disinformazione.

È questa situazione che Gebru e un movimento crescente di studiosi che la pensano allo stesso modo vogliono cambiare. Negli ultimi cinque anni, hanno cercato di spostare le priorità del settore lontano dal semplice arricchimento delle aziende tecnologiche, espandendo chi può partecipare allo sviluppo della tecnologia. Il loro obiettivo non è solo mitigare i danni causati dai sistemi esistenti, ma creare una nuova IA più equa e democratica.

Ciao da Timnit

Nel dicembre 2015 Gebru si è seduto per scrivere una lettera aperta. A metà del suo dottorato di ricerca a Stanford, aveva partecipato alla conferenza sui sistemi di elaborazione delle informazioni neurali, il più grande raduno annuale di ricerca sull'IA. Degli oltre 3.700 ricercatori presenti, Gebru ne contò solo una manciata di neri.

Una volta un piccolo incontro su una materia accademica di nicchia, NeurIPS (come è ora noto) stava rapidamente diventando la più grande manna d'oro annuale di lavoro AI. Le aziende più ricche del mondo stavano venendo per sfoggiare demo, organizzare feste stravaganti e scrivere assegni pesanti per le persone più rare della Silicon Valley: abili ricercatori di intelligenza artificiale.

Quell'anno Elon Musk arrivò per annunciare l'impresa senza scopo di lucro OpenAI . Lui, l'allora presidente di Y Combinator Sam Altman, e il cofondatore di PayPal Peter Thiel avevano messo a disposizione 1 miliardo di dollari per risolvere quello che credevano essere un problema esistenziale: la prospettiva che un giorno una superintelligence potesse conquistare il mondo. La loro soluzione: costruire una superintelligenza ancora migliore. Dei 14 consiglieri o membri del team tecnico che ha unto, 11 erano uomini bianchi.

RICCARDO SANTOS | FOTO DI CORTESIA

Mentre Musk veniva esaltato, Gebru stava affrontando umiliazioni e molestie. A una festa in conferenza, un gruppo di ragazzi ubriachi con le magliette di Google Research le ha fatto il giro del cerchio e l'ha sottoposta ad abbracci indesiderati, un bacio sulla guancia e una foto.

Gebru ha scritto una feroce critica a ciò che aveva osservato: lo spettacolo, il culto simile a un culto delle celebrità dell'IA e, soprattutto, la travolgente omogeneità. La cultura del club maschile, ha scritto, aveva già spinto le donne di talento fuori dal campo. Stava anche portando l'intera comunità verso una concezione pericolosamente ristretta dell'intelligenza artificiale e del suo impatto sul mondo.

Google aveva già implementato un algoritmo di visione artificiale che classificava i neri come gorilla, ha osservato. E la crescente sofisticatezza dei droni senza pilota stava mettendo le forze armate statunitensi sulla strada verso armi autonome letali. Ma non c'era alcuna menzione di questi problemi nel grande piano di Musk per impedire all'IA di conquistare il mondo in uno scenario futuro teorico. Non dobbiamo proiettarci nel futuro per vedere i potenziali effetti negativi dell'IA, ha scritto Gebru. Sta già accadendo.

Gebru non ha mai pubblicato la sua riflessione. Ma si rese conto che qualcosa doveva cambiare. Il 28 gennaio 2016, ha inviato un'e-mail con oggetto Hello da Timnit ad altri cinque ricercatori di Black AI. Sono sempre stata triste per la mancanza di colore nell'IA, ha scritto. Ma ora ho visto 5 di voi :) e ho pensato che sarebbe stato bello se avessimo iniziato un gruppo nero in AI o almeno ci conoscessimo.

L'e-mail ha suscitato una discussione. Che cosa è stato l'essere neri che ha informato la loro ricerca? Per Gebru, il suo lavoro era in gran parte un prodotto della sua identità; per altri no. Ma dopo l'incontro hanno concordato: se l'IA doveva svolgere un ruolo più importante nella società, avevano bisogno di più ricercatori neri. Altrimenti, il campo produrrebbe una scienza più debole e le sue conseguenze negative potrebbero peggiorare molto.

Un'agenda orientata al profitto

Come Nero nell'IA stava appena iniziando a fondersi, l'IA stava facendo il suo passo commerciale. Quell'anno, il 2016, i giganti della tecnologia hanno speso dai 20 ai 30 miliardi di dollari per lo sviluppo della tecnologia, secondo il McKinsey Global Institute.

Riscaldato dagli investimenti aziendali, il campo si è deformato. Altre migliaia di ricercatori hanno iniziato a studiare l'IA, ma per lo più volevano lavorare su algoritmi di deep learning, come quelli alla base di modelli linguistici di grandi dimensioni. Come giovane dottorando che vuole ottenere un lavoro in un'azienda tecnologica, ti rendi conto che le aziende tecnologiche sono incentrate sull'apprendimento profondo, afferma Suresh Venkatasubramanian, un professore di informatica che ora presta servizio presso l'Office of Science and Technology Policy della Casa Bianca. Quindi sposti tutta la tua ricerca sull'apprendimento profondo. Poi il prossimo dottorando che entra si guarda intorno e dice: 'Tutti stanno facendo il deep learning'. Probabilmente dovrei farlo anch'io.'

Ma il deep learning non è l'unica tecnica nel campo. Prima del suo boom, c'era un diverso approccio all'IA noto come ragionamento simbolico. Mentre il deep learning utilizza enormi quantità di dati per insegnare agli algoritmi le relazioni significative nelle informazioni, il ragionamento simbolico si concentra sulla codifica esplicita della conoscenza e della logica basate sull'esperienza umana.

Alcuni ricercatori ora credono che queste tecniche dovrebbero essere combinate. L'approccio ibrido renderebbe l'IA più efficiente nell'uso di dati ed energia e le darebbe le conoscenze e le capacità di ragionamento di un esperto, nonché la capacità di aggiornarsi con nuove informazioni. Ma le aziende hanno pochi incentivi a esplorare approcci alternativi quando il modo più sicuro per massimizzare i propri profitti è costruire modelli sempre più grandi.

Nel loro articolo, Gebru e Bender hanno alluso a un costo fondamentale di questa tendenza ad attenersi al deep learning: i sistemi di intelligenza artificiale più avanzati di cui abbiamo bisogno non vengono sviluppati e problemi simili continuano a ripresentarsi. Facebook, ad esempio, fa molto affidamento su modelli linguistici di grandi dimensioni per la moderazione automatizzata dei contenuti. Ma senza comprendere veramente il significato dietro il testo, questi modelli spesso falliscono. Eliminano regolarmente post innocui mentre danno un passaggio all'incitamento all'odio e alla disinformazione.

I sistemi di riconoscimento facciale basati sull'intelligenza artificiale soffrono dello stesso problema. Sono addestrati su enormi quantità di dati ma vedono solo modelli di pixel: non hanno una comprensione di concetti visivi come occhi, bocche e nasi. Ciò può far scattare questi sistemi quando vengono utilizzati su individui con un tono della pelle diverso dalle persone a cui sono stati mostrati durante l'allenamento. Tuttavia, Amazon e altre società hanno venduto questi sistemi alle forze dell'ordine. Negli Stati Uniti, hanno causato tre casi noti di polizia che ha incarcerato la persona sbagliata, tutti uomini di colore, nell'ultimo anno.

Per anni, molti nella comunità dell'IA hanno ampiamente acconsentito al ruolo di Big Tech nel plasmare lo sviluppo e l'impatto di queste tecnologie. Mentre alcuni hanno espresso disagio per l'acquisizione aziendale, molti altri hanno accolto con favore il profondo pozzo di finanziamento del settore.

Ma man mano che le carenze dell'IA di oggi sono diventate più evidenti - sia la sua incapacità di risolvere i problemi sociali che gli esempi crescenti che può esacerbarli - la fede nella Big Tech si è indebolita. La cacciata di Gebru e Mitchell da parte di Google ha ulteriormente alimentato la discussione rivelando quanto le aziende daranno la priorità al profitto rispetto all'autocontrollo.

Subito dopo, oltre 2.600 dipendenti di Google e altri 4.300 hanno firmato una petizione in cui denunciavano il licenziamento di Gebru come una censura sulla ricerca senza precedenti. Sei mesi dopo, i gruppi di ricerca continuano a rifiutare i finanziamenti dell'azienda, i ricercatori si rifiutano di partecipare ai seminari della conferenza e i dipendenti se ne vanno in segno di protesta.

A differenza di cinque anni fa, quando Gebru iniziò a sollevare queste domande, ora c'è un movimento ben consolidato che si interroga su cosa dovrebbe essere l'IA e chi dovrebbe servire. Questa non è una coincidenza. È in gran parte un prodotto dell'iniziativa di Gebru, iniziata con il semplice atto di invitare più ricercatori neri nel campo.

Ci vuole una conferenza

A dicembre 2017, il nuovo gruppo Black in AI ha ospitato il suo primo workshop presso NeurIPS. Durante l'organizzazione del seminario, Gebru si è avvicinato a Joy Buolamwini, una ricercatrice del MIT Media Lab che stava studiando i sistemi commerciali di riconoscimento facciale per possibili pregiudizi. Buolamwini aveva iniziato a testare questi sistemi dopo che uno non riusciva a rilevare il proprio viso a meno che non indossasse una maschera bianca. Ha presentato i suoi risultati preliminari al workshop.

Deborah Raji, allora ricercatrice universitaria, è stata un'altra delle prime partecipanti. Raji era sconvolta dalla cultura che aveva osservato al NeurIPS. Il workshop è diventato la sua tregua. Passare da quattro o cinque giorni a un giorno intero in cui le persone che mi assomigliano parlano di avere successo in questo spazio, è stato un incoraggiamento così importante per me, dice.

Buolamwini, Raji e Gebru avrebbero continuato a lavorare insieme su un paio di studi rivoluzionari sui sistemi discriminatori di visione artificiale. Buolamwini e Gebru sono coautori Sfumature di genere , che ha mostrato che i sistemi di riconoscimento facciale venduti da Microsoft, IBM e dal gigante tecnologico cinese Megvii avevano tassi di fallimento notevolmente elevati sulle donne nere nonostante prestazioni quasi perfette sugli uomini bianchi. Raji e Buolamwini hanno poi collaborato a un seguito chiamato Audit attuabile , che ha riscontrato che lo stesso vale per Recognition di Amazon. Nel 2020, Amazon accetterebbe di a moratoria di un anno sulle vendite della polizia del suo prodotto, in parte a causa di quel lavoro.

Storia correlata

Ho iniziato a piangere: dentro gli ultimi giorni di Timnit Gebru su Google e cosa succede dopo .

Al primo workshop Black in AI, tuttavia, questi successi erano possibilità lontane. Non c'era nessun programma diverso da quello di costruire comunità e produrre ricerca basata sulle loro prospettive gravemente carenti. Molti spettatori non capivano perché un tale gruppo avesse bisogno di esistere. Gebru ricorda i commenti sprezzanti di alcuni membri della comunità dell'IA. Ma per altri, Black in AI ha indicato una nuova strada da seguire.

Questo era vero per William Agnew e Raphael Gontijo Lopes, entrambi uomini queer che conducevano ricerche nel campo dell'informatica, che si resero conto di poter formare un gruppo Queer in AI. (Altri gruppi che hanno preso forma includono Latinx in AI, {Dis}Ability in AI e Muslim in ML.) Per Agnew, in particolare, avere una tale comunità sembrava un bisogno urgente. Era difficile persino immaginare di avere una vita felice, dice, riflettendo sulla mancanza di modelli di ruolo queer nel campo. C'è Turing, ma si è suicidato. Quindi è deprimente. E la parte strana di lui viene semplicemente ignorata.

Non tutti i membri del gruppo di affinità vedono una connessione tra la loro identità e la loro ricerca. Tuttavia, ogni gruppo ha stabilito competenze particolari. Black in AI è diventato il centro intellettuale per esporre la discriminazione algoritmica, criticare la sorveglianza e sviluppare tecniche di intelligenza artificiale efficienti in termini di dati. Queer in AI è diventato un centro per contestare i modi in cui gli algoritmi violano la privacy delle persone e le classificano in categorie limitate per impostazione predefinita.

Venkatasubramanian e Gebru hanno anche contribuito a creare la conferenza Fairness, Accountability, and Transparency (FAccT) per creare un forum per la ricerca sulle implicazioni sociali e politiche dell'IA. Le idee e le bozze di documenti discussi durante i workshop del gruppo di affinità NeurIPS spesso diventano la base per i documenti pubblicati su FAccT, che poi mette in mostra quella ricerca a un pubblico più ampio.

È stato dopo la presentazione di Buolamwini al primo workshop Black in AI, ad esempio, che FAccT ha pubblicato Gender Shades. Insieme all'Actionable Auditing, ha poi alimentato diverse importanti campagne di istruzione e difesa per limitare l'uso del riconoscimento facciale da parte del governo. Quando Amazon ha tentato di minare la legittimità della ricerca di Buolamwini e Raji, dozzine di ricercatori di intelligenza artificiale e organizzazioni della società civile si sono uniti per difenderli, prefigurando cosa avrebbero fatto in seguito per Gebru. Questi sforzi alla fine hanno contribuito alla moratoria di Amazon, che a maggio la società ha annunciato che si sarebbe estesa a tempo indeterminato.

La ricerca ha anche innescato una cascata di regolamentazione. Più di una dozzina di città hanno vietato alla polizia l'uso del riconoscimento facciale e il Massachusetts ora richiede alla polizia di ottenere il permesso di un giudice per usarlo. Sia gli Stati Uniti che la Commissione Europea hanno proposto un regolamento aggiuntivo.

Prima dovevamo essere lì, dice Gebru. E ad un certo punto, ciò che dice Black in AI inizia a diventare importante. E quello che dicono tutti questi gruppi insieme diventa importante. Devi ascoltarci ora.

Segui i soldi

Dopo il licenziamento di Gebru e Mitchell, il campo è alle prese con una domanda secolare: è possibile cambiare lo status quo mentre si lavora dall'interno? Gebru crede ancora che lavorare con i giganti della tecnologia sia il modo migliore per identificare i problemi. Ma crede anche che i ricercatori aziendali abbiano bisogno di protezioni legali più forti. Se vedono pratiche rischiose, dovrebbero essere in grado di condividere pubblicamente le loro osservazioni senza mettere a repentaglio la loro carriera.

Poi c'è la questione dei finanziamenti. Molti ricercatori vogliono maggiori investimenti dal governo degli Stati Uniti per sostenere il lavoro che è fondamentale per lo sviluppo dell'IA commerciale e fa avanzare il benessere pubblico. L'anno scorso, ha impegnato un misero miliardo di dollari per la ricerca sull'IA non legata alla difesa. L'amministrazione Biden chiede ora al Congresso di investire altri 180 miliardi di dollari in tecnologie emergenti, con l'IA come priorità assoluta.

Tali finanziamenti potrebbero aiutare le persone come Abebe tornerà , assistente professore di informatica presso l'Università della California, Berkeley. Abebe, che ha anche co-fondato Black in AI, è entrato nell'IA con l'idea di usarlo per promuovere l'equità sociale. Ma quando ha iniziato il suo dottorato di ricerca alla Cornell, nessuno era concentrato sul fare tali ricerche.

Nell'autunno del 2016, come studentessa di dottorato, ha avviato un piccolo gruppo di lettura della Cornell con un collega studente laureato per studiare argomenti come l'instabilità abitativa, l'accesso all'assistenza sanitaria e la disuguaglianza. Ha quindi intrapreso un nuovo progetto per vedere se le sue capacità di calcolo potessero supportare gli sforzi per alleviare la povertà.

Alla fine, ha trovato lo studio Poverty Tracker, un set di dati dettagliato sugli shock finanziari - spese impreviste come spese mediche o biglietti del parcheggio - vissuti da oltre 2.000 famiglie di New York. Nel corso di molte conversazioni con gli autori dello studio, gli assistenti sociali e le organizzazioni non profit al servizio delle comunità emarginate, ha appreso dei loro bisogni e ha detto loro come poteva aiutare. Abebe ha quindi sviluppato un modello che ha mostrato come la frequenza e il tipo di shock influenzassero lo stato economico di una famiglia.

Cinque anni dopo, il progetto è ancora in corso. Ora sta collaborando con organizzazioni no profit per migliorare il suo modello e sta lavorando con i responsabili politici attraverso il California Policy Lab per usarlo come strumento per prevenire i senzatetto. Da allora anche il suo gruppo di lettura è cresciuto fino a diventare una comunità di 2.000 persone e quest'anno terrà la sua conferenza inaugurale.

Abebe lo vede come un modo per incentivare più ricercatori a capovolgere le norme dell'IA. Mentre le tradizionali conferenze di informatica enfatizzano l'avanzamento delle tecniche computazionali per il gusto di farlo, la nuova pubblicherà un lavoro che prima cerca di comprendere a fondo una questione sociale. Il lavoro non è meno tecnico, ma getta le basi per l'emergere di un'IA più significativa dal punto di vista sociale.

Questi cambiamenti per i quali stiamo combattendo, non sono solo per i gruppi emarginati, dice. In realtà è per tutti.

nascondere