Abbiamo letto il documento che ha costretto Timnit Gebru a lasciare Google. Ecco cosa dice.

Il famoso ricercatore di etica dell'azienda ha evidenziato i rischi dei modelli linguistici di grandi dimensioni, che sono fondamentali per l'attività di Google.





  • Karen Hao pagina di archivio
4 dicembre 2020 Timnit Gebru

per gentile concessione di Timnit Gebru

La sera di mercoledì 2 dicembre, Timnit Gebru, co-leader del team di intelligenza artificiale etica di Google, ha annunciato tramite Twitter che la compagnia l'aveva costretta a lasciare.

Gebru, un leader ampiamente rispettato nella ricerca sull'etica dell'IA, è noto per essere coautore una carta rivoluzionaria che ha mostrato che il riconoscimento facciale è meno accurato nell'identificare le donne e le persone di colore, il che significa che il suo uso può finire per discriminarle. Ha anche cofondato il gruppo di affinità Black in AI e sostiene la diversità nel settore tecnologico . Il team che ha contribuito a creare in Google è uno dei più diversificati nel campo dell'intelligenza artificiale e comprende molti esperti di spicco a pieno titolo. I colleghi del settore lo invidiavano per la produzione di lavori critici che spesso sfidavano le pratiche di intelligenza artificiale tradizionali.



A serie di tweet , e-mail trapelate , e articoli sui media ha mostrato che l'uscita di Gebru è stata il culmine di un conflitto su un altro articolo di cui è coautrice. Jeff Dean, il capo di Google AI, ha detto ai colleghi in un'e-mail interna (che da allora ha mettere in linea ) che il giornale non rispettava il nostro limite di pubblicazione e che Gebru aveva detto che si sarebbe dimessa a meno che Google non avesse soddisfatto una serie di condizioni, che non era disposta a soddisfare. Gebrù l'ha twittato aveva chiesto di negoziare un'ultima data per il suo impiego dopo essere tornata dalle vacanze. È stata tagliata fuori dal suo account di posta elettronica aziendale prima del suo ritorno.

Online, molti altri leader nel campo dell'etica dell'intelligenza artificiale stanno sostenendo che l'azienda l'ha cacciata a causa delle scomode verità che stava scoprendo su una linea centrale della sua ricerca e forse sui suoi risultati. Lo hanno fatto anche più di 1.400 membri dello staff di Google e 1.900 altri sostenitori ha firmato una lettera di protesta .

Molti dettagli dell'esatta sequenza degli eventi che hanno portato alla partenza di Gebru non sono ancora chiari; sia lei che Google si sono rifiutati di commentare oltre i loro post sui social media. Ma il MIT Technology Review ha ottenuto una copia del documento di ricerca da uno dei coautori, Emily M. Bender, professoressa di linguistica computazionale all'Università di Washington. Sebbene Bender ci abbia chiesto di non pubblicare il documento stesso perché gli autori non volevano che una bozza così anticipata circolasse online, fornisce alcune informazioni sulle domande che Gebru e i suoi colleghi stavano sollevando sull'IA che potrebbero causare preoccupazione a Google.



Sui pericoli dei pappagalli stocastici: i modelli linguistici possono essere troppo grandi? illustra i rischi di modelli linguistici di grandi dimensioni: IA addestrate su quantità sbalorditive di dati di testo. Questi sono cresciuti sempre più popolare -e sempre più grande —negli ultimi tre anni. Ora sono straordinariamente bravi, nelle giuste condizioni, a produrre quello che sembra un nuovo testo convincente e significativo e, talvolta, a stimare il significato dal linguaggio. Ma, dice l'introduzione al documento, ci chiediamo se sia stata pensata abbastanza sui potenziali rischi associati al loro sviluppo e sulle strategie per mitigare questi rischi.

La carta

Il documento, che si basa sul lavoro di altri ricercatori, presenta la storia dell'elaborazione del linguaggio naturale, una panoramica dei quattro rischi principali dei modelli linguistici di grandi dimensioni e suggerimenti per ulteriori ricerche. Dal momento che il conflitto con Google sembra essere sui rischi, ci siamo concentrati sul riassumerli qui.

Costi ambientali e finanziari

L'addestramento di modelli di intelligenza artificiale di grandi dimensioni consuma molta potenza di elaborazione del computer e quindi molta elettricità. Gebru e i suoi coautori fanno riferimento a un articolo del 2019 di Emma Strubell e dei suoi collaboratori le emissioni di carbonio e i costi finanziari di grandi modelli linguistici. Ha scoperto che il loro consumo di energia e l'impronta di carbonio sono esplosi dal 2017, poiché i modelli hanno ricevuto sempre più dati.



Lo studio di Strubell ha scoperto che l'addestramento di un modello linguistico con un particolare tipo di metodo di ricerca dell'architettura neurale (NAS) avrebbe prodotto l'equivalente di 626.155 libbre (284 tonnellate) di anidride carbonica, circa la produzione di cinque auto americane medie. Addestrare una versione del modello linguistico di Google, BERT, che ne è alla base il motore di ricerca dell'azienda , ha prodotto 1.438 libbre di CO2 equivalente nella stima di Strubell, quasi lo stesso di un volo di andata e ritorno tra New York City e San Francisco. Questi numeri dovrebbero essere visti come minimi, il costo dell'addestramento di un modello una volta. In pratica, i modelli vengono addestrati e riqualificati più volte durante la ricerca e lo sviluppo.

La bozza del documento di Gebru sottolinea che le sole risorse necessarie per costruire e sostenere modelli di intelligenza artificiale così grandi significano che tendono a avvantaggiare le organizzazioni ricche, mentre il cambiamento climatico colpisce più duramente le comunità emarginate. È ormai tempo che i ricercatori diano la priorità all'efficienza energetica e ai costi per ridurre l'impatto ambientale negativo e l'accesso iniquo alle risorse, scrivono.

Dati massicci, modelli imperscrutabili

I modelli linguistici di grandi dimensioni vengono anche addestrati su quantità di testo in aumento in modo esponenziale. Ciò significa che i ricercatori hanno cercato di raccogliere tutti i dati possibili da Internet, quindi c'è il rischio che il linguaggio razzista, sessista e altrimenti offensivo finisca nei dati dell'allenamento.



Un modello di intelligenza artificiale insegnato a considerare normale il linguaggio razzista è ovviamente negativo. I ricercatori, tuttavia, sottolineano un paio di problemi più sottili. Uno è che i cambiamenti nella lingua giocano un ruolo importante nel cambiamento sociale; i movimenti MeToo e Black Lives Matter, ad esempio, hanno cercato di stabilire un nuovo vocabolario antisessista e antirazzista. Un modello di intelligenza artificiale addestrato su vaste aree di Internet non sarà in sintonia con le sfumature di questo vocabolario e non produrrà né interpreterà un linguaggio in linea con queste nuove norme culturali.

Inoltre, non riuscirà a catturare la lingua e le norme di paesi e popoli che hanno meno accesso a Internet e quindi una minore impronta linguistica online. Il risultato è che il linguaggio generato dall'IA sarà omogeneo, riflettendo le pratiche dei paesi e delle comunità più ricchi.

Inoltre, poiché i set di dati di addestramento sono così grandi, è difficile controllarli per verificare la presenza di questi pregiudizi incorporati. Una metodologia che si basa su set di dati troppo grandi per essere documentati è quindi intrinsecamente rischiosa, concludono i ricercatori. Sebbene la documentazione consenta una potenziale responsabilità, i dati di addestramento [...] non documentati perpetuano il danno senza ricorso.

Costi opportunità di ricerca

I ricercatori riassumono la terza sfida come il rischio di uno sforzo di ricerca mal indirizzato. Sebbene la maggior parte dei ricercatori di intelligenza artificiale riconosca che i grandi modelli linguistici in realtà no comprendere linguaggio e sono semplicemente eccellenti a manipolare it, Big Tech può guadagnare da modelli che manipolano il linguaggio in modo più accurato, quindi continua a investire su di essi. Questo sforzo di ricerca comporta un costo opportunità, scrivono Gebru e i suoi colleghi. Non tanto impegno viene impiegato per lavorare su modelli di intelligenza artificiale che potrebbero raggiungere la comprensione o che ottengono buoni risultati con set di dati più piccoli e curati in modo più accurato (e quindi utilizzano anche meno energia).

Illusioni di significato

L'ultimo problema con i modelli linguistici di grandi dimensioni, affermano i ricercatori, è che poiché sono così bravi a imitare il vero linguaggio umano, è facile usarli per ingannare le persone. Ci sono stati alcuni casi di alto profilo, come il studente universitario che ha sfornato consigli di auto-aiuto e produttività generati dall'intelligenza artificiale su un blog, che è diventato virale.

I pericoli sono evidenti: i modelli di intelligenza artificiale potrebbero essere utilizzati per generare disinformazione su un'elezione o sulla pandemia di covid-19, ad esempio. Possono anche andare storti inavvertitamente quando vengono utilizzati per la traduzione automatica. I ricercatori portano un esempio: nel 2017, Facebook tradotto male un posto di un palestinese, che diceva buongiorno in arabo, mentre li attaccava in ebraico, portando al suo arresto.

Perchè importa

L'articolo di Gebru e Bender ha sei coautori, quattro dei quali sono ricercatori di Google. Bender ha chiesto di evitare di rivelare i propri nomi per paura di ripercussioni. (Bender, al contrario, è una professoressa di ruolo: penso che questo stia sottolineando il valore della libertà accademica, dice.)

L'obiettivo del documento, afferma Bender, era quello di fare il punto sul panorama della ricerca attuale sull'elaborazione del linguaggio naturale. Stiamo lavorando su una scala in cui le persone che costruiscono le cose non possono effettivamente mettere le braccia attorno ai dati, ha detto. E poiché i vantaggi sono così evidenti, è particolarmente importante fare un passo indietro e chiederci, quali sono i possibili svantaggi? … Come otteniamo i vantaggi di questo mentre mitighiamo il rischio?

Nella sua e-mail interna, Dean, il capo dell'IA di Google, ha affermato che uno dei motivi per cui il giornale non soddisfaceva il nostro livello era che ignorava troppe ricerche pertinenti. In particolare, ha affermato che non ha menzionato il lavoro più recente su come rendere i modelli linguistici di grandi dimensioni più efficienti dal punto di vista energetico e mitigare i problemi di bias.

Tuttavia, i sei collaboratori hanno attinto a un'ampia gamma di borse di studio. L'elenco delle citazioni del documento, con 128 riferimenti, è notevolmente lungo. È il tipo di lavoro che nessun individuo o anche solo una coppia di autori può realizzare, ha detto Bender. Ci voleva davvero questa collaborazione.

La versione del documento che abbiamo visto fa anche riferimento a numerosi sforzi di ricerca sulla riduzione delle dimensioni e dei costi computazionali dei modelli linguistici di grandi dimensioni e sulla misurazione della distorsione incorporata dei modelli. Sostiene, tuttavia, che questi sforzi non sono stati sufficienti. Sono molto aperto a vedere quali altri riferimenti dovremmo includere, ha detto Bender.

Nicolas Le Roux, un ricercatore di Google AI presso l'ufficio di Montreal, in seguito notato su Twitter che il ragionamento nell'e-mail di Dean era insolito. Le mie osservazioni sono state sempre controllate per la divulgazione di materiale sensibile, mai per la qualità della revisione della letteratura, ha affermato.

L'e-mail di Dean dice anche che Gebru e i suoi colleghi hanno concesso a Google AI solo un giorno per una revisione interna del documento prima di inviarlo a una conferenza per la pubblicazione. Ha scritto che il nostro obiettivo è quello di rivaleggiare con le riviste sottoposte a revisione paritaria in termini di rigore e ponderatezza nel modo in cui esaminiamo la ricerca prima della pubblicazione.

Bender ha notato che anche così, la conferenza sottoporrebbe comunque il documento a un sostanziale processo di revisione: la borsa di studio è sempre una conversazione e sempre un lavoro in corso, ha affermato.

Altri, tra cui William Fitzgerald, un ex responsabile delle pubbliche relazioni di Google, lo hanno fatto mettere ulteriormente in dubbio su affermazione di Dean.

Google ha aperto la strada a gran parte della ricerca fondamentale che da allora ha portato alla recente esplosione di modelli linguistici di grandi dimensioni. Google AI è stata la prima a inventare il Modello di linguaggio del trasformatore nel 2017 che funge da base per il successivo modello BERT dell'azienda e GPT-2 e GPT-3 di OpenAI. BERT, come notato sopra, ora alimenta anche la ricerca su Google, la vacca da mungere dell'azienda.

Bender teme che le azioni di Google possano creare un effetto agghiacciante sulla futura ricerca sull'etica dell'IA. Molti dei massimi esperti di etica dell'IA lavorano in grandi aziende tecnologiche perché è lì che stanno i soldi. Questo è stato vantaggioso in molti modi, dice. Ma ci ritroviamo con un ecosistema che forse ha incentivi non proprio dei migliori per il progresso della scienza nel mondo.

Aggiornamento (7 dicembre): Sono stati aggiunti ulteriori dettagli per chiarire i costi ambientali dei modelli linguistici di grandi dimensioni.

nascondere