La corsa per comprendere l'esilarante e pericoloso mondo dell'IA linguistica

Ariel Davis

Il 18 maggio, il CEO di Google Sundar Pichai ha annunciato un nuovo straordinario strumento: un sistema di intelligenza artificiale chiamato LaMDA in grado di chattare con gli utenti su qualsiasi argomento.

Per iniziare, Google prevede di integrare LaMDA nel suo portale di ricerca principale, nel suo assistente vocale e in Workplace, la sua raccolta di software di lavoro basati su cloud che include Gmail, Documenti e Drive. Ma l'obiettivo finale, ha affermato Pichai, è creare un'interfaccia conversazionale che consenta alle persone di recuperare qualsiasi tipo di informazione (testo, visiva, audio) su tutti i prodotti Google semplicemente chiedendo.

Il lancio di LaMDA segnala ancora un altro modo in cui le tecnologie linguistiche stanno diventando invischiate nella nostra vita quotidiana. Ma la presentazione appariscente di Google smentiva il dibattito etico che ora circonda questi sistemi all'avanguardia. LaMDA è il cosiddetto Large Language Model (LLM), un algoritmo di deep learning addestrato su enormi quantità di dati di testo.

Gli studi hanno già dimostrato come le idee razziste, sessiste e abusive siano incorporate in questi modelli. Associano categorie come i medici agli uomini e gli infermieri alle donne; buone parole con i bianchi e cattive con i neri. Sondali con i suggerimenti giusti e iniziano anche a incoraggiare cose come genocidio , autolesionismo , e abusi sessuali su minori . A causa delle loro dimensioni, hanno un impronta di carbonio incredibilmente alta . A causa della loro scioltezza, loro confonde facilmente le persone nel pensare che un essere umano abbia scritto i loro risultati, che gli esperti avvertono potrebbero consentire la produzione di massa di disinformazione.

A dicembre, Google ha estromesso il suo co-leader dell'IA etica Timnit Gebru dopo lei ha rifiutato di farlo ritirare un foglio che ha fatto molti di questi punti. Pochi mesi dopo, dopo una denuncia su larga scala di ciò che una lettera aperta dei dipendenti di Google chiamava la censura della ricerca senza precedenti dell'azienda, ha licenziato anche la coautrice e co-guida di Gebru Margaret Mitchell.

Non è solo Google a implementare questa tecnologia. I modelli linguistici di più alto profilo finora sono stati quelli di OpenAI GPT-2 e GPT-3 , che vomitano passaggi di testo straordinariamente convincenti e possono anche essere riutilizzati per completare composizioni musicali e codice del computer. Microsoft ora esclusivamente licenze GPT-3 da incorporare in prodotti non ancora annunciati. Facebook ha sviluppato i propri LLM per la traduzione e la moderazione dei contenuti. E le startup stanno creando dozzine di prodotti e servizi basati sui modelli dei giganti della tecnologia. Ben presto, tutte le nostre interazioni digitali, quando inviamo un'e-mail, cerchiamo o pubblichiamo sui social media, verranno filtrate tramite LLM.

Sfortunatamente, sono state fatte pochissime ricerche per capire come i difetti di questa tecnologia potrebbero influenzare le persone nelle applicazioni del mondo reale o per capire come progettare LLM migliori che mitighino queste sfide. Come ha sottolineato Google nel trattamento di Gebru e Mitchell, le poche aziende abbastanza ricche da formare e mantenere gli LLM hanno un forte interesse finanziario a rifiutarsi di esaminarli attentamente. In altre parole, gli LLM vengono sempre più integrati nell'infrastruttura linguistica di Internet su basi scientifiche traballanti.

Più di 500 ricercatori in tutto il mondo stanno ora gareggiando per saperne di più sulle capacità e sui limiti di questi modelli. Lavorare insieme sotto il progetto Big Science guidati da Huggingface, una startup che adotta un approccio di scienza aperta alla comprensione dell'elaborazione del linguaggio naturale (NLP), cercano di costruire un LLM open source che fungerà da risorsa condivisa per la comunità scientifica. L'obiettivo è generare quanta più borsa di studio possibile in un unico anno mirato. La loro domanda centrale: come e quando dovrebbero essere sviluppati e implementati gli LLM per trarne vantaggio senza le loro conseguenze dannose?

Non possiamo davvero fermare questa follia attorno a modelli linguistici di grandi dimensioni, in cui tutti vogliono formarli, afferma Thomas Wolf, chief science officer di Huggingface, che è co-leader dell'iniziativa. Ma quello che possiamo fare è provare a spingerlo in una direzione che alla fine sia più vantaggiosa.

Pappagalli stocastici

Nello stesso mese in cui BigScience ha dato il via alle sue attività, una startup chiamata Cohere è uscita silenziosamente dalla furtività. Avviato da ex ricercatori di Google, promette di portare gli LLM a qualsiasi azienda che ne desideri uno, con una singola riga di codice. Ha sviluppato una tecnica per addestrare e ospitare il proprio modello con gli scarti inattivi delle risorse di calcolo in un data center, che riduce i costi di affitto dello spazio cloud necessario per la manutenzione e l'implementazione.

Tra i suoi primi clienti c'è la startup C'è supporto , una piattaforma per la creazione di chatbot di assistenza clienti senza codice, che a sua volta ha clienti come Facebook e Zoom. E l'elenco degli investitori di Cohere include alcuni dei più grandi nomi del settore: il pioniere della visione artificiale Fei-Fei Li, il vincitore del premio Turing Geoffrey Hinton e il capo dell'IA di Apple, Ian Goodfellow.

Cohere è una delle numerose startup e iniziative che ora cercano di portare gli LLM in vari settori. C'è anche Aleph Alpha, una startup con sede in Germania che cerca di costruire un GPT-3 tedesco ; un'impresa senza nome avviata da diversi ex ricercatori OpenAI; e l'iniziativa open source Eleuther, che di recente lanciato GPT-Neo , una riproduzione gratuita (e un po' meno potente) di GPT-3.

Ma è il divario tra ciò che sono gli LLM e ciò che aspirano ad essere che ha preoccupato un numero crescente di ricercatori. Gli LLM sono effettivamente le tecnologie di completamento automatico più potenti al mondo. Ingerendo milioni di frasi, paragrafi e persino campioni di dialoghi, apprendono i modelli statistici che governano come ciascuno di questi elementi dovrebbe essere assemblato in un ordine ragionevole. Ciò significa che gli LLM possono migliorare determinate attività: ad esempio, sono utili per creare chatbot più interattivi e fluidi dal punto di vista della conversazione che seguono un copione consolidato . Ma in realtà non capiscono cosa stanno leggendo o dicendo. Molte delle funzionalità più avanzate degli LLM oggi sono disponibili anche solo in inglese.

Storia correlata

Abbiamo letto il documento che ha costretto Timnit Gebru a lasciare Google. Ecco cosa dice.

Il famoso ricercatore di etica dell'azienda ha evidenziato i rischi dei modelli linguistici di grandi dimensioni, che sono fondamentali per l'attività di Google.

Tra le altre cose, questo è ciò di cui Gebru, Mitchell e altri cinque scienziati hanno messo in guardia nel loro articolo, che chiama i pappagalli stocastici di LLM. La tecnologia del linguaggio può essere molto, molto utile quando è adeguatamente mirata, situata e inquadrata, afferma Emily Bender, professoressa di linguistica all'Università di Washington e una delle coautori dell'articolo. Ma la natura generica degli LLM, e la capacità di persuasione della loro imitazione, invoglia le aziende a usarli in aree per cui non sono necessariamente attrezzate.

In un recente keynote in una delle più grandi conferenze sull'IA, Gebru ha legato questo dispiegamento frettoloso di LLM alle conseguenze che aveva vissuto nella sua stessa vita. Gebru è nato e cresciuto in Etiopia, dove una guerra crescente ha devastato la regione più settentrionale del Tigray. L'Etiopia è anche un paese in cui si parlano 86 lingue, quasi tutte scomparse dalle tecnologie linguistiche tradizionali.

Nonostante i LLM presentino queste carenze linguistiche, Facebook fa molto affidamento su di essi per automatizzare la moderazione dei contenuti a livello globale. Quando è scoppiata la prima guerra nel Tigray a novembre, Gebru ha visto la piattaforma naufragare per controllare la raffica di disinformazione. Questo è emblematico di un modello persistente che i ricercatori hanno osservato nella moderazione dei contenuti. Comunità che parlare lingue non prioritarie dalla Silicon Valley soffrono gli ambienti digitali più ostili.

Gebru ha notato che non è nemmeno qui che finisce il danno. Quando le fake news, l'incitamento all'odio e persino le minacce di morte non vengono eliminate, vengono quindi raschiate come dati di formazione per costruire la prossima generazione di LLM. E quei modelli, ripetendo a pappagallo ciò su cui sono stati addestrati, finiscono per rigurgitare questi schemi linguistici tossici su Internet.

In molti casi, i ricercatori non hanno studiato abbastanza a fondo per sapere come questa tossicità potrebbe manifestarsi nelle applicazioni a valle. Ma qualche borsa di studio esiste. Nel suo libro del 2018 Algoritmi di oppressione , Safiya Noble, professore associato di informazioni e studi afroamericani presso l'Università della California, Los Angeles, ha documentato come i pregiudizi incorporati nella ricerca su Google perpetuino il razzismo e, in casi estremi, forse anche motivano la violenza razziale.

Le conseguenze sono piuttosto gravi e significative, dice. Google non è solo il principale portale di conoscenza per i cittadini medi. Fornisce inoltre l'infrastruttura informativa per istituzioni, università e governi statali e federali.

Google utilizza già un LLM per ottimizzare alcuni dei suoi risultati di ricerca. Con il suo ultimo annuncio di LaMDA e una proposta recente ha pubblicato in un documento di prestampa, la società ha chiarito che aumenterà solo la sua dipendenza dalla tecnologia. Nobili preoccupazioni che ciò potrebbe peggiorare i problemi che ha scoperto: il fatto che il team di intelligenza artificiale etica di Google sia stato licenziato per aver sollevato domande molto importanti sui modelli di discriminazione razzisti e sessisti incorporati nei modelli linguistici di grandi dimensioni avrebbe dovuto essere un campanello d'allarme.

Grande scienza

Il progetto BigScience è iniziato in risposta diretta alla crescente necessità di un controllo scientifico degli LLM. Osservando la rapida proliferazione della tecnologia e il tentativo di censura di Google su Gebru e Mitchell, Wolf e diversi colleghi hanno capito che era giunto il momento per la comunità di ricerca di prendere in mano la situazione.

Ispirandosi a collaborazioni scientifiche aperte come il CERN nella fisica delle particelle, hanno concepito un'idea per un LLM open source che potrebbe essere utilizzato per condurre ricerche critiche indipendentemente da qualsiasi azienda. Nell'aprile di quest'anno, il gruppo ha ricevuto una sovvenzione per costruirlo utilizzando il supercomputer del governo francese.

Nelle aziende tecnologiche, gli LLM sono spesso costruiti da solo una mezza dozzina di persone che hanno principalmente competenze tecniche. BigScience voleva coinvolgere centinaia di ricercatori provenienti da un'ampia gamma di paesi e discipline per partecipare a un processo di costruzione di modelli veramente collaborativo. Wolf, che è francese, si è avvicinato per la prima volta alla comunità della PNL francese. Da lì, l'iniziativa si è trasformata in un'operazione globale che ha coinvolto più di 500 persone.

La collaborazione è ora organizzata in modo approssimativo in una dozzina di gruppi di lavoro e contando, ciascuno dei quali affronta diversi aspetti dello sviluppo e dell'indagine del modello. Un gruppo misurerà l'impatto ambientale del modello, inclusa l'impronta di carbonio della formazione e dell'esecuzione del LLM e tenendo conto dei costi del ciclo di vita del supercomputer. Un altro si concentrerà sullo sviluppo di modalità responsabili per reperire i dati di formazione, cercando alternative alla semplice raccolta di dati dal Web, come la trascrizione di archivi radio storici o podcast. L'obiettivo qui è evitare un linguaggio tossico e la raccolta non consensuale di informazioni private.

Storia correlata

Perché GPT-3 è il migliore e il peggiore dell'IA in questo momento

La lingua dell'IA aperta L'IA ha entusiasmato il pubblico con la sua apparente padronanza dell'inglese, ma è tutta un'illusione?

Altri gruppi di lavoro sono dedicati allo sviluppo e alla valutazione del multilinguismo del modello. Per iniziare, BigScience ha selezionato otto lingue o famiglie linguistiche, tra cui inglese, cinese, arabo, indiano (incluso hindi e urdu) e bantu (incluso swahili). Il piano è di lavorare a stretto contatto con ogni comunità linguistica per mappare il maggior numero possibile di dialetti regionali e garantire che le sue distinte norme sulla privacy dei dati siano rispettate. Vogliamo che le persone abbiano voce in capitolo su come vengono utilizzati i loro dati, afferma Yacine Jernite, ricercatrice di Huggingface.

Il punto non è costruire un LLM commercialmente valido per competere con artisti del calibro di GPT-3 o LaMDA. Il modello sarà troppo grande e troppo lento per essere utile alle aziende, afferma Karën Fort, professore associato alla Sorbona. Invece, la risorsa è stata progettata esclusivamente per la ricerca. Ogni punto dati e ogni decisione di modellazione viene accuratamente e pubblicamente documentata, quindi è più facile analizzare come tutti i pezzi influiscono sui risultati del modello. Non si tratta solo di fornire il prodotto finale, afferma Angela Fan, una ricercatrice di Facebook. Immaginiamo ogni singolo pezzo di esso come un punto di consegna, come un manufatto.

Il progetto è indubbiamente ambizioso, più ampio e collaborativo a livello globale di qualsiasi altra comunità di intelligenza artificiale abbia mai visto prima. La logistica del coordinamento di così tanti ricercatori è di per sé una sfida. (In effetti, esiste anche un gruppo di lavoro per questo.) Inoltre, ogni singolo ricercatore contribuisce su base volontaria. La sovvenzione del governo francese copre solo risorse computazionali, non umane.

Ma i ricercatori affermano che il bisogno condiviso che ha unito la comunità ha galvanizzato un livello impressionante di energia e slancio. Molti sono ottimisti sul fatto che entro la fine del progetto, che durerà fino a maggio del prossimo anno, avranno prodotto non solo una borsa di studio più approfondita sui limiti degli LLM, ma anche strumenti e pratiche migliori per costruirli e implementarli in modo responsabile.

Gli organizzatori sperano che questo ispirerà più persone all'interno del settore a incorporare tali pratiche nella propria strategia LLM, sebbene siano i primi ad ammettere di essere idealisti. Se non altro, l'enorme numero di ricercatori coinvolti, inclusi molti dei giganti della tecnologia, aiuterà a stabilire nuove norme all'interno della comunità della PNL.

In un certo senso le norme sono già cambiate. In risposta alle conversazioni sul licenziamento di Gebru e Mitchell, Cohere ha sentito da molti dei suoi clienti che erano preoccupati per la sicurezza della tecnologia. Sul suo sito include una pagina del suo sito Web in cui si impegna a investire continuamente nella ricerca tecnica e non tecnica per mitigare i possibili danni del suo modello. Dice che riunirà anche un consiglio consultivo composto da esperti esterni per aiutarlo a creare politiche sull'uso consentito delle sue tecnologie.

La PNL è a un punto di svolta molto importante, afferma Fort. Ecco perché BigScience è eccitante. Consente alla comunità di portare avanti la ricerca e fornire un'alternativa promettente allo status quo all'interno dell'industria: dice: 'Facciamo un altro passaggio'. Prendiamolo insieme, per capire tutti i modi e tutte le cose che possiamo fare per aiutare la società.'

Voglio che la PNL aiuti le persone, dice, non le sminuisca.

Aggiornare: Sono state chiarite le iniziative di responsabilità di Cohere.

nascondere