Come Facebook è diventato dipendente dalla diffusione di disinformazione

Gli algoritmi di intelligenza artificiale dell'azienda le hanno dato un'abitudine insaziabile di bugie e incitamento all'odio. Ora l'uomo che li ha costruiti non può risolvere il problema.

I colpevoli sono Wintermeyer

di

• Karen Hao pagina di archivio

11 marzo 2021

Joaquin Quiñonero Candela, direttore dell'IA di Facebook, si stava scusando con il suo pubblico.

Era il 23 marzo 2018, pochi giorni dopo la rivelazione che Cambridge Analytica, una società di consulenza che ha lavorato alla campagna elettorale presidenziale di Donald Trump del 2016, aveva sottratto di nascosto i dati personali di decine di milioni di americani dai loro account Facebook nel tentativo di influenzare il modo in cui hanno votato. È stata la più grande violazione della privacy nella storia di Facebook e Quiñonero era stato precedentemente programmato per parlare a una conferenza, tra le altre cose, sull'intersezione tra intelligenza artificiale, etica e privacy in azienda. Ha preso in considerazione l'idea di annullare, ma dopo averne discusso con il suo direttore delle comunicazioni, ha mantenuto il tempo che gli era stato assegnato.

Mentre si avvicinava per affrontare la stanza, iniziò con un'ammissione. Ho appena passato i cinque giorni più difficili nel mio incarico su Facebook, ricorda di aver detto. Se ci sono critiche, le accetterò.

Lo scandalo Cambridge Analytica darebbe il via alla più grande crisi pubblicitaria di Facebook mai vista. Ha aggravato i timori che gli algoritmi che determinano ciò che le persone vedono sulla piattaforma amplificassero notizie false e incitamento all'odio e che gli hacker russi li avessero armati per cercare di influenzare le elezioni a favore di Trump. Milioni ha iniziato a eliminare l'app ; i dipendenti se ne sono andati per protesta; la capitalizzazione di mercato della società è precipitata più di 100 miliardi di dollari dopo la sua chiamata sugli utili di luglio.

Nei mesi successivi, Mark Zuckerberg iniziò a scusarsi. Si è scusato per non aver preso una visione abbastanza ampia delle responsabilità di Facebook e dei suoi errori come CEO. Internamente, Sheryl Sandberg, il direttore operativo, ha dato il via a un biennio revisione dei diritti civili per raccomandare modi in cui l'azienda potrebbe impedire l'uso della sua piattaforma per minare la democrazia.

Infine, Mike Schroepfer, chief technology officer di Facebook, ha chiesto a Quiñonero di avviare un team con una direttiva un po' vaga: esaminare l'impatto sociale degli algoritmi dell'azienda. Il gruppo si è battezzato Society and AI Lab (SAIL); l'anno scorso si è unito a un altro team che ha lavorato su questioni di privacy dei dati per formare l'IA responsabile.

Quiñonero è stata una scelta naturale per il lavoro. Lui, come chiunque altro, era l'unico responsabile della posizione di Facebook come potenza di intelligenza artificiale. Nei suoi sei anni su Facebook, aveva creato alcuni dei primi algoritmi per indirizzare gli utenti con contenuti su misura per i loro interessi, e poi li aveva diffusi in tutta l'azienda. Ora il suo mandato sarebbe di renderli meno dannosi.

Facebook ha costantemente indicato gli sforzi di Quiñonero e altri mentre cerca di riparare la sua reputazione. Esibisce regolarmente vari leader per parlare ai media delle riforme in corso. A maggio 2019, ha concesso una serie di interviste a Schroepfer al New York Times, che ha premiato l'azienda con un profilo umanizzante di un dirigente sensibile e ben intenzionato che si sforza di superare le sfide tecniche di filtrare la disinformazione e l'incitamento all'odio da un flusso di contenuti che ammontava a miliardi di pezzi al giorno. Queste sfide sono così difficili da rendere Schroepfer emozionante, ha scritto il Times: A volte questo lo porta alle lacrime.

Nella primavera del 2020, a quanto pare, era il mio turno. Ari Entin, il direttore delle comunicazioni AI di Facebook, ha chiesto in un'e-mail se volevo dare un'occhiata più da vicino al lavoro AI dell'azienda. Dopo aver parlato con molti dei suoi leader dell'IA, ho deciso di concentrarmi su Quiñonero. Entin felicemente obbligato. In quanto non solo il leader del team di intelligenza artificiale responsabile, ma anche l'uomo che aveva trasformato Facebook in un'azienda guidata dall'intelligenza artificiale, Quiñonero è stata una scelta solida da utilizzare come ragazzo poster.

Anche a me sembrava una scelta naturale del soggetto. Negli anni trascorsi da quando aveva formato la sua squadra in seguito allo scandalo Cambridge Analytica, le preoccupazioni per la diffusione di bugie e incitamento all'odio su Facebook erano solo cresciute. Alla fine del 2018 la società ha ammesso che questa attività aveva ha contribuito ad alimentare una campagna genocida anti-musulmana in Birmania da diversi anni. Nel 2020 Facebook ha iniziato tardivamente ad agire contro i negazionisti dell'Olocausto, gli anti-vaxxer e il movimento cospirativo QAnon. Tutte queste pericolose falsità stavano metastatizzando grazie alle capacità di intelligenza artificiale che Quiñonero aveva contribuito a costruire. Gli algoritmi alla base dell'attività di Facebook non sono stati creati per filtrare ciò che era falso o provocatorio; sono stati progettati per far sì che le persone condividano e interagiscano con quanti più contenuti possibile, mostrando loro le cose da cui è più probabile che si indignino o si sentano stuzzicati. Risolvere questo problema, a me, sembrava il territorio principale dell'IA responsabile.

Ho iniziato a videochiamare regolarmente Quiñonero. Ho anche parlato con dirigenti di Facebook, dipendenti attuali ed ex, colleghi del settore ed esperti esterni. Molti hanno parlato in condizione di anonimato perché avevano firmato accordi di riservatezza o temevano ritorsioni. Volevo sapere: cosa stava facendo la squadra di Quiñonero per tenere a freno l'odio e le bugie sulla sua piattaforma?

Joaquin Quiñonero Candela fuori dalla sua casa nella Bay Area, dove vive con sua moglie e tre figli.

WINNI WINTERMEYER

Ma Entin e Quiñonero avevano un'agenda diversa. Ogni volta che cercavo di sollevare questi argomenti, le mie richieste di parlarne venivano abbandonate o reindirizzate. Volevano solo discutere il piano del team di IA responsabile per affrontare un tipo specifico di problema: il pregiudizio dell'IA, in cui gli algoritmi discriminano particolari gruppi di utenti. Un esempio potrebbe essere un algoritmo di targeting pubblicitario che mostra determinate opportunità di lavoro o di alloggio ai bianchi ma non alle minoranze.

Quando migliaia di rivoltosi hanno preso d'assalto il Campidoglio degli Stati Uniti a gennaio, organizzati in parte su Facebook e alimentati dalle bugie su un'elezione rubata che si era diffusa a ventaglio sulla piattaforma, era chiaro dalle mie conversazioni che il team di IA responsabile non era riuscito a progressi contro la disinformazione e l'incitamento all'odio perché non aveva mai fatto di questi problemi il suo obiettivo principale. Ancora più importante, mi sono reso conto che, se ci avesse provato, sarebbe stato impostato per il fallimento.

Il motivo è semplice. Tutto ciò che l'azienda fa e sceglie di non fare nasce da un'unica motivazione: l'incessante desiderio di crescita di Zuckerberg. L'esperienza dell'IA di Quiñonero ha potenziato quella crescita. Il suo team è stato incasellato nel prendere di mira i pregiudizi dell'IA, come ho appreso nei miei rapporti, perché prevenire tali pregiudizi aiuta l'azienda a evitare regolamento proposto ciò potrebbe, se superato, ostacolare quella crescita. La leadership di Facebook ha anche ripetutamente indebolito o interrotto molte iniziative intese a ripulire la disinformazione sulla piattaforma perché ciò minerebbe tale crescita.

In altre parole, il lavoro del team di IA responsabile, qualunque sia il suo merito sul problema specifico di affrontare i pregiudizi dell'IA, è essenzialmente irrilevante per risolvere i problemi più grandi di disinformazione, estremismo e polarizzazione politica. E siamo tutti noi a pagarne il prezzo.

Quando ti occupi di massimizzare il coinvolgimento, non sei interessato alla verità. Non sei interessato al danno, alla divisione, alla cospirazione. In effetti, quelli sono tuoi amici, afferma Hany Farid, professore all'Università della California, Berkeley, che collabora con Facebook per comprendere la disinformazione basata su immagini e video sulla piattaforma.

Fanno sempre quel che basta per essere in grado di pubblicare il comunicato stampa. Ma con poche eccezioni, non credo che si traduca effettivamente in politiche migliori. Non hanno mai veramente a che fare con i problemi fondamentali.

Nel marzo 2012, Quiñonero ha fatto visita a un amico nella Bay Area. A quel tempo, era un manager nell'ufficio di Microsoft Research nel Regno Unito, guidando un team che utilizzava l'apprendimento automatico per convincere più visitatori a fare clic sugli annunci visualizzati dal motore di ricerca dell'azienda, Bing. La sua esperienza era rara e la squadra aveva meno di un anno. L'apprendimento automatico, un sottoinsieme dell'intelligenza artificiale, doveva ancora dimostrarsi una soluzione ai problemi del settore su larga scala. Pochi giganti della tecnologia avevano investito nella tecnologia.

L'amico di Quiñonero voleva mostrare il suo nuovo datore di lavoro, una delle startup più calde della Silicon Valley: Facebook, allora otto anni e già vicino a un miliardo utenti attivi mensili (ovvero coloro che hanno effettuato l'accesso almeno una volta negli ultimi 30 giorni). Mentre Quiñonero girava per il quartier generale di Menlo Park, ha visto un ingegnere solitario apportare un importante aggiornamento al sito Web, cosa che avrebbe comportato una notevole burocrazia in Microsoft. È stata un'introduzione memorabile all'etica di Zuckerberg Muovi velocemente e rompi le cose. Quiñonero era sbalordito dalle possibilità. Nel giro di una settimana, aveva superato le interviste e aveva firmato un'offerta per entrare a far parte dell'azienda.

Il suo arrivo non avrebbe potuto essere migliore. Il servizio di annunci di Facebook era nel mezzo di una rapida espansione mentre la società si stava preparando per la sua IPO di maggio. L'obiettivo era aumentare le entrate e sfidare Google, che aveva la parte del leone nel mercato della pubblicità online. L'apprendimento automatico, in grado di prevedere quali annunci risuonerebbero meglio con quali utenti e quindi li renderebbero più efficaci, potrebbe essere lo strumento perfetto. Poco dopo aver iniziato, Quiñonero è stato promosso a gestire un team simile a quello che aveva guidato in Microsoft.

Quiñonero ha iniziato ad allevare polli alla fine del 2019 per rilassarsi dall'intensità del suo lavoro.

WINNI WINTERMEYER

A differenza degli algoritmi tradizionali, che sono codificati dagli ingegneri, gli algoritmi di apprendimento automatico si addestrano sui dati di input per apprendere le correlazioni al loro interno. L'algoritmo addestrato, noto come modello di apprendimento automatico, può quindi automatizzare le decisioni future. Un algoritmo addestrato sui dati sui clic sugli annunci, ad esempio, potrebbe apprendere che le donne fanno clic sugli annunci per leggings da yoga più spesso degli uomini. Il modello risultante servirà quindi più di quegli annunci alle donne. Oggi in un'azienda basata sull'intelligenza artificiale come Facebook, gli ingegneri generano innumerevoli modelli con lievi variazioni per vedere quale si comporta meglio su un determinato problema.

L'enorme quantità di dati degli utenti di Facebook ha dato a Quiñonero un grande vantaggio. Il suo team ha potuto sviluppare modelli che hanno imparato a dedurre l'esistenza non solo di grandi categorie come donne e uomini, ma anche di categorie molto fini come le donne tra i 25 ei 34 anni a cui piacevano le pagine Facebook relative allo yoga e annunci mirati ad esse. Più il targeting è a grana fine, maggiori sono le possibilità di un clic, il che darebbe agli inserzionisti un rapporto qualità-prezzo maggiore.

Nel giro di un anno il suo team ha sviluppato questi modelli, nonché gli strumenti per progettarne e implementarne di nuovi più velocemente. In precedenza, gli ingegneri di Quiñonero avevano impiegato dalle sei alle otto settimane per costruire, addestrare e testare un nuovo modello. Adesso ne bastava uno.

La notizia del successo si è diffusa rapidamente. Il team che ha lavorato per determinare quali post i singoli utenti di Facebook avrebbero visto sui propri feed di notizie personali ha voluto applicare le stesse tecniche. Proprio come gli algoritmi potrebbero essere addestrati per prevedere chi farebbe clic su quale annuncio, potrebbero anche essere addestrati per prevedere chi vorrebbe o condividere quale post e quindi dare a quei post più risalto. Se il modello determinasse che a una persona piacciono davvero i cani, ad esempio, i post degli amici sui cani apparirebbero più in alto nel feed di notizie di quell'utente.

Il successo di Quiñonero con il feed di notizie, insieme alla nuova impressionante ricerca sull'IA condotta al di fuori dell'azienda, ha attirato l'attenzione di Zuckerberg e Schroepfer. Facebook ora contava poco più di 1 miliardo di utenti, il che lo rendeva più di otto volte più grande di qualsiasi altro social network, ma volevano sapere come continuare quella crescita. I dirigenti hanno deciso di investire molto in IA, connettività Internet e realtà virtuale.

Hanno creato due squadre di intelligenza artificiale. Uno era FAIR, un laboratorio di ricerca fondamentale che avrebbe fatto avanzare le capacità all'avanguardia della tecnologia. L'altro, Applied Machine Learning (AML), integrerebbe queste capacità nei prodotti e servizi di Facebook. Nel dicembre 2013, dopo mesi di corteggiamento e persuasione, i dirigenti hanno reclutato Yann LeCun, uno dei più grandi nomi del settore, per guidare FAIR. Tre mesi dopo, Quiñonero è stato nuovamente promosso, questa volta alla guida dell'AML. (In seguito fu ribattezzato FAIAR, pronunciato fuoco.)

È così che sai cosa ha in mente. Sono sempre stato, per un paio d'anni, a pochi passi dalla scrivania di Mark.

Joaquin Quinonero Candela

Nel suo nuovo ruolo, Quiñonero ha costruito una nuova piattaforma di sviluppo del modello a cui chiunque su Facebook può accedere. Chiamato FBLearner Flusso , ha consentito agli ingegneri con poca esperienza di intelligenza artificiale di addestrare e distribuire modelli di apprendimento automatico in pochi giorni. Entro la metà del 2016, era utilizzato da più di un quarto del team di ingegneri di Facebook ed era già stato utilizzato per addestrare oltre un milione di modelli, inclusi modelli per il riconoscimento delle immagini, il targeting degli annunci e la moderazione dei contenuti.

L'ossessione di Zuckerberg di convincere il mondo intero a utilizzare Facebook aveva trovato una nuova potente arma. I team avevano precedentemente utilizzato tattiche di progettazione, come sperimentare il contenuto e la frequenza delle notifiche, per cercare di agganciare gli utenti in modo più efficace. Il loro obiettivo, tra le altre cose, era aumentare una metrica chiamata L6/7, la frazione di persone che hanno effettuato l'accesso a Facebook sei dei sette giorni precedenti. L6/7 è solo uno dei tanti modi in cui Facebook ha misurato il coinvolgimento: la propensione delle persone a utilizzare la sua piattaforma in qualsiasi modo, sia pubblicando cose, commentandole, apprezzandole o condividendole o semplicemente guardandole. Ora ogni interazione dell'utente, una volta analizzata dagli ingegneri, veniva analizzata da algoritmi. Quegli algoritmi stavano creando cicli di feedback molto più veloci e personalizzati per modificare e personalizzare il feed di notizie di ciascun utente per continuare a spingere i numeri di coinvolgimento.

Zuckerberg, che sedeva al centro dell'edificio 20, l'ufficio principale del quartier generale di Menlo Park, ha messo accanto a sé i nuovi team FAIR e AML. Molte delle assunzioni originali dell'IA erano così vicine che la sua scrivania e la loro si toccavano praticamente. Era il santuario interiore, dice un ex leader dell'organizzazione AI (il ramo di Facebook che contiene tutti i suoi team di intelligenza artificiale), che ricorda il CEO che rimescolava le persone dentro e fuori le sue vicinanze mentre guadagnavano o perdevano il suo favore. È così che sai cosa ha in mente, dice Quiñonero. Sono sempre stato, per un paio d'anni, a pochi passi dalla scrivania di Mark.

Con nuovi modelli di apprendimento automatico venendo online quotidianamente, l'azienda ha creato un nuovo sistema per monitorare il loro impatto e massimizzare il coinvolgimento degli utenti. Il processo è ancora lo stesso oggi. I team preparano un nuovo modello di apprendimento automatico su FBLearner, sia per modificare l'ordine di classifica dei post che per catturare meglio i contenuti che violano gli standard della community di Facebook (le sue regole su cosa è consentito e cosa non è consentito sulla piattaforma). Quindi testano il nuovo modello su un piccolo sottoinsieme di utenti di Facebook per misurare come cambia le metriche di coinvolgimento, come il numero di Mi piace, commenti e condivisioni, afferma Krishna Gade, che è stato responsabile tecnico per il feed di notizie dal 2016 al 2018 .

Se un modello riduce troppo il coinvolgimento, viene scartato. In caso contrario, viene distribuito e continuamente monitorato. Su Twitter, Gade spiegato che i suoi ingegneri ricevevano notifiche ogni pochi giorni quando metriche come Mi piace o commenti erano in calo. Quindi avrebbero decifrato cosa aveva causato il problema e se i modelli avevano bisogno di riqualificazione.

Ma questo approccio ha presto causato problemi. I modelli che massimizzano il coinvolgimento favoriscono anche polemiche, disinformazione ed estremismo: in parole povere, alle persone piacciono le cose oltraggiose. A volte questo infiamma le tensioni politiche esistenti. L'esempio più devastante fino ad oggi è il caso del Myanmar, dove le fake news virali e l'incitamento all'odio sulla minoranza musulmana Rohingya hanno intensificato il conflitto religioso del Paese in un vero e proprio genocidio. Facebook ammesso nel 2018 , dopo anni passati a sminuire il proprio ruolo, di non aver fatto abbastanza per impedire che la nostra piattaforma venisse utilizzata per fomentare divisioni e incitare alla violenza offline.

Sebbene all'inizio Facebook potesse essere stato ignaro di queste conseguenze, nel 2016 le stava studiando. In una presentazione interna di quell'anno, rivista da il giornale di Wall Street , una ricercatrice dell'azienda, Monica Lee, ha scoperto che Facebook non solo ospitava un gran numero di gruppi estremisti, ma li promuoveva anche ai suoi utenti: il 64% di tutte le adesioni a gruppi di estremisti è dovuto ai nostri strumenti di raccomandazione, ha affermato la presentazione, principalmente grazie a i modelli alla base delle funzionalità Gruppi a cui dovresti unirti e Scopri.

La domanda per la leadership era: dovremmo ottimizzare per il coinvolgimento se scopri che qualcuno è in uno stato mentale vulnerabile?

Un ex ricercatore di intelligenza artificiale che si è unito nel 2018

Nel 2017, Chris Cox, chief product officer di Facebook di lunga data, ha formato una nuova task force per capire se massimizzare il coinvolgimento degli utenti su Facebook stesse contribuendo alla polarizzazione politica. Ha scoperto che c'era davvero una correlazione e che ridurre la polarizzazione significherebbe prendere un colpo sull'impegno. In un documento di metà 2018 esaminato dal Journal, la task force ha proposto diverse potenziali soluzioni, come la modifica degli algoritmi di raccomandazione per suggerire una gamma più diversificata di gruppi a cui le persone possono unirsi. Ma ha riconosciuto che alcune delle idee erano contrarie alla crescita. La maggior parte delle proposte non è andata avanti e la task force si è sciolta.

Da allora, altri dipendenti hanno corroborato questi risultati. Un ex ricercatore di IA di Facebook che si è unito nel 2018 afferma che lui e il suo team hanno condotto uno studio dopo l'altro confermando la stessa idea di base: i modelli che massimizzano il coinvolgimento aumentano la polarizzazione. Potevano facilmente tenere traccia della forza con cui gli utenti erano d'accordo o in disaccordo su diverse questioni, con quali contenuti gli piaceva interagire e come le loro posizioni sono cambiate di conseguenza. Indipendentemente dal problema, i modelli hanno imparato ad alimentare gli utenti con punti di vista sempre più estremi. Col tempo loro misurabile diventare più polarizzato, dice.

Il team del ricercatore ha anche scoperto che gli utenti con la tendenza a pubblicare o interagire con contenuti malinconici, un possibile segno di depressione, potrebbero facilmente consumare materiale sempre più negativo che rischia di peggiorare ulteriormente la loro salute mentale. Il team ha proposto di modificare i modelli di classificazione dei contenuti affinché questi utenti smettano di massimizzare il coinvolgimento da soli, in modo che vengano mostrate meno cose deprimenti. La domanda per la leadership era: dovremmo ottimizzare per il coinvolgimento se scopri che qualcuno è in uno stato mentale vulnerabile? lui ricorda. (Un portavoce di Facebook ha affermato di non essere riuscita a trovare la documentazione per questa proposta.)

Storia correlata

La realtà disordinata e segreta dietro il tentativo di OpenAI di salvare il mondo L'AI moonshot è stato fondato nello spirito della trasparenza. Questa è la storia interna di come la pressione competitiva abbia eroso quell'idealismo.

Ma tutto ciò che ha ridotto il coinvolgimento, anche per ragioni come il non esacerbare la depressione di qualcuno, ha portato a molti ostacoli e ossessioni tra i dirigenti. Con le revisioni delle prestazioni e gli stipendi legati al completamento con successo dei progetti, i dipendenti hanno imparato rapidamente a eliminare quelli che hanno ricevuto respingi e continuare a lavorare su quelli dettati dall'alto verso il basso.

Uno di questi progetti fortemente spinto dai leader dell'azienda prevedeva la previsione se un utente potesse essere a rischio per qualcosa che diverse persone avevano già fatto: trasmettere in live streaming il proprio suicidio su Facebook Live. Il compito prevedeva la costruzione di un modello per analizzare i commenti che altri utenti stavano postando su un video dopo che era stato pubblicato e portando gli utenti a rischio all'attenzione di revisori qualificati della community di Facebook che potevano chiamare i soccorritori locali per eseguire un controllo del benessere. Non ha richiesto alcuna modifica ai modelli di classificazione dei contenuti, ha avuto un impatto trascurabile sul coinvolgimento e ha efficacemente respinto la stampa negativa. Era anche quasi impossibile, dice il ricercatore: è più una trovata pubblicitaria. L'efficacia di provare a determinare se qualcuno si ucciderà nei prossimi 30 secondi, in base ai primi 10 secondi di analisi video, non sarai molto efficace.

Facebook contesta questa caratterizzazione, affermando che il team che ha lavorato a questo sforzo da allora ha previsto con successo quali utenti erano a rischio e ha aumentato il numero di controlli di benessere eseguiti. Ma l'azienda non rilascia dati sull'accuratezza delle sue previsioni o su quanti controlli di benessere si siano rivelati vere e proprie emergenze.

Quell'ex dipendente, nel frattempo, non permette più a sua figlia di usare Facebook.

Quiñonero avrebbe dovuto esserlo nella posizione perfetta per affrontare questi problemi quando ha creato il team SAIL (poi Responsible AI) nell'aprile 2018. Il suo tempo come direttore di Applied Machine Learning gli aveva reso intimamente familiare gli algoritmi dell'azienda, in particolare quelli utilizzati per consigliare post, annunci, e altri contenuti agli utenti.

Sembrava anche che Facebook fosse pronto a prendere sul serio questi problemi. Mentre i precedenti sforzi per lavorarci su erano stati sparsi in tutta l'azienda, a Quiñonero ora veniva concesso un team centralizzato con margine di manovra nel suo mandato per lavorare su qualsiasi cosa ritenesse opportuno all'intersezione tra IA e società.

A quel tempo, Quiñonero si stava dedicando alla propria rieducazione su come essere un tecnologo responsabile. Il campo della ricerca sull'IA stava prestando crescente attenzione ai problemi di pregiudizio e responsabilità dell'IA sulla scia di studi di alto profilo che mostravano che, ad esempio, un algoritmo stava valutando gli imputati neri come più probabilità di essere riarrestato rispetto agli imputati bianchi che erano stati arrestati per lo stesso reato o per un reato più grave. Quiñonero iniziò a studiare la letteratura scientifica sull'equità algoritmica, a leggere libri di ingegneria etica e di storia della tecnologia e a parlare con esperti di diritti civili e filosofi morali.

WINNI WINTERMEYER

Nelle molte ore che ho passato con lui, ho potuto dire che l'ha preso sul serio. Si era unito a Facebook durante la Primavera Araba, una serie di rivoluzioni contro i regimi oppressivi del Medio Oriente. Gli esperti hanno elogiato i social media per la diffusione delle informazioni che hanno alimentato le rivolte e per aver fornito alle persone gli strumenti per organizzarsi. Nato in Spagna ma cresciuto in Marocco, dove aveva visto in prima persona la soppressione della libertà di parola, Quiñonero ha sentito un'intensa connessione con il potenziale di Facebook come forza del bene.

Sei anni dopo, Cambridge Analytica aveva minacciato di ribaltare questa promessa. La controversia lo ha costretto a confrontarsi con la sua fiducia nell'azienda ed esaminare cosa significherebbe rimanere per la sua integrità. Penso che ciò che accade alla maggior parte delle persone che lavorano in Facebook, e sicuramente è stata la mia storia, è che non c'è confine tra me e Facebook, dice. È estremamente personale. Ma ha scelto di restare, e di dirigere la SAIL, perché credeva di poter fare di più per il mondo aiutando a dare una svolta all'azienda piuttosto che lasciandola alle spalle.

Penso che se lavori in un'azienda come Facebook, soprattutto negli ultimi anni, ti rendi davvero conto dell'impatto che i tuoi prodotti hanno sulla vita delle persone, su ciò che pensano, su come comunicano, su come interagiscono tra loro, afferma Quiñonero's amico di lunga data Zoubin Ghahramani, che aiuta a guidare il team di Google Brain. So che Joaquin tiene profondamente a tutti gli aspetti di questo. In quanto persona che si sforza di ottenere risultati migliori e migliorare, vede l'importante ruolo che può avere nel plasmare sia il pensiero che le politiche sull'IA responsabile.

All'inizio, SAIL aveva solo cinque persone, che provenivano da diverse parti dell'azienda, ma erano tutte interessate all'impatto sociale degli algoritmi. Un membro fondatore, Isabel Kloumann, una ricercatrice che proveniva dal team di data science di base dell'azienda, ha portato con sé una versione iniziale di uno strumento per misurare la distorsione nei modelli di intelligenza artificiale.

Il team ha anche raccolto molte altre idee per progetti. L'ex leader dell'organizzazione AI, presente ad alcuni dei primi incontri di SAIL, ricorda una proposta per combattere la polarizzazione. Implicava l'utilizzo dell'analisi del sentimento, una forma di apprendimento automatico che interpreta l'opinione in frammenti di testo, per identificare meglio i commenti che esprimevano punti di vista estremi. Questi commenti non verrebbero eliminati, ma sarebbero nascosti per impostazione predefinita con un'opzione per rivelarli, limitando così il numero di persone che li hanno visti.

E ci sono state discussioni sul ruolo che SAIL potrebbe svolgere all'interno di Facebook e su come dovrebbe evolversi nel tempo. Il sentimento era che il team avrebbe prima prodotto linee guida per l'IA responsabile per dire ai team di prodotto cosa dovrebbero o non dovrebbero fare. Ma la speranza era che alla fine servisse da hub centrale dell'azienda per valutare i progetti di intelligenza artificiale e fermare quelli che non seguivano le linee guida.

Gli ex dipendenti hanno descritto, tuttavia, quanto potrebbe essere difficile ottenere il consenso o il supporto finanziario quando il lavoro non ha migliorato direttamente la crescita di Facebook. Per sua natura, la squadra lo era non pensando alla crescita, e in alcuni casi proponeva idee antitetiche alla crescita. Di conseguenza, ha ricevuto poche risorse e languiva. Molte delle sue idee sono rimaste in gran parte accademiche.

Il 29 agosto 2018, che improvvisamente è cambiato. In vista delle elezioni di medio termine negli Stati Uniti, il presidente Donald Trump e altri leader repubblicani accese accuse che Facebook, Twitter e Google avevano pregiudizi anti-conservatori. Hanno affermato che i moderatori di Facebook in particolare, applicando gli standard della comunità, stavano sopprimendo le voci conservatrici più di quelle liberali. Questa accusa sarebbe più tardi essere sfatato , ma l'hashtag #StopTheBias , alimentato da un tweet di Trump, si stava rapidamente diffondendo sui social media.

Per Trump, è stato l'ultimo sforzo per seminare sfiducia nei principali canali di distribuzione delle informazioni del paese. Per Zuckerberg, ha minacciato di alienare gli utenti statunitensi conservatori di Facebook e rendere l'azienda più vulnerabile alle normative di un governo guidato dai repubblicani. In altre parole, ha minacciato la crescita dell'azienda.

Facebook non mi ha concesso un'intervista con Zuckerberg, ma precedente segnalazione ha mostrato come ha sempre più assecondato Trump e la leadership repubblicana. Dopo l'elezione di Trump, Joel Kaplan, vicepresidente delle politiche pubbliche globali di Facebook e il suo repubblicano di più alto rango, ha consigliato a Zuckerberg di procedere con cautela nel nuovo ambiente politico.

Il 20 settembre 2018, tre settimane dopo il tweet #StopTheBias di Trump, Zuckerberg ha tenuto un incontro con Quiñonero per la prima volta dalla creazione di SAIL. Voleva sapere tutto ciò che Quiñonero aveva imparato sulla distorsione dell'IA e su come annullarla nei modelli di moderazione dei contenuti di Facebook. Alla fine dell'incontro, una cosa era chiara: il pregiudizio dell'IA era ora la priorità assoluta di Quiñonero. La leadership è stata molto, molto insistente nell'assicurarsi di ridimensionare questo aspetto in modo aggressivo, afferma Rachad Alao, il direttore tecnico di Responsible AI che si è unito ad aprile 2019.

È stata una vittoria per tutti i presenti. Zuckerberg ha trovato un modo per scongiurare le accuse di pregiudizio anti-conservatore. E Quiñonero ora aveva più soldi e un team più grande per migliorare l'esperienza complessiva di Facebook per gli utenti. Potrebbero basarsi sullo strumento esistente di Kloumann per misurare e correggere i presunti pregiudizi anti-conservatori nei modelli di moderazione dei contenuti, nonché per correggere altri tipi di pregiudizi nella stragrande maggioranza dei modelli sulla piattaforma.

Ciò potrebbe aiutare a impedire alla piattaforma di discriminare involontariamente determinati utenti. A quel punto, Facebook aveva già migliaia di modelli in esecuzione contemporaneamente e quasi nessuno era stato misurato per la distorsione. Ciò avrebbe causato problemi legali alcuni mesi dopo con il Dipartimento per l'edilizia abitativa e lo sviluppo urbano (HUD) degli Stati Uniti, che ha affermato che gli algoritmi dell'azienda stavano deducendo attributi protetti come la razza dai dati degli utenti e mostravano loro annunci di alloggi basati su tali attributi —una forma illegale di discriminazione. (La causa è ancora pendente.) Schroepfer ha anche previsto che il Congresso avrebbe presto approvato delle leggi regolare la discriminazione algoritmica , quindi Facebook doveva comunque fare progressi in questi sforzi.

(Facebook contesta l'idea che abbia proseguito il suo lavoro sulla distorsione dell'IA per proteggere la crescita o in previsione della regolamentazione. Abbiamo creato il team di IA responsabile perché era la cosa giusta da fare, ha detto un portavoce.)

Ma restringere l'attenzione di SAIL all'equità algoritmica metterebbe da parte tutti gli altri problemi algoritmici di vecchia data di Facebook. I suoi modelli di raccomandazione dei contenuti continuerebbero a spingere post, notizie e gruppi agli utenti nel tentativo di massimizzare il coinvolgimento, premiando i contenuti estremisti e contribuendo a un discorso politico sempre più fratturato.

Zuckerberg lo ha persino ammesso. Due mesi dopo l'incontro con Quiñonero, in una nota pubblica delineando i piani di Facebook per la moderazione dei contenuti, ha illustrato gli effetti dannosi della strategia di coinvolgimento dell'azienda con un grafico semplificato. Ha mostrato che più è probabile che un post violi gli standard della community di Facebook, maggiore è il coinvolgimento degli utenti che riceve, perché gli algoritmi che massimizzano il coinvolgimento premiano i contenuti incendiari.

FACEBOOK

Ma poi ha mostrato un altro grafico con la relazione inversa. Invece di premiare i contenuti che si avvicinavano alla violazione degli standard della community, ha scritto Zuckerberg, Facebook potrebbe scegliere di iniziare a penalizzarli, dandogli meno distribuzione e coinvolgimento piuttosto che di più. Come si farebbe? Con più IA. Facebook svilupperebbe modelli di moderazione dei contenuti migliori per rilevare questo contenuto borderline in modo che possa essere retroattivamente spinto più in basso nel feed delle notizie per soffocare la sua viralità, ha affermato.

FACEBOOK

Il problema è che, nonostante tutte le promesse di Zuckerberg, questa strategia è nella migliore delle ipotesi debole.

La disinformazione e l'incitamento all'odio si evolvono costantemente. Sorgono nuove falsità; nuove persone e gruppi diventano obiettivi. Per catturare le cose prima che diventino virali, i modelli di moderazione dei contenuti devono essere in grado di identificare nuovi contenuti indesiderati con elevata precisione. Ma i modelli di apprendimento automatico non funzionano in questo modo. Un algoritmo che ha imparato a riconoscere la negazione dell'Olocausto non può individuare immediatamente, ad esempio, la negazione del genocidio dei Rohingya. Deve essere addestrato su migliaia, spesso anche milioni, di esempi di un nuovo tipo di contenuto prima di imparare a filtrarlo. Anche in questo caso, gli utenti possono imparare rapidamente a superare in astuzia il modello facendo cose come cambiare la formulazione di un post o sostituire frasi incendiarie con eufemismi, rendendo il loro messaggio illeggibile per l'IA mentre è ancora ovvio per un essere umano. Questo è il motivo per cui le nuove teorie del complotto possono rapidamente sfuggire al controllo, e in parte perché, anche dopo che tali contenuti sono stati banditi, le sue forme potere persistere sulla piattaforma.

Nel suo profilo sul New York Times, Schroepfer chiamato queste limitazioni della strategia di moderazione dei contenuti dell'azienda. Ogni volta che il signor Schroepfer e i suoi oltre 150 specialisti di ingegneria creano A.I. soluzioni che sbandierano e soffocano materiale nocivo, nuovi e dubbi post che l'A.I. sistemi mai visti prima, e quindi non vengono catturati, ha scritto il Times. Non andrà mai a zero, ha detto Schroepfer alla pubblicazione.

Nel frattempo, gli algoritmi che raccomandano questo contenuto funzionano ancora per massimizzare il coinvolgimento. Ciò significa che ogni post tossico che sfugge ai filtri di moderazione dei contenuti continuerà a essere spinto più in alto nel feed di notizie e promosso per raggiungere un pubblico più ampio. Infatti, a studio della New York University ha recentemente scoperto che tra le pagine Facebook degli editori partigiani, quelle che pubblicavano regolarmente disinformazione politica hanno ricevuto il maggior coinvolgimento in vista delle elezioni presidenziali statunitensi del 2020 e delle rivolte del Campidoglio. Questo mi ha in qualche modo preso, dice un ex dipendente che ha lavorato su problemi di integrità dal 2018 al 2019. Abbiamo pienamente riconosciuto [questo], eppure stiamo ancora aumentando il coinvolgimento.

Ma il team SAIL di Quiñonero non stava lavorando su questo problema. A causa delle preoccupazioni di Kaplan e Zuckerberg sull'alienazione dei conservatori, il team è rimasto concentrato sui pregiudizi. E anche dopo essersi fusa nel più grande team di IA responsabile, non è mai stato obbligato a lavorare su sistemi di raccomandazione dei contenuti che potrebbero limitare la diffusione della disinformazione. Né nessun altro team, come ho confermato dopo che Entin e un altro portavoce mi hanno fornito un elenco completo di tutte le altre iniziative di Facebook sui problemi di integrità, il termine generico dell'azienda per problemi tra cui disinformazione, incitamento all'odio e polarizzazione.

Storia correlata

Ho iniziato a piangere: dentro gli ultimi giorni di Timnit Gebru su Google e cosa succede dopo .

Un portavoce di Facebook ha affermato: 'Il lavoro non viene svolto da un team specifico perché non è così che opera l'azienda. Viene invece distribuito tra i team che hanno le competenze specifiche per affrontare il modo in cui il ranking dei contenuti influisce sulla disinformazione per la loro parte della piattaforma, ha affermato. Ma Schroepfer mi ha detto esattamente il contrario in una precedente intervista. Gli avevo chiesto perché avesse creato un team centralizzato di IA responsabile invece di indirizzare i team esistenti a fare progressi sulla questione. Ha detto che era la migliore pratica in azienda.

[Se] è un'area importante, dobbiamo muoverci velocemente, non è ben definita, [creiamo] un team dedicato e otteniamo la giusta leadership, ha detto. Man mano che un'area cresce e matura, vedrai i team di prodotto assumere più lavoro, ma il team centrale è ancora necessario perché devi stare al passo con il lavoro all'avanguardia.

Quando ho descritto il lavoro del team di intelligenza artificiale responsabile ad altri esperti di etica e diritti umani dell'IA, hanno notato l'incongruenza tra i problemi che stava affrontando e quelli, come la disinformazione, per i quali Facebook è più noto. Questo sembra essere così stranamente rimosso da Facebook come prodotto: le cose che Facebook costruisce e le domande sull'impatto sul mondo che Facebook deve affrontare, ha affermato Rumman Chowdhury, la cui startup, Parità , fornisce consulenza alle aziende sull'uso responsabile dell'IA ed è stata acquisita da Twitter dopo la nostra intervista. Avevo mostrato a Chowdhury la documentazione del team di Quiñonero che ne descriveva in dettaglio il lavoro. Trovo sorprendente che parleremo di inclusività, equità, equità e non parleremo dei problemi reali che accadono oggi, ha detto.

Sembra che l'inquadratura dell''IA responsabile' sia completamente soggettiva a ciò di cui un'azienda decide di volersi preoccupare. È come, 'Ci inventeremo i termini e poi li seguiremo', afferma Ellery Roberts Biddle, direttore editoriale di Ranking Digital Rights, un'organizzazione no profit che studia l'impatto delle aziende tecnologiche sui diritti umani. Non capisco nemmeno cosa vogliano dire quando parlano di equità. Pensano che sia giusto raccomandare che le persone si uniscano a gruppi estremisti, come quelli che hanno preso d'assalto il Campidoglio? Se tutti ricevono la raccomandazione, significa che era giusto?

Siamo a un punto in cui c'è un genocidio [Myanmar] che le Nazioni Unite, con molte prove, sono state in grado di indicare specificamente Facebook e il modo in cui la piattaforma promuove i contenuti, aggiunge Biddle. Quanto più alta può arrivare la posta in gioco?

Negli ultimi due anni, Il team di Quiñonero ha sviluppato lo strumento originale di Kloumann, chiamato Fairness Flow. Consente agli ingegneri di misurare l'accuratezza dei modelli di apprendimento automatico per diversi gruppi di utenti. Possono confrontare l'accuratezza di un modello di rilevamento del volto in base a diverse età, sesso e tonalità della pelle o l'accuratezza di un algoritmo di riconoscimento vocale in diverse lingue, dialetti e accenti.

Fairness Flow include anche una serie di linee guida per aiutare gli ingegneri a capire cosa significa addestrare un modello equo. Uno dei problemi più spinosi nel rendere giusti gli algoritmi è che ci sono diverse definizioni di equità , che possono essere reciprocamente incompatibili. Fairness Flow elenca quattro definizioni che gli ingegneri possono utilizzare in base a quelle più adatte al loro scopo, ad esempio se un modello di riconoscimento vocale riconosce tutti gli accenti con la stessa precisione o con una soglia minima di accuratezza.

Ma testare gli algoritmi per l'equità è ancora in gran parte facoltativo su Facebook. Nessuno dei team che lavorano direttamente sul feed di notizie, sul servizio pubblicitario o su altri prodotti di Facebook è tenuto a farlo. Gli incentivi retributivi sono ancora legati alle metriche di coinvolgimento e crescita. E sebbene ci siano linee guida su quale definizione di equità utilizzare in una determinata situazione, non vengono applicate.

Quest'ultimo problema è emerso quando l'azienda ha dovuto fare i conti con accuse di pregiudizio anticonservatore.

Nel 2014, Kaplan è stato promosso da capo della politica statunitense a vicepresidente globale per la politica, e lui ha iniziato a svolgere un ruolo più pesante nella moderazione dei contenuti e nelle decisioni su come classificare i post nei feed di notizie degli utenti. Dopo che i repubblicani hanno iniziato a esprimere affermazioni di pregiudizi anti-conservatori nel 2016, il suo team ha iniziato a rivedere manualmente l'impatto dei modelli di rilevamento della disinformazione sugli utenti per garantire, tra le altre cose, che non penalizzassero in modo sproporzionato i conservatori.

Tutti gli utenti di Facebook hanno circa 200 tratti associati al proprio profilo. Questi includono varie dimensioni presentate dagli utenti o stimate da modelli di apprendimento automatico, come razza, tendenze politiche e religiose, classe socioeconomica e livello di istruzione. Il team di Kaplan ha iniziato a utilizzare i tratti per assemblare segmenti di utenti personalizzati che riflettevano interessi in gran parte conservatori: utenti che si impegnavano con contenuti, gruppi e pagine conservativi, ad esempio. Quindi avrebbero eseguito analisi speciali per vedere come le decisioni di moderazione dei contenuti avrebbero influenzato i post di quei segmenti, secondo un ex ricercatore il cui lavoro è stato soggetto a quelle recensioni.

La documentazione del Fairness Flow, che il team di Responsible AI ha scritto in seguito, include un case study su come utilizzare lo strumento in una situazione del genere. Quando si decide se un modello di disinformazione è giusto rispetto all'ideologia politica, ha scritto il team, l'equità sì non significa che il modello dovrebbe influenzare allo stesso modo gli utenti conservatori e liberali. Se i conservatori pubblicano una frazione maggiore di disinformazione, come giudicato dal consenso pubblico, il modello dovrebbe segnalare una frazione maggiore di contenuto conservatore. Se i liberali pubblicano più disinformazione, dovrebbero segnalare anche i loro contenuti più spesso.

Ma i membri del team di Kaplan hanno seguito esattamente l'approccio opposto: hanno interpretato l'equità nel senso che questi modelli non dovrebbero influenzare i conservatori più dei liberali. Quando un modello lo faceva, interrompevano la sua distribuzione e richiedevano un cambiamento. Una volta hanno bloccato un rilevatore di disinformazione medica che aveva notevolmente ridotto la portata delle campagne anti-vaccino, mi ha detto l'ex ricercatore. Hanno detto ai ricercatori che il modello non poteva essere implementato fino a quando il team non avesse risolto questa discrepanza. Ma questo ha effettivamente reso il modello privo di significato. Non ha senso, quindi, dice il ricercatore. Un modello così modificato non avrebbe letteralmente alcun impatto sull'effettivo problema della disinformazione.

Non capisco nemmeno cosa vogliano dire quando parlano di equità. Pensano che sia giusto raccomandare che le persone si uniscano a gruppi estremisti, come quelli che hanno preso d'assalto il Campidoglio? Se tutti ricevono la raccomandazione, significa che era giusto?

Ellery Roberts Biddle, direttore editoriale di Ranking Digital Rights

Questo è successo innumerevoli altre volte, e non solo per la moderazione dei contenuti. Nel 2020 il Washington Post ha riferito che il team di Kaplan aveva minato gli sforzi per mitigare le interferenze elettorali e la polarizzazione all'interno di Facebook, affermando che potrebbero contribuire al pregiudizio anti-conservatore. Nel 2018, ha utilizzato lo stesso argomento per archiviare un progetto per modificare i modelli di raccomandazione di Facebook anche se i ricercatori credevano che avrebbe ridotto la divisione sulla piattaforma, secondo il giornale di Wall Street . Le sue affermazioni sui pregiudizi politici hanno anche indebolito una proposta per modificare i modelli di classifica per il feed di notizie che i data scientist di Facebook ritenevano avrebbe rafforzato la piattaforma contro le tattiche di manipolazione che la Russia aveva utilizzato durante le elezioni statunitensi del 2016.

E prima delle elezioni del 2020, i dirigenti politici di Facebook hanno usato questa scusa, secondo il New York Times , di porre il veto o indebolire diverse proposte che avrebbero ridotto la diffusione di contenuti odiosi e dannosi.

Facebook ha contestato la segnalazione del Wall Street Journal un blog di follow-up post e ha contestato la caratterizzazione del New York Times in un'intervista con la pubblicazione. Un portavoce del team di Kaplan mi ha anche negato che si trattasse di un modello di comportamento, dicendo che i casi riportati dal Post, dal Journal e dal Times erano tutti casi individuali che riteniamo siano poi caratterizzati in modo errato. Ha rifiutato di commentare la riqualificazione dei modelli di disinformazione registrati.

Molti di questi incidenti si sono verificati prima dell'adozione del Fairness Flow. Ma mostrano come la ricerca dell'equità da parte di Facebook al servizio della crescita abbia già avuto un costo elevato per progredire sulle altre sfide della piattaforma. E se gli ingegneri utilizzassero la definizione di equità adottata dal team di Kaplan, Fairness Flow potrebbe semplicemente sistematizzare il comportamento che premia la disinformazione invece di aiutare a combatterla.

Spesso l'intera faccenda dell'equità è entrata in gioco solo come un modo conveniente per mantenere lo status quo, dice l'ex ricercatore: sembra volare contro le cose che Mark stava dicendo pubblicamente in termini di equità ed equità.

L'ultima volta che ho parlato con Quiñonero era un mese dopo le rivolte del Campidoglio degli Stati Uniti. Volevo sapere in che modo l'assalto al Congresso aveva influenzato il suo pensiero e la direzione del suo lavoro.

Nella videochiamata, era come sempre: Quiñonero chiamava dal suo ufficio di casa in una finestra ed Entin, il suo responsabile PR, in un'altra. Ho chiesto a Quiñonero quale ruolo, secondo lui, avesse avuto Facebook nelle rivolte e se ha cambiato il compito che vedeva per l'IA responsabile. Dopo una lunga pausa, ha aggirato la domanda, lanciandosi in una descrizione del lavoro recente che aveva svolto per promuovere una maggiore diversità e inclusione tra i team di intelligenza artificiale.

Gli ho fatto di nuovo la domanda. La sua fotocamera del portale di Facebook, che utilizza algoritmi di visione artificiale per tracciare l'oratore, ha iniziato a ingrandire lentamente il suo viso mentre cresceva. Non so di avere una risposta facile a questa domanda, Karen, disse. È una domanda estremamente difficile da pormi.

Entin, che stava camminando rapidamente con una stoica faccia da poker, afferrò una palla antistress rossa.

Ho chiesto a Quiñonero perché il suo team non avesse precedentemente esaminato i modi per modificare i modelli di classificazione dei contenuti di Facebook per reprimere la disinformazione e l'estremismo. Mi ha detto che era il lavoro di altre squadre (anche se nessuno, come ho confermato, è stato incaricato di lavorare su quel compito). Non è possibile per il team di IA responsabile studiare tutte queste cose da soli, ha detto. Quando gli ho chiesto se avrebbe preso in considerazione l'idea che il suo team affronti questi problemi in futuro, ha ammesso vagamente, sono d'accordo con te che questo sarà lo scopo di questo tipo di conversazioni.

Verso la fine della nostra intervista di un'ora, ha iniziato a sottolineare che l'IA era spesso ingiustamente dipinta come la colpevole. Indipendentemente dal fatto che Facebook abbia utilizzato l'IA o meno, ha detto, le persone continuerebbero a vomitare bugie e incitamenti all'odio e quel contenuto si diffonderebbe comunque sulla piattaforma.

L'ho premuto ancora una volta. Certamente non poteva credere che gli algoritmi non avessero fatto assolutamente nulla per cambiare la natura di questi problemi, ho detto.

Non lo so, disse con una balbuzie incerta. Poi ripeté, con più convinzione: Questa è la mia risposta onesta. Onesto a Dio. Non lo so.

correzioni: Abbiamo modificato una linea che suggeriva che Joel Kaplan, vicepresidente per le politiche globali di Facebook, avesse utilizzato Fairness Flow. Egli non ha. Ma i membri del suo team hanno utilizzato la nozione di equità per richiedere la riqualificazione dei modelli di disinformazione in modi che contraddicono direttamente le linee guida dell'IA responsabile. Abbiamo anche chiarito quando Rachad Alao, il direttore tecnico di Responsible AI , entrato a far parte dell'azienda.