L'informatore di Facebook afferma che i suoi algoritmi sono pericolosi. Ecco perché.

L'informatrice di Facebook Frances Haugen testimonia durante una commissione del Senato il 5 ottobre. Drew Angerer/Getty Images

Domenica sera, la fonte primaria per il I file Facebook del Wall Street Journal , una serie investigativa basata su documenti interni di Facebook, ha rivelato la sua identità in un episodio di 60 minuti .

Frances Haugen, ex product manager dell'azienda, afferma di essersi fatta avanti dopo aver visto la leadership di Facebook dare ripetutamente la priorità al profitto rispetto alla sicurezza.

Prima di dimettersi nel maggio di quest'anno, ha esaminato Facebook Workplace, il social network interno dei dipendenti dell'azienda, e raccolto un'ampia serie di rapporti interni e ricerche nel tentativo di dimostrare in modo definitivo che Facebook aveva deliberatamente scelto di non risolvere i problemi relativi ai suoi piattaforma.

Oggi ha testimoniato davanti al Senato sull'impatto di Facebook sulla società. Ha ribadito molti dei risultati della ricerca interna e ha implorato il Congresso di agire.

Storia correlata

Come Facebook è diventato dipendente dalla diffusione di disinformazione

Gli algoritmi di intelligenza artificiale dell'azienda le hanno dato un'abitudine insaziabile di bugie e incitamento all'odio. Ora l'uomo che li ha costruiti non può risolvere il problema.

Sono qui oggi perché credo che i prodotti di Facebook danneggino i bambini, alimentino la divisione e indeboliscano la nostra democrazia, ha affermato nella sua dichiarazione di apertura ai legislatori. Questi problemi sono risolvibili. È possibile un social media più sicuro, rispettoso della libertà di parola e più divertente. Ma c'è una cosa che spero che tutti portino via da queste rivelazioni, è che Facebook può cambiare, ma chiaramente non lo farà da solo.

Durante la sua testimonianza, Haugen ha particolarmente accusato l'algoritmo di Facebook e le decisioni di progettazione della piattaforma per molti dei suoi problemi. Questo è un notevole cambiamento rispetto all'attuale focus dei responsabili politici sulla politica sui contenuti e sulla censura di Facebook: cosa appartiene e cosa non appartiene a Facebook. Molti esperti ritengono che questa visione ristretta porti a una strategia 'colpisci una talpa' che perde il quadro più ampio.

Sono un forte sostenitore delle soluzioni non basate sui contenuti, perché tali soluzioni proteggeranno le persone più vulnerabili del mondo, ha affermato Haugen, sottolineando la capacità irregolare di Facebook di applicare la propria politica sui contenuti in lingue diverse dall'inglese.

La testimonianza di Haugen fa eco a molti dei risultati di un'indagine del MIT Technology Review pubblicato all'inizio di quest'anno, che ha attinto a dozzine di interviste con dirigenti di Facebook, dipendenti attuali ed ex, colleghi del settore ed esperti esterni. Abbiamo raccolto le parti più rilevanti della nostra indagine e altri rapporti per dare più contesto alla testimonianza di Haugen.

Come funziona l'algoritmo di Facebook?

Colloquialmente, usiamo il termine algoritmo di Facebook come se ce ne fosse solo uno. Infatti, Facebook decide come indirizzare gli annunci e classificare i contenuti in base a centinaia, forse migliaia, di algoritmi. Alcuni di questi algoritmi prendono in giro le preferenze di un utente e aumentano quel tipo di contenuto nel feed di notizie dell'utente. Altri servono per rilevare tipi specifici di contenuti dannosi, come nudità, spam o titoli clickbait, e per eliminarli o spingerli verso il basso nel feed.

Tutti questi algoritmi sono noti come algoritmi di apprendimento automatico. Come io scritto all'inizio di quest'anno :

A differenza degli algoritmi tradizionali, che sono codificati dagli ingegneri, gli algoritmi di apprendimento automatico si addestrano sui dati di input per apprendere le correlazioni al loro interno. L'algoritmo addestrato, noto come modello di apprendimento automatico, può quindi automatizzare le decisioni future. Un algoritmo addestrato sui dati sui clic sugli annunci, ad esempio, potrebbe apprendere che le donne fanno clic sugli annunci per leggings da yoga più spesso degli uomini. Il modello risultante servirà quindi più di quegli annunci alle donne.

E grazie all'enorme quantità di dati degli utenti di Facebook, è possibile

sviluppare modelli che hanno imparato a dedurre l'esistenza non solo di categorie ampie come donne e uomini, ma anche di categorie a grana molto fine come le donne tra i 25 ei 34 anni a cui piacevano le pagine Facebook relative allo yoga e [target] annunci su di esse. Più il targeting è a grana fine, maggiori sono le possibilità di un clic, il che darebbe agli inserzionisti un rapporto qualità-prezzo maggiore.

Gli stessi principi si applicano per classificare i contenuti nel feed di notizie:

Proprio come gli algoritmi [possono] essere addestrati per prevedere chi farebbe clic su quale annuncio, [possono] anche essere addestrati per prevedere chi vorrebbe o condividere quale post, e quindi dare a quei post più risalto. Se il modello determinasse che a una persona piacciono davvero i cani, ad esempio, i post degli amici sui cani apparirebbero più in alto nel feed di notizie di quell'utente.

Prima che Facebook iniziasse a utilizzare algoritmi di apprendimento automatico, i team utilizzavano tattiche di progettazione per aumentare il coinvolgimento. Sperimenterebbero cose come il colore di un pulsante o la frequenza delle notifiche per far tornare gli utenti sulla piattaforma. Ma gli algoritmi di apprendimento automatico creano un ciclo di feedback molto più potente. Non solo possono personalizzare ciò che vede ogni utente, ma continueranno anche ad evolversi con le mutevoli preferenze di un utente, mostrando perennemente a ogni persona cosa li terrà maggiormente coinvolti.

Chi gestisce l'algoritmo di Facebook?

All'interno di Facebook, non esiste un team responsabile di questo sistema di classificazione dei contenuti nella sua interezza. Gli ingegneri sviluppano e aggiungono i propri modelli di apprendimento automatico al mix, in base agli obiettivi del proprio team. Ad esempio, i team incentrati sulla rimozione o il declassamento di contenuti dannosi, noti come team di integrità, formeranno solo modelli per rilevare diversi tipi di contenuti dannosi.

Questa è stata una decisione presa da Facebook all'inizio come parte della sua mossa veloce e della rottura della cultura delle cose. Ha sviluppato uno strumento interno noto come FBLearner Flusso ciò ha reso facile per gli ingegneri senza esperienza di apprendimento automatico sviluppare tutti i modelli di cui avevano bisogno a loro disposizione. A un certo punto, era già utilizzato da più di un quarto del team di ingegneri di Facebook nel 2016.

Storia correlata

Ha rischiato tutto per smascherare Facebook. Ora sta raccontando la sua storia.

Sophie Zhang, ex scienziata di dati di Facebook, ha rivelato che consente la manipolazione politica globale e ha fatto ben poco per fermarla.

Molti degli attuali ed ex dipendenti di Facebook con cui ho parlato affermano che questo è parte del motivo per cui Facebook non riesce a capire cosa offre agli utenti nel feed delle notizie. Squadre diverse possono avere obiettivi in ​​competizione e il sistema è diventato così complesso e ingombrante che nessuno può più tenere traccia di tutti i suoi diversi componenti.

Di conseguenza, il processo principale dell'azienda per il controllo della qualità è attraverso la sperimentazione e la misurazione. Come ho scritto:

I team preparano un nuovo modello di apprendimento automatico su FBLearner, sia per modificare l'ordine di classifica dei post che per catturare meglio i contenuti che violano gli standard della community di Facebook (le sue regole su cosa è consentito e cosa non è consentito sulla piattaforma). Quindi testano il nuovo modello su un piccolo sottoinsieme di utenti di Facebook per misurare come cambia le metriche di coinvolgimento, come il numero di Mi piace, commenti e condivisioni, afferma Krishna Gade, che è stato responsabile tecnico per il feed di notizie dal 2016 al 2018 .

Se un modello riduce troppo il coinvolgimento, viene scartato. In caso contrario, viene distribuito e continuamente monitorato. Su Twitter, Gade spiegato che i suoi ingegneri ricevevano notifiche ogni pochi giorni quando metriche come Mi piace o commenti erano in calo. Quindi avrebbero decifrato cosa aveva causato il problema e se i modelli avevano bisogno di riqualificazione.

In che modo la classifica dei contenuti di Facebook ha portato alla diffusione di disinformazione e incitamento all'odio?

Durante la sua testimonianza, Haugen è tornata ripetutamente all'idea che l'algoritmo di Facebook inciti alla disinformazione, all'incitamento all'odio e persino alla violenza etnica.

Facebook … sa—hanno ammesso in pubblico—che la classifica basata sul coinvolgimento è pericolosa senza sistemi di integrità e sicurezza, ma poi non ha implementato tali sistemi di integrità e sicurezza nella maggior parte delle lingue del mondo, ha detto oggi al Senato. Sta separando le famiglie. E in posti come l'Etiopia sta letteralmente alimentando la violenza etnica.

Ecco cosa ho scritto su questo in precedenza:

I modelli di apprendimento automatico che massimizzano il coinvolgimento favoriscono anche polemiche, disinformazione ed estremismo: in parole povere, alle persone piacciono le cose oltraggiose.

A volte questo infiamma le tensioni politiche esistenti. L'esempio più devastante fino ad oggi è il caso del Myanmar, dove le fake news virali e l'incitamento all'odio sulla minoranza musulmana Rohingya hanno intensificato il conflitto religioso del Paese in un vero e proprio genocidio. Facebook ha ammesso nel 2018, dopo anni di minimizzazione del proprio ruolo, di non aver fatto abbastanza per impedire che la nostra piattaforma venisse utilizzata per fomentare divisioni e incitare alla violenza offline.

Come ha detto Haugen, anche Facebook lo sa da un po'. Rapporti precedenti hanno rilevato che sta studiando il fenomeno almeno dal 2016.

In una presentazione interna di quell'anno, rivista dal giornale di Wall Street , una ricercatrice dell'azienda, Monica Lee, ha scoperto che Facebook non solo ospitava un gran numero di gruppi estremisti, ma li promuoveva anche ai suoi utenti: il 64% di tutte le adesioni a gruppi di estremisti è dovuto ai nostri strumenti di raccomandazione, ha affermato la presentazione, principalmente grazie a i modelli alla base delle funzionalità Gruppi a cui dovresti unirti e Scopri.

Nel 2017, Chris Cox, chief product officer di Facebook di lunga data, ha formato una nuova task force per capire se massimizzare il coinvolgimento degli utenti su Facebook stesse contribuendo alla polarizzazione politica. Ha scoperto che c'era davvero una correlazione e che ridurre la polarizzazione significherebbe prendere un colpo sull'impegno. In un documento di metà 2018 esaminato dal Journal, la task force ha proposto diverse potenziali soluzioni, come la modifica degli algoritmi di raccomandazione per suggerire una gamma più diversificata di gruppi a cui le persone possono unirsi. Ma ha riconosciuto che alcune delle idee erano contrarie alla crescita. La maggior parte delle proposte non è andata avanti e la task force si è sciolta.

Nelle mie conversazioni, anche i dipendenti di Facebook hanno confermato questi risultati.

Un ex ricercatore di IA di Facebook che si è unito nel 2018 afferma che lui e il suo team hanno condotto uno studio dopo l'altro confermando la stessa idea di base: i modelli che massimizzano il coinvolgimento aumentano la polarizzazione. Potevano facilmente tenere traccia della forza con cui gli utenti erano d'accordo o in disaccordo su diverse questioni, con quali contenuti gli piaceva interagire e come le loro posizioni sono cambiate di conseguenza. Indipendentemente dal problema, i modelli hanno imparato ad alimentare gli utenti con punti di vista sempre più estremi. Col tempo diventano notevolmente più polarizzati, dice.

Storia correlata

La corsa per comprendere l'esilarante e pericoloso mondo dell'IA linguistica

Centinaia di scienziati in tutto il mondo stanno lavorando insieme per comprendere una delle più potenti tecnologie emergenti prima che sia troppo tardi.

Nella sua testimonianza, Haugen ha anche ripetutamente sottolineato come questi fenomeni siano molto peggiori nelle regioni che non parlano inglese a causa della copertura irregolare di Facebook delle diverse lingue.

Nel caso dell'Etiopia ci sono 100 milioni di persone e sei lingue. Facebook supporta solo due di queste lingue per i sistemi di integrità, ha affermato. Questa strategia di concentrarsi su sistemi specifici per lingua e contenuti per l'IA per salvarci è destinata a fallire.

Ha continuato: Quindi investire in modi non basati sui contenuti per rallentare la piattaforma non solo protegge la nostra libertà di parola, ma protegge la vita delle persone.

Lo esploro di più in un articolo diverso dall'inizio di quest'anno sui limiti di grandi modelli linguistici o LLM:

Nonostante i LLM presentino queste carenze linguistiche, Facebook fa molto affidamento su di essi per automatizzare la moderazione dei contenuti a livello globale. Quando è scoppiata la guerra nel Tigray[, Etiopia] a novembre, [il ricercatore di etica dell'IA Timnit] Gebru ha visto la piattaforma naufragare per controllare la raffica di disinformazione. Questo è emblematico di un modello persistente che i ricercatori hanno osservato nella moderazione dei contenuti. Le comunità che parlano lingue non prioritarie dalla Silicon Valley subiscono gli ambienti digitali più ostili.

Gebru ha notato che non è nemmeno qui che finisce il danno. Quando le fake news, l'incitamento all'odio e persino le minacce di morte non vengono eliminate, vengono quindi raschiate come dati di formazione per costruire la prossima generazione di LLM. E quei modelli, ripetendo a pappagallo ciò su cui sono stati addestrati, finiscono per rigurgitare questi schemi linguistici tossici su Internet.

In che modo la classifica dei contenuti di Facebook è correlata alla salute mentale degli adolescenti?

Una delle rivelazioni più scioccanti dai file Facebook del Journal è stata la ricerca interna di Instagram, che ha scoperto che la sua piattaforma sta peggiorando la salute mentale tra le ragazze adolescenti. Il 32% delle ragazze adolescenti ha affermato che quando si sentivano male per il proprio corpo, Instagram le faceva sentire peggio, hanno scritto i ricercatori in una presentazione di diapositive di marzo 2020.

Haugen collega questo fenomeno anche ai sistemi di classificazione basati sul coinvolgimento, che ha detto oggi al Senato sta esponendo gli adolescenti a più contenuti di anoressia.

Se Instagram è una forza così positiva, abbiamo visto un'età d'oro della salute mentale adolescenziale negli ultimi 10 anni? No, abbiamo assistito a un'escalation dei tassi di suicidio e depressione tra gli adolescenti, ha continuato. C'è un'ampia fascia di ricerca che supporta l'idea che l'uso dei social media amplifica il rischio di questi danni alla salute mentale.

Nel mio reportage, ho sentito parlare di un ex ricercatore di intelligenza artificiale che ha visto questo effetto estendersi anche a Facebook.

Il team del ricercatore ha scoperto che gli utenti con la tendenza a pubblicare o interagire con contenuti malinconici, un possibile segno di depressione, potrebbero facilmente consumare materiale sempre più negativo che rischia di peggiorare ulteriormente la loro salute mentale.

Ma come con Haugen, il ricercatore ha scoperto che la leadership non era interessata ad apportare modifiche algoritmiche fondamentali.

Il team ha proposto di modificare i modelli di classificazione dei contenuti affinché questi utenti smettano di massimizzare il coinvolgimento da soli, in modo che vengano mostrate meno cose deprimenti. La domanda per la leadership era: dovremmo ottimizzare per il coinvolgimento se scopri che qualcuno è in uno stato mentale vulnerabile? lui ricorda.

Ma tutto ciò che ha ridotto il coinvolgimento, anche per ragioni come il non esacerbare la depressione di qualcuno, ha portato a molti ostacoli e ossessioni tra i dirigenti. Con le revisioni delle prestazioni e gli stipendi legati al completamento con successo dei progetti, i dipendenti hanno imparato rapidamente a eliminare quelli che hanno ricevuto respingi e continuare a lavorare su quelli dettati dall'alto verso il basso...

Quell'ex dipendente, nel frattempo, non permette più a sua figlia di usare Facebook.

come lo aggiustiamo?

Haugen è contrario alla rottura di Facebook o all'abrogazione della Sezione 230 del Communications Decency Act degli Stati Uniti, che protegge le piattaforme tecnologiche dall'assumersi la responsabilità dei contenuti che distribuisce.

Invece, raccomanda di ritagliarsi un'esenzione più mirata nella Sezione 230 per la classifica algoritmica, che secondo lei eliminerebbe la classifica basata sul coinvolgimento. Sostiene anche il ritorno al feed di notizie cronologico di Facebook.

Storia correlata

Recensione: perché Facebook non può mai aggiustarsi da solo

In An Ugly Truth, le reporter Sheera Frenkel e Cecilia Kang rivelano i difetti fondamentali di Facebook attraverso un resoconto dettagliato degli anni trascorsi tra due elezioni americane.

Ellery Roberts Biddle, direttrice di progetti presso Ranking Digital Rights, un'organizzazione no profit che studia i sistemi di ranking dei social media e il loro impatto sui diritti umani, afferma che un'esclusione della Sezione 230 dovrebbe essere controllata attentamente: penso che avrebbe un'implicazione ristretta. Non credo che raggiungerebbe esattamente ciò che potremmo sperare.

Affinché tale esclusione sia attuabile, afferma, i responsabili politici e il pubblico dovrebbero avere un livello di trasparenza molto maggiore su come funzionano i sistemi di targeting degli annunci e di classificazione dei contenuti di Facebook. Capisco l'intenzione di Haugen: ha senso, dice. Ma è dura. In realtà non abbiamo ancora risposto alla domanda sulla trasparenza sugli algoritmi. C'è molto altro da fare.

Tuttavia, le rivelazioni e le testimonianze di Haugen hanno portato rinnovata attenzione a ciò che molti esperti e dipendenti di Facebook hanno affermato per anni: che a meno che Facebook non modifichi il design fondamentale dei suoi algoritmi, non intaccherà in modo significativo i problemi della piattaforma.

Il suo intervento solleva anche la prospettiva che se Facebook non è in grado di mettere in ordine la propria casa, i politici potrebbero forzare la questione.

Il Congresso può cambiare le regole che seguono Facebook e fermare i molti danni che sta causando, ha detto Haugen al Senato. Mi sono fatto avanti con grande rischio personale perché credo che abbiamo ancora tempo per agire, ma dobbiamo agire ora.

nascondere