Io c'ero quando: Facebook ha messo i profitti al di sopra della sicurezza

Il mese scorso, la fonte principale per il I file Facebook del Wall Street Journal , ha rivelato la sua identità in un episodio di 60 minuti . Frances Haugen, ex product manager dell'azienda, afferma di essersi fatta avanti dopo aver visto la leadership di Facebook dare ripetutamente la priorità al profitto rispetto alla sicurezza. È poi apparsa davanti ai legislatori negli Stati Uniti e nel Regno Unito per parlare di ciò che aveva appreso durante il suo periodo in studio.

Ma Haugen non è stato il primo informatore di Facebook a lanciare l'allarme sull'incapacità o riluttanza dell'azienda ad affrontare i seri problemi causati dagli algoritmi della piattaforma. Nel 2020 abbiamo appreso di Sophie Zhang, che era stata ufficialmente assunta come data scientist di basso livello presso l'azienda. Quando si è licenziata, il suo promemoria di uscita di 8.000 parole di successo ha rivelato che aveva identificato dozzine di paesi, tra cui India, Messico, Afghanistan e Corea del Sud, in cui account falsi e Mi piace permettevano ai politici di fuorviare il pubblico e acquisire potere. Ha anche rivelato quanto poco l'azienda avesse fatto per mitigare il problema, nonostante i ripetuti sforzi di Zhang per portarlo all'attenzione della leadership.

Nell'ultima puntata di Ero lì quando , un nuovo progetto di storia orale dal podcast In Machines We Trust, parliamo con Zhang dei suoi sforzi.

Crediti:

Questo episodio è stato prodotto da Jennifer Strong, Anthony Green ed Emma Cillekens. È curato da Michael Reilly e Mat Honan. È mixato da Garret Lang, con sound design e musica di Jacob Gorski.

Trascrizione completa:

[ID TR]

SOT: Frances Haugen: Durante il mio periodo su Facebook, sono arrivato a realizzare una verità devastante. Quasi nessuno al di fuori di Facebook sa cosa succede all'interno di Facebook.

Jennifer: Frances Haugen è un'ex product manager di Facebook. Ha presentato denunce alle forze dell'ordine federali sostenendo che la leadership del gigante dei social media ha ripetutamente messo il profitto sulla sicurezza.

SOT: Frances Haugen: L'azienda nasconde intenzionalmente informazioni vitali al pubblico, al governo degli Stati Uniti e ai governi di tutto il mondo.

Jennifer: Le sue lamentele sono arrivate con una miniera di documenti che Haugen ha raccolto prima di licenziarsi... nel tentativo di dimostrare che l'azienda aveva deliberatamente scelto di non risolvere i problemi sulla sua piattaforma.

Tra questi... che algoritmi come quello dietro il tuo feed di notizie di Facebook amplificano l'odio, la disinformazione e i disordini politici.

E non è l'unica informatore che accusa la compagnia di chiudere un occhio sulle campagne di disinformazione sulla piattaforma.

Sophie Zhang ha lavorato come scienziata di dati di Facebook... e fino a quando non è stata licenziata, si è consumata cercando e rimuovendo account, commenti e Mi piace falsi che venivano usati per influenzare le elezioni a livello globale. Il suo memo di uscita di successo era di 8mila parole... e ha rivelato quanto poco Facebook avesse fatto per mitigare il problema.

Sono Jennifer Strong, e questo è Ero lì quando .

È un progetto di storia orale con le storie di come sono accaduti i momenti spartiacque nell'intelligenza artificiale e nell'informatica... raccontati dalle persone che li hanno visti.

[Mostra ID]

Sophie Zhang: Sono Sophie Zhang. In Facebook ero un data scientist e ho lavorato nel team di coinvolgimento. Per fake intendo, ad esempio, account falsi, ma anche account hackerati. E per impegno, intendo, Mi piace, commenti, condivisioni, ecc. Ma nel mio tempo libero, quando ho iniziato a dedicarmi al chiaro di luna nell'area della ricerca di attività politiche non autentiche. Attività politica spesso molto sofisticata e non autentica. Potrei sostenere che anche questo era un finto fidanzamento, ma non era quello su cui avrei dovuto lavorare.

Quando ho iniziato a esaminare le intersezioni tra falso impegno e attività civica, ho trovato molto rapidamente risultati in tutto il mondo. Ho trovato risultati in Brasile, India, Indonesia, in molte nazioni, ma anche in Honduras, un bel po' in Honduras in realtà rispetto alle sue dimensioni. E stavo preparando un rapporto per la leadership sul problema. Volevo fare uno screenshot della pagina del principale destinatario in Honduras, Juan Orlando Hernández, che dopo averlo cercato si è rivelato essere il presidente dell'Honduras.

Stavo andando sulla sua pagina per fare uno screenshot quando improvvisamente si sono fermati, perché ho notato qualcosa di molto insolito perché le persone a cui piaceva la sua pagina e commentavano, molte di loro non erano affatto persone. Erano pagine che fingevano di essere utenti. E quindi, tanto per tornare indietro, cosa sono le pagine? Cosa sono gli utenti? Le pagine sono una funzione di Facebook destinata a personaggi pubblici, organizzazioni pubbliche, ecc. Quindi, ad esempio, MIT Tech Review ha una pagina Facebook. MIT Tech Review non è una persona. La pagina è gestita da qualcun altro su Facebook.

E quindi l'intento di come sono le pagine di Facebook è che dovrebbero riflettere enti pubblici e un singolo utente può controllare molte pagine. Ad esempio, lo stesso amministratore può controllare la pagina della CNN così come CNN, Filippine e CNN Europa, ecc. Ma non c'era nulla che impedisse a un utente di creare centinaia di pagine, dare loro nomi e immagini del profilo come persone reali e farli agire come persone reali. In effetti, è stato più facile da parte loro perché potevano passare facilmente da una pagina all'altra senza dover accedere e disconnettersi ogni volta.

Ben presto si rese conto che queste pagine false che fingevano di essere utenti, ce n'erano migliaia in Honduras. E alcune centinaia di loro sono state gestite personalmente dall'amministratore della pagina del presidente dell'Honduras. Questo era qualcuno che aveva chiaramente una notevole fiducia nei social media nel governo honduregno. E non stavano nemmeno nascondendo il fatto che stavano usando migliaia di risorse false per manipolare la propria cittadinanza.

E così fin dall'inizio sono stato molto ingenuo. Ho pensato che, ok, ho trovato questo. Queste persone erano stupide. Li abbiamo presi. Li consegnerò ad altri. Lo prenderanno. Posso tornare al mio vero lavoro e tutto andrà bene. Fu invece l'inizio di un calvario sisifo di due anni, perché quello che è successo quando ho sollevato era che tutti erano d'accordo sul fatto che fosse terribile. Non era controverso che questo fosse un male. Tutti erano d'accordo sul fatto che ciò non dovesse essere consentito, ma la domanda era: cosa facciamo al riguardo? Abbiamo la capacità di agire di conseguenza? Rientra nelle nostre politiche agire di conseguenza, ecc. Fin dall'inizio ne ho parlato a tutti coloro che sembravano relazionarsi con esso. Ne ho parlato a Pages Integrity, a Groups Integrity. Ne ho parlato con il team per l'integrità civica. Ho cercato di interessare l'intelligence sulle minacce. Alla fine stavo parlando con tutti quelli che avrebbero ascoltato. Ho parlato con tutti fino al vicepresidente Guy Rosen compreso. In sostanza era come parlare al vento, come cercare di svuotare l'oceano con uno scolapasta. Alla fine ho capito che il modo migliore per ottenere risultati spesso non era cercare di passare attraverso i canali appropriati, ma lamentarmi pubblicamente all'interno dell'azienda su Workplace, che è essenzialmente Facebook per l'ufficio, e pubblicare post di Workplace sulla situazione che altri presso l'azienda potrebbe vedere. E molti di loro erano ovviamente sconvolti perché questo non era il tipo di azienda per cui pensavano di lavorare e per cui volevano lavorare. Non so se sia stato con questo mezzo, con altri, ma alla fine Facebook ha finalmente annullato l'operazione del governo honduregno, che era una notizia internazionale.

Poche settimane dopo, l'operazione è tornata con un metodo diverso. Quando abbiamo ottenuto il take down in Honduras, ero ancora ingenuo e idealista all'inizio. Pensavo, ok, prima tutti dicevano che non avevamo un precedente, non sapevamo cosa fare, ma ora abbiamo il precedente. Ora possiamo dire che abbiamo creato questo precedente di fare questo. Possiamo risolverlo in questo metodo. E quindi dopo questo ho pensato, ok, posso inviarli su tutti gli altri che ho trovato. Se ne sarebbero occupati. Non se ne sono occupati. Quando ho usato i canali appropriati per inviarli, sono finiti essenzialmente in un distruggidocumenti a scatola nera dove sono stati ignorati.

Nella seconda metà del 2019 ho sollevato e segnalato altre tre dozzine di reti di attività politiche non autentiche dall'Afghanistan all'Albania, dal Brasile alla Bolivia, dall'India all'Indonesia. E quindi ci è voluto un po' di tempo per capire il modo giusto per ottenere effettivamente risultati e convincere le persone a rispondere effettivamente. Dipendeva dal fatto che fossero legati a politici e personaggi di spicco, perché se qualcosa era legato a una figura politica, diventava molto più difficile tirarlo giù. Ora ti darò un numero che non me ne sono andato quando l'hanno visto per la prima volta. Poiché l'Azerbaigian ha certamente meno del 3% della popolazione mondiale, molto più piccola, la sua rete creava forse un milione di commenti ogni mese. E questo costituiva qualcosa come il 3% di tutti i commenti delle Pagine sui post di altre Pagine in tutto il mondo, a livello globale, civico o non civico.

Ma anche quando ho colto in flagrante il governo azerbaigiano, ci è voluto più di un anno prima che l'operazione venisse annullata. Quando ho scoperto che il governo dell'Azerbaigian aveva istituito un massiccio pedaggio di agenti pagati per molestare l'opposizione in grandi quantità. Questo è stato molto chiaramente negativo. Era molto chiaramente legato al governo azerbaigiano. Ed era di dimensioni enormi. Ma quando l'abbiamo tolto, sono sicuro che da qualche parte su Facebook, c'era una squadra che era molto sconvolta dal motivo per cui i numeri sono improvvisamente diminuiti senza motivo che potessero capire. tra la mia scoperta e la sconfitta l'Azerbaigian aveva represso l'opposizione, arrestato figure dell'opposizione non migliorate e iniziato una guerra con l'Armenia.

È diventato sempre più stressante lavorare sulla questione. È difficile, individualmente, vedere quale impatto abbia avuto tutto questo, ma è diventato subito chiaro che era legato all'attività nelle nazioni che stavano lottando perché c'era così tanto da fare. E sono stato io a prendere personalmente le decisioni su ciò che era importante. Dipendeva essenzialmente da me ciò che ho scelto di andare oltre, ciò per cui ho scelto di dare la priorità e cercare di attirare l'attenzione. E ho scelto di non dare priorità alla Bolivia perché era oggettivamente molto piccola e poco intelligente. Ben dopo le elezioni, ci sono state proteste di massa che sono sfociate in quello che è stato chiamato alternativamente un colpo di stato o una rivolta popolare che ha portato alla caduta del governo boliviano. So che questa non avrebbe dovuto essere una mia responsabilità personale, ma alla fine non c'era nessun altro che si fosse fatto avanti. E così ho scelto di farlo da solo. E poiché mi ero messo in questa posizione, dipendeva essenzialmente da me stesso, su cosa era abbastanza importante concentrarsi e voglio essere chiaro. C'erano sempre altri che erano incaricati di perfezionare le mie scoperte e incaricati di eliminarle alla fine.

Ho deciso fin dall'inizio che sarei stato solo il pubblico ministero, in sostanza avrei fatto del mio meglio per non essere mai giudice, giuria e carnefice, perché avevo già troppo potere nelle mie mani. Penso che nessuno dovrebbe essere nella posizione di decidere se l'Albania è più importante dell'Azerbaigian o domande del genere. Perché in quel libro dei conti hanno anche trovato che erano legati a membri sostenitori del governo albanese. Ma quello che ho trovato in Azerbaigian era oggettivamente peggiore in termini di dimensioni e dimensioni. E così sapevo di avere solo il capitale politico per farcela molto lentamente, uno alla volta. E così ho scelto di concentrarmi sull'Azerbaigian. Succede ancora in Albania. L'Albania ha tenuto le elezioni generali all'inizio di quest'anno e all'epoca erano ancora in corso. Voglio dire, più di due anni dopo averlo scoperto, Facebook non ha ancora fatto nulla.

E posso solo scusarmi profusamente con il popolo albanese. Non avrei dovuto trovarmi nella posizione in cui dovevo scegliere se l'Albania o l'Azerbaigian fossero più importanti. Rimango fedele alla mia decisione perché quello che hanno trovato in Azerbaigian era oggettivamente peggiore, ma comunque, nessuna singola persona dovrebbe essere responsabile di questioni come questa. Ci sono state molte notizie su come Facebook abbia risorse insufficienti nell'area dell'integrità. Non ho visto nessuna notizia che si lamenti del fatto che Facebook ha troppo poche risorse nel marketing degli annunci. E penso che alla fine ciò indichi i volumi sulle priorità dell'azienda.

Quello che ho trovato più difficile è stato in alcuni paesi autoritari. L'opposizione democratica traeva vantaggio dall'impiego di tattiche gustose. E ho riflettuto di più su quei casi. Ma li ho comunque eliminati senza esitazione perché credevo fermamente che la mia fedeltà fosse alle idee di democrazia e stato di diritto. E che fondamentalmente la democrazia non può stare su un letto di bugie. Essendo un impiegato di livello molto basso nel mio tempo libero, senza alcun tipo di supervisione prendevo decisioni personalmente, ciò influiva direttamente sui governi nazionali.

È una domanda difficile rispondere a ciò che credo dovrebbe accadere, perché in parte è come chiedere se potessi rendere il cielo di qualsiasi colore, di che colore vorresti che fosse? Perché è una, è una domanda principalmente teorica e la tua risposta non avrà alcun effetto reale sul mondo reale.

Non posso far cambiare idea a Mark più di quanto possano rendere il cielo rosa dall'oggi al domani. Dipende dalle persone che mi ascoltano, da persone come te, perché non posso cambiare nulla da solo. Ho solo tanto potere quanto gli altri mi concedono. Se vuoi che le cose cambino, dovresti chiedere personalmente ai tuoi rappresentanti perché alla fine questo è un problema che non è vissuto da poche persone singole. Questo è il problema in cui i costi sono a carico della società, della democrazia, del discorso civico nel suo insieme. E come azienda, Facebook non ha incentivi per risolvere questo problema più di quanto ci aspettassimo che Philip Morris sviluppasse sigarette che non creano dipendenza.

Jennifer: Ero lì quando è un progetto di storia orale che presenta le storie di persone che hanno assistito o creato scoperte nell'intelligenza artificiale e nell'informatica.

Hai una storia da raccontare? Conosci qualcuno che lo fa? Mandaci un'e-mail a podcast su technology review dot com.

[MIDROLL]

[CREDITI]

Jennifer: Questo episodio è stato prodotto da me con l'aiuto di Anthony Green ed Emma Cillekens. Siamo curati da Niall Firth e Mat Honan. Il nostro tecnico del mix è Garret Lang... e il nostro tema musicale è di Jacob Gorski.

Grazie per l'ascolto, sono Jennifer Strong.

[ID TR]

nascondere