Come i nostri dati codificano il razzismo sistematico

La signora Tech

Mi è stato detto spesso, i dati non mentono. Tuttavia, questa non è mai stata la mia esperienza. Per me, i dati mentono quasi sempre. I risultati della ricerca di immagini di Google per una pelle sana mostrano solo donne dalla pelle chiara e una query attiva Le ragazze nere restituiscono ancora la pornografia . Il Celeb A il set di dati del viso ha etichette di naso grosso e labbra grandi che sono assegnate in modo sproporzionato a volti femminili dalla pelle più scura come il mio. Etichetta dei modelli formati da ImageNet sono una persona cattiva, un tossicodipendente o un fallito. Mancano i set di dati per rilevare il cancro della pelle campioni di più scuro tipi di pelle.

La supremazia bianca appare spesso violentemente: in spari contro un affollato Walmart o servizio in chiesa , nell'acuta osservazione di un'accusa alimentata dall'odio o di una spinta violenta per strada, ma a volte assume una forma più sottile, come queste bugie. Quando quelli di noi che costruiscono sistemi di intelligenza artificiale continuano a consentire alla palese menzogna della supremazia bianca di essere incorporata in tutto, dal modo in cui raccogliamo i dati a come definiamo i set di dati e come scegliamo di usarli, significa una tolleranza inquietante.

I non bianchi non sono valori anomali. A livello globale, siamo il norma , e questo non sembra essere cambiare in qualunque momento presto . I set di dati così specificatamente integrati e per gli spazi bianchi rappresentano la realtà costruita, non quella naturale. Avere la precisione calcolata in assenza della mia esperienza vissuta non solo mi offende, ma mi mette anche in pericolo reale.

Dati corrotti

In un documento di ricerca intitolato Dati sporchi, previsioni sbagliate , l'autore principale Rashida Richardson descrive uno scenario allarmante: i distretti di polizia sospettati o confermati di essere coinvolti in pratiche corrotte, razziste o altrimenti illegali continuano a contribuire con i propri dati allo sviluppo di nuovi sistemi automatizzati destinati ad aiutare gli agenti a prendere decisioni di polizia.

L'obiettivo degli strumenti di polizia predittiva è inviare gli agenti sulla scena di un crimine prima che si verifichi. Il presupposto è che i luoghi in cui le persone erano state precedentemente arrestate siano correlate a una probabilità di future attività illegali. Ciò che Richardson sottolinea è che questo presupposto rimane indiscusso anche quando quegli arresti iniziali erano motivati ​​​​dal punto di vista razziale o illegali, a volte comportavano la manipolazione sistematica dei dati, la corruzione della polizia, la falsificazione dei rapporti della polizia e la violenza, tra cui rapine ai residenti, piantare prove, estorsioni, perquisizioni incostituzionali e altre pratiche corrotte. Anche i dati dei dipartimenti di polizia che si comportano peggio lo sono ancora utilizzato per informare gli strumenti di polizia predittiva .

Come la Lo riporta il Tampa Bay Times , questo approccio può fornire una giustificazione algoritmica per ulteriori molestie da parte della polizia nei confronti delle minoranze e delle comunità a basso reddito. L'uso di dati così imperfetti per addestrare nuovi sistemi incorpora la cattiva condotta documentata del dipartimento di polizia nell'algoritmo e perpetua pratiche già note per terrorizzare le persone più vulnerabili a tale abuso.

Questo può sembrare descrivere una manciata di situazioni tragiche. Tuttavia, è davvero la norma nell'apprendimento automatico: questa è la qualità tipica dei dati che attualmente accettiamo come la nostra verità di base indiscussa.

Storia correlata

Cosa manca nelle dichiarazioni aziendali sull'ingiustizia razziale? La vera causa del razzismo. Un'analisi di 63 recenti dichiarazioni mostra che le aziende tecnologiche statunitensi hanno ripetutamente attribuito la responsabilità dell'ingiustizia razziale ai neri.

Un giorno GPT-2, una versione precedente pubblicamente disponibile del modello di generazione del linguaggio automatizzato sviluppato dall'organizzazione di ricerca OpenAI, ha iniziato a parlarmene apertamente diritti bianchi. Dati semplici suggerimenti come lo è un uomo bianco o una donna nera, il testo generato dal modello si lancerebbe nelle discussioni sulle nazioni ariane bianche e sugli invasori stranieri e non bianchi.

Non solo queste diatribe includevano insulti orribili come puttana, puttana, negra, cretino e slanteye,' ma il testo generato incarnava una specifica retorica nazionalista bianca americana, che descriveva le minacce demografiche e virava in posizioni antisemite contro ebrei e comunisti.

GPT-2 non pensa da solo: genera risposte replicando i modelli linguistici osservati nei dati utilizzati per sviluppare il modello. Questo set di dati, denominato WebText, contiene oltre 8 milioni di documenti per un totale di 40 GB di testo proveniente da collegamenti ipertestuali. Questi collegamenti sono stati selezionati dai post più votati sul sito Web di social media Reddit, as un indicatore euristico per stabilire se altri utenti hanno trovato il collegamento interessante, educativo o semplicemente divertente .

Tuttavia, gli utenti di Reddit, inclusi quelli che caricano e votano, lo sono noto per includere suprematisti bianchi . Per anni, la piattaforma è stata pieno di linguaggio razzista e link consentiti a contenuti che esprimono ideologia razzista. E anche se ci sono opzioni pratiche disponibili per frenare questo comportamento sulla piattaforma, i primi seri tentativi di farlo agire , dall'allora CEO Ellen Pao nel 2015, sono stati accolti male dalla comunità e hanno portato a un'intensa molestie e contraccolpo .

Che si tratti di poliziotti ribelli o utenti ribelli, i tecnologi scelgono di consentire a questa particolare visione del mondo oppressiva di consolidarsi nei set di dati e definire la natura dei modelli che sviluppiamo. La stessa OpenAI ha riconosciuto i limiti del reperimento di dati da Reddit, osservandolo molti gruppi dannosi utilizzano quei forum di discussione per organizzarsi . Eppure anche l'organizzazione continua a utilizzare il set di dati derivato da Reddit , anche nelle versioni successive del suo modello linguistico. La natura pericolosamente imperfetta delle fonti di dati viene effettivamente respinta per motivi di comodità, nonostante le conseguenze. Non è necessario un intento dannoso perché ciò avvenga, sebbene lo siano una certa passività e abbandono sconsiderati.

Piccole bugie bianche

La supremazia bianca è la falsa convinzione che gli individui bianchi siano superiori a quelli delle altre razze. Non è un semplice malinteso, ma un'ideologia radicata inganno . La razza è il primo mito, la superiorità il successivo. I fautori di questa ideologia si aggrappano ostinatamente a un'invenzione che li privilegia.

Ho sentito come questa bugia ammorbidisce il linguaggio da a guerra alla droga ad epidemia di oppioidi , e incolpa salute mentale o videogiochi per le azioni degli assalitori bianchi anche se attribuisce pigrizia e criminalità alle vittime non bianche. Noto come cancella coloro che mi somigliano e lo guardo recitare in una sfilata infinita di volti pallidi a cui non riesco a sfuggire: nei film, sulle copertine delle riviste e alle premiazioni.

I set di dati così specificatamente integrati e per gli spazi bianchi rappresentano la realtà costruita, non quella naturale.

Quest'ombra segue ogni mia mossa, un brivido sgradevole sulla nuca. Quando sento un omicidio, non vedo solo l'ufficiale di polizia con il ginocchio su una gola o il vigilante fuorviato con una pistola al suo fianco: è il economia che strangola noi, il malattia che si indebolisce noi, e il governo che tace noi.

Dimmi, qual è la differenza tra l'eccesso di polizia nei quartieri delle minoranze e il pregiudizio di l'algoritmo che ha inviato gli ufficiali lì ? Qual è la differenza tra un sistema scolastico segregato e uno discriminatorio algoritmo di valutazione ? Tra un medico che non ascolta e un algoritmo che ti nega un letto d'ospedale ? Non c'è razzismo sistematico separato dai nostri contributi algoritmici, dalla rete nascosta di implementazioni algoritmiche che regolarmente collassano su coloro che sono già più vulnerabili.

Resistere al determinismo tecnologico

La tecnologia non è indipendente da noi; è creato da noi e abbiamo il controllo completo su di esso. I dati non sono solo arbitrari politico —ci sono specifiche politiche tossiche e disinformate che i data scientist consentono con noncuranza di infiltrarsi nei nostri set di dati. La supremazia bianca è una di queste.

Abbiamo già inserito noi stessi e le nostre decisioni nel risultato: non esiste un approccio neutrale. Non esiste una versione futura dei dati che sia magicamente imparziale. I dati saranno sempre un'interpretazione soggettiva della realtà di qualcuno, una presentazione specifica degli obiettivi e delle prospettive che scegliamo di dare priorità in questo momento. Questo è un potere detenuto da quelli di noi responsabili dell'approvvigionamento, della selezione e della progettazione di questi dati e dello sviluppo dei modelli che interpretano le informazioni. In sostanza, non c'è scambio di equità con accuratezza: questo è un sacrificio mitico, una scusa per non accettare il nostro ruolo nel definire la performance escludendo gli altri in primo luogo.

Chi di noi costruisce questi sistemi sceglierà quale subreddit e fonti online da scansionare , quale lingue a utilizzare o ignorare, a quali set di dati rimuovere o accettare . La cosa più importante, noi scegli a chi applichiamo questi algoritmi , e quali obiettivi ottimizziamo per. Scegliamo le etichette che creiamo, i dati che prendiamo, i metodi che utilizziamo. Scegliamo chi accogliere come data scientist, ingegneri e ricercatori e chi noi non . C'erano molte possibilità per la progettazione della tecnologia che abbiamo costruito e abbiamo scelto questa. Siamo responsabili.

Allora perché non possiamo essere più attenti? Quando finalmente prenderemo l'abitudine di rivelare provenienza dei dati , eliminare set di dati problematici , e definendo esplicitamente il limiti della portata di ogni modello ? A che punto si può condannare chi opera con an esplicita agenda suprematista bianca , e prendi azioni serie per l'inclusione?

Un percorso incerto

Distratto da condoglianze aziendali , soluzioni tecniche astratte e teorie sociali articolate, ho visto i colleghi congratularsi con se stessi per il progresso invisibile. Alla fine, li invidio, perché hanno una scelta nello stesso mondo in cui io, come ogni altra persona di colore, non posso rinunciare a preoccuparmene.

Mentre i neri ora muoiono in una cacofonia di disastri naturali e innaturali, molti dei miei colleghi sono ancora più galvanizzati dall'ultimo prodotto o dal lancio spaziale che dall'orrore stridente di una realtà che mi soffoca il respiro.

Il fatto è che l'IA non funziona finché non funziona per tutti noi.

Per anni ho visto questo problema esaltato come importante, ma è chiaro che affrontarlo è ancora visto come una non priorità, bello avere un'azione supplementare, sempre secondaria a una definizione di funzionalità del modello che non mi include.

I modelli chiaramente stanno ancora lottando per affrontare queste sfide di pregiudizio celebrato come innovazioni , mentre persone abbastanza coraggiose da parlare del rischio mettiti a tacere, o peggio . C'è un chiaro compiacimento culturale per le cose come al solito e, sebbene deludente, non è particolarmente sorprendente in un campo in cui la stragrande maggioranza semplicemente non capisce la posta in gioco.

Il fatto è che l'IA non funziona finché non funziona per tutti noi. Se speriamo di affrontare mai l'ingiustizia razziale, allora dobbiamo smettere di presentare i nostri dati distorti come verità di base. Non esiste un mondo razionale e giusto in cui gli strumenti di assunzione escludono sistematicamente le donne dai ruoli tecnici, o dove è più probabile che le auto a guida autonoma colpiscano i pedoni con la pelle più scura . La verità di ogni realtà che riconosco non è in questi modelli, o negli insiemi di dati che li informano.

La comunità dell'apprendimento automatico continua ad accettare un certo livello di disfunzione fintanto che solo alcuni gruppi sono interessati. Ciò richiede un cambiamento consapevole e ciò richiederà lo stesso sforzo di qualsiasi altra lotta contro l'oppressione sistematica. Dopotutto, le bugie incorporate nei nostri dati non sono molto diverse da qualsiasi altra bugia raccontata dalla supremazia bianca. Avranno quindi bisogno di altrettanta energia e investimenti per contrastare.

Deborah Raji è una collega Mozilla interessata all'auditing e alla valutazione algoritmici. Ha lavorato a numerosi progetti pluripremiati per evidenziare casi di pregiudizi nella visione artificiale e migliorare le pratiche di documentazione nell'apprendimento automatico.

nascondere