Perché dovremmo aspettarci che gli algoritmi siano distorti

Le tecnologie guidate da algoritmi e intelligenza artificiale sono sempre più presenti nelle nostre vite e ora ci troviamo regolarmente di fronte a una domanda spinosa: questi programmi possono essere attori neutrali? O rifletteranno sempre un certo grado di pregiudizio umano?

La rispolverata sull'elenco degli argomenti di tendenza di Facebook e il suo possibile pregiudizio liberale hanno colpito un tale nervo che il Il Senato degli Stati Uniti ha chiamato sulla società di fornire una spiegazione ufficiale, e questa settimana il COO Sheryl Sandberg ha detto che la società inizierà formazione dei dipendenti identificare e controllare le proprie tendenze politiche.

Questo è solo uno dei risultati, tuttavia, di una tendenza più ampia che Fred Benenson, ex responsabile dei dati di Kickstarter, chiama lavaggio della matematica : la nostra tendenza a idolatrare programmi come Facebook come del tutto oggettivi perché hanno la matematica al centro.

Un'area di potenziale pregiudizio deriva dal fatto che molti dei programmatori che creano questi programmi, in particolare gli esperti di apprendimento automatico, sono uomini. In un recente articolo Bloomberg , si dice che Margaret Mitchell, ricercatrice presso Microsoft, si sia lamentata dei pericoli di un mare di tizi che pongono le domande fondamentali per la creazione di questi programmi.

La preoccupazione è cresciuta su questo problema per qualche tempo, poiché gli studi hanno trovato prove di pregiudizi nella pubblicità online, nel reclutamento e nelle strategie di prezzo guidate da algoritmi presumibilmente neutri.

In uno studia , la professoressa di Harvard Latanya Sweeney ha esaminato gli annunci di Google AdSense emersi durante le ricerche di nomi associati a bambini bianchi (Geoffrey, Jill, Emma) e nomi associati a bambini neri (DeShawn, Darnell, Jermaine). Ha scoperto che gli annunci contenenti la parola arresto venivano mostrati accanto a oltre l'80% delle ricerche di nomi neri ma meno del 30% delle ricerche di nomi bianchi.

Sweeney teme che il modo in cui la tecnologia pubblicitaria di Google perpetua i pregiudizi razziali possa minare le possibilità di una persona di colore in una competizione, che si tratti di un premio, un appuntamento o un lavoro.

Aree come il prestito e il credito che tradizionalmente hanno subito la ben nota discriminazione umana devono essere particolarmente attente.

ZestFinance, un prestatore online fondato sull'idea che i programmi di apprendimento automatico possono espandere il numero di persone ritenute meritevoli di credito esaminando decine di migliaia di punti dati, sostiene di essere ben in sintonia con i pericoli del prestito discriminatorio. Per proteggersi dalla discriminazione, ZestFinance ha creato strumenti per testare i propri risultati.

Ma resta il pericolo che una distorsione non riconosciuta, non solo nella programmazione di un algoritmo ma anche nei dati che vi fluiscono, possa inavvertitamente trasformare qualsiasi programma in un discriminatore. Per i consumatori che non sono in grado di disfare la complessità di questi programmi, sarà difficile sapere se sono stati trattati in modo equo.

Gli algoritmi e i prodotti basati sui dati rifletteranno sempre le scelte progettuali degli esseri umani che li hanno costruiti, ha spiegato Benenson in una recente sessione di domande e risposte con Technical.ly Brooklyn, ed è irresponsabile presumere il contrario.

(Per saperne di più : giornale di Wall Street , Tecnicamente Brooklyn , Bloomberg , AI decolla [PDF])

nascondere