Gli algoritmi distorti sono ovunque e nessuno sembra preoccuparsene

Kate Crawford, parlando alla conferenza AI Now al MIT questa settimana. John Maeda (@johnmaeda)

Modelli matematici opachi e potenzialmente distorti stanno ricostruendo le nostre vite e né le aziende responsabili dello sviluppo né il governo sono interessati ad affrontare il problema.

Questa settimana un gruppo di ricercatori, insieme all'American Civil Liberties Union, ha lanciato uno sforzo per identificare ed evidenziare i pregiudizi algoritmici. Il Iniziativa AI Now è stato annunciato in un evento tenutosi al MIT per discutere quella che molti esperti vedono come una sfida crescente.

Il pregiudizio algoritmico si preannuncia come una questione importante per la società in un momento critico nell'evoluzione dell'apprendimento automatico e dell'intelligenza artificiale. Se il pregiudizio in agguato all'interno degli algoritmi che prendono decisioni sempre più importanti non viene riconosciuto e non viene controllato, potrebbe avere gravi conseguenze negative, soprattutto per le comunità e le minoranze più povere. L'eventuale protesta potrebbe anche ostacolare il progresso di una tecnologia incredibilmente utile (vedi Inspecting Algoritms for Bias).

Algoritmi che possono nascondere pregiudizi nascosti sono già abitualmente utilizzati per prendere decisioni finanziarie e legali vitali. Algoritmi proprietari vengono utilizzati per decidere, ad esempio, chi ottiene un colloquio di lavoro, chi ottiene la libertà vigilata e chi ottiene un prestito.

I fondatori della nuova AI Now Initiative, Kate Crawford , ricercatrice presso Microsoft, e Meredith Whittaker, ricercatrice presso Google, affermano che possono esistere pregiudizi in tutti i tipi di servizi e prodotti.

È ancora l'inizio della comprensione del pregiudizio algoritmico, hanno detto Crawford e Whittaker in una e-mail. Proprio quest'anno abbiamo visto più sistemi che hanno problemi e questi sono solo quelli che sono stati studiati.

Esempi di pregiudizi algoritmici che sono venuti alla luce di recente, dicono, includono imperfetti e travisamenti sistemi utilizzati per classificare gli insegnanti e modelli di genere per l'elaborazione del linguaggio naturale.

Cathy O'Neil, matematica e autrice di Armi di distruzione matematica , un libro che evidenzia il rischio di pregiudizi algoritmici in molti contesti, afferma che le persone sono spesso troppo disposte a fidarsi dei modelli matematici perché credono che rimuoveranno i pregiudizi umani. [Gli algoritmi] sostituiscono i processi umani, ma non sono tenuti agli stessi standard, dice. Le persone si fidano troppo di loro.

Una sfida chiave, affermano questi e altri ricercatori, è che le parti interessate cruciali, comprese le aziende che sviluppano e applicano sistemi di apprendimento automatico e le autorità di regolamentazione del governo, mostrano scarso interesse per il monitoraggio e la limitazione delle distorsioni algoritmiche. Le società finanziarie e tecnologiche utilizzano tutti i tipi di modelli matematici e non sono trasparenti su come operano. O'Neil afferma, ad esempio, di essere preoccupata per il funzionamento degli algoritmi alla base del nuovo servizio di ricerca di lavoro di Google.

Storia correlata

Storia correlata Senza consulenti scientifici e tecnologici alla Casa Bianca, il presidente Trump potrebbe lottare per rispondere alle crisi.

O'Neil in precedenza ha lavorato come professore al Barnard College di New York e come analista quantitativo presso la società D. E. Shaw. Ora è il capo di Consulenza sul rischio online e audit algoritmico , una società creata per aiutare le aziende a identificare e correggere i pregiudizi negli algoritmi che utilizzano. Ma O'Neil afferma che anche coloro che sanno che i loro algoritmi sono a rischio di distorsione sono più interessati ai risultati finali che a sradicare i pregiudizi. Sarò onesto con te, dice. Non ho clienti in questo momento.

O'Neil, Crawford e Whittaker avvertono anche che la mancanza di interesse dell'amministrazione Trump per l'IA, e per la scienza in generale, significa che non esiste un movimento normativo per affrontare il problema (vedi The Gaping, Dangerous Hold in the Trump Administration).

L'Office of Science and Technology Policy non è più attivamente coinvolto nella politica dell'IA, o in gran parte di qualsiasi altra cosa secondo il loro sito Web, scrivono Crawford e Whittaker. Il lavoro politico ora deve essere svolto altrove.

nascondere