211service.com
Ispezione di algoritmi per Bias
Tribunali, banche e altre istituzioni utilizzano sistemi automatizzati di analisi dei dati per prendere decisioni sulla tua vita. Non lasciamo che siano i produttori di algoritmi a decidere se lo stanno facendo in modo appropriato. 12 giugno 2017
Paul Delcan
Era una storia sorprendente. Machine Bias, il titolo letto e il teaser proclamato : C'è un software utilizzato in tutto il paese per prevedere futuri criminali. Ed è prevenuto contro i neri.
ProPublica, un'organizzazione di notizie senza scopo di lucro vincitrice del Premio Pulitzer, aveva analizzato il software di valutazione del rischio noto come COMPAS. Viene utilizzato per prevedere quali criminali hanno maggiori probabilità di recidivare. Guidati da tali previsioni, i giudici nelle aule di tribunale degli Stati Uniti prendono decisioni sul futuro di imputati e detenuti, determinando tutto, dagli importi della cauzione alle sentenze. Quando ProPublica ha confrontato le valutazioni del rischio di COMPAS per più di 10.000 persone arrestato in una contea della Florida con la frequenza con cui quelle persone hanno effettivamente continuato a recidivare, ha scoperto che l'algoritmo prevedeva correttamente la recidiva per gli imputati bianchi e neri all'incirca alla stessa velocità. Ma quando l'algoritmo era sbagliato, lo era in modi diversi per i neri e per i bianchi. In particolare, i neri hanno quasi il doppio delle probabilità rispetto ai bianchi di essere etichettati come un rischio più elevato, ma in realtà non si recidivano. E la COMPAS tendeva a commettere l'errore opposto con i bianchi: è molto più probabile che i neri vengano etichettati a rischio inferiore, ma continuano a commettere altri crimini.
Cose riviste
Distorsioni della macchina
ProPublica, 23 maggio 2016
Scale di rischio COMPAS: dimostrazione di accuratezza e parità predittiva
Northpointe, 8 luglio 2016
Risposta tecnica a Northpointe
ProPublica, 29 luglio 2016
Falsi positivi, falsi negativi e false analisi: una controreplica al 'bias macchina'
Anthony Flores, Christopher Lowenkamp e Kristin Bechtel
10 agosto 2016
Questa storia faceva parte del nostro numero di luglio 2017
- Vedi il resto del problema
- sottoscrivi
Se sia appropriato utilizzare sistemi come COMPAS è una domanda che va oltre i pregiudizi razziali. La Corte Suprema degli Stati Uniti potrebbe presto affrontare il caso di un detenuto del Wisconsin che afferma che il suo diritto a un giusto processo è stato violato quando il giudice che lo ha condannato ha consultato la COMPAS, perché il funzionamento del sistema era opaco per l'imputato. Potenziali problemi con altri sistemi di processo decisionale automatizzato (ADM) esistono anche al di fuori del sistema giudiziario. Sulla base dei test della personalità online, gli ADM stanno aiutando a determinare se qualcuno è la persona giusta per un lavoro. Gli algoritmi di credit scoring svolgono un ruolo enorme se si ottiene un mutuo, una carta di credito o anche le offerte di telefoni cellulari più convenienti.
Non è necessariamente una cattiva idea utilizzare sistemi di valutazione del rischio come COMPAS. In molti casi, i sistemi ADM possono aumentare l'equità. Il processo decisionale umano a volte è così incoerente che necessita di un controllo per allinearlo ai nostri standard di giustizia. Come ha mostrato uno studio specificamente inquietante, le commissioni per la libertà vigilata lo erano più propensi a liberare i detenuti se i giudici avessero appena fatto una pausa pranzo. Questo probabilmente non era mai venuto in mente ai giudici. Un sistema ADM potrebbe rilevare tali incongruenze e migliorare il processo.
Ma spesso non sappiamo abbastanza su come funzionano i sistemi ADM per sapere se sono più equi di quanto sarebbero gli umani da soli. In parte perché i sistemi effettuano scelte sulla base di ipotesi sottostanti che non sono chiare nemmeno ai progettisti dei sistemi, non è necessariamente possibile determinare quali algoritmi sono distorti e quali no. E anche quando la risposta sembra chiara, come nei risultati di ProPublica su COMPAS, la verità a volte è più complicata.
I legislatori, i tribunali e un pubblico informato dovrebbero decidere a cosa vogliamo che gli algoritmi diano la priorità.
Cosa dovremmo fare per gestire meglio gli ADM? Le società democratiche hanno bisogno di più controllo su tali sistemi di quanto non ne abbiano ora. AlgorithmWatch, un'organizzazione di difesa senza scopo di lucro con sede a Berlino che ho cofondato con uno scienziato informatico, un filosofo del diritto e un collega giornalista, mira ad aiutare le persone a comprendere gli effetti di tali sistemi. Il fatto che la maggior parte delle procedure ADM siano scatole nere per le persone interessate non è una legge di natura. Deve finire, affermiamo nel nostro manifesto . Tuttavia, la nostra opinione sulla questione è diversa da quella di molti critici, perché la nostra paura è che la tecnologia possa essere demonizzata immeritatamente. L'importante è che le società, e non solo i produttori di algoritmi, esprimano i giudizi di valore che entrano negli ADM.
Misure di equità
COMPAS determina i propri punteggi di rischio dalle risposte ad a questionario che esplora la storia criminale di un imputato e gli atteggiamenti nei confronti del crimine. Questo produce risultati distorti?
Dopo l'indagine di ProPublica, Northpointe, la società che ha sviluppato COMPAS, ha contestato la storia, sostenendo che i giornalisti hanno interpretato male i dati. Così hanno fatto tre ricercatori di giustizia penale , compreso uno di un'organizzazione per la riforma della giustizia. Chi ha ragione: i giornalisti o i ricercatori? Krishna Gummadi, capo del Networked Systems Research Group presso il Max Planck Institute for Software Systems di Saarbrücken, in Germania, offre una risposta sorprendente: lo sono tutti.
Gummadi, che ha studiato a fondo l'equità negli algoritmi, afferma che i risultati di ProPublica e Northpointe non sono in contraddizione tra loro. Differiscono perché utilizzano misure di equità diverse.
Se usati correttamente, gli algoritmi di giustizia penale offrono la possibilità a una generazione, e forse a tutta la vita, di riformare le condanne e di sciogliere la carcerazione di massa in modo scientifico.
Immagina di progettare un sistema per prevedere quali criminali si offenderanno nuovamente. Un'opzione è l'ottimizzazione per i veri aspetti positivi, il che significa che identificherai il maggior numero possibile di persone ad alto rischio di commettere un altro crimine. Un problema con questo approccio è che tende ad aumentare il numero di falsi positivi: persone che saranno ingiustamente classificate come probabili recidivi. Il quadrante può essere regolato per fornire il minor numero possibile di falsi positivi, ma ciò tende a creare più falsi negativi: probabili recidivi che sfuggono e ottengono un trattamento più indulgente del giustificato.
Aumentare l'incidenza dei veri positivi o ridurre i falsi positivi sono entrambi modi per migliorare una misura statistica nota come valore predittivo positivo o PPV. Questa è la percentuale di tutti i positivi che sono veri.
Come sottolinea Gummadi, ProPublica ha confrontato tassi di falsi positivi e tassi di falsi negativi per neri e bianchi e li ha trovati distorti a favore dei bianchi. Northpointe, al contrario, ha confrontato i PPV per razze diverse e li ha trovati simili. In parte perché i tassi di recidiva per neri e bianchi in effetti differiscono, è matematicamente probabile che i valori predittivi positivi per le persone in ciascun gruppo siano simili mentre i tassi di falsi negativi non lo sono.
Una cosa che questo ci dice è che la società in generale - legislatori, tribunali, un pubblico informato - dovrebbe decidere a cosa vogliamo che tali algoritmi diano la priorità. Siamo principalmente interessati a correre il minor numero possibile di possibilità che qualcuno salti la cauzione o si recidiva? Quali compromessi dovremmo fare per garantire giustizia e ridurre gli ingenti costi sociali della reclusione?
Indipendentemente dal modo in cui sono impostati i quadranti, qualsiasi algoritmo avrà dei pregiudizi: dopotutto, si tratta di fare una previsione basata su statistiche generalizzate, non sulla situazione individuale di qualcuno. Ma possiamo ancora usare tali sistemi per guidare decisioni più sagge ed eque di quelle che gli esseri umani tendono a prendere da soli.
La controversia che circonda le pratiche stop-and-frisk del dipartimento di polizia di New York aiuta a mostrare il perché. Tra gennaio 2004 e giugno 2012, la polizia di New York City ha effettuato 4,4 milioni di fermate nell'ambito di un programma che ha consentito agli agenti di detenere temporaneamente, interrogare e perquisire le persone per strada alla ricerca di armi e altro contrabbando. Ma in effetti, l'88 percento dei 4,4 milioni di fermate non ha portato a ulteriori azioni, il che significa che la stragrande maggioranza di quelle fermate non stava facendo nulla di sbagliato, il New York Times ha detto in un editoriale denigrando la pratica. Inoltre: in circa l'83% dei casi, la persona fermata era nera o ispanica, anche se i due gruppi rappresentavano poco più della metà della popolazione. Questo esempio di pregiudizio umano, illuminato attraverso l'analisi dei dati, ci ricorda che i sistemi ADM potrebbero svolgere un ruolo positivo nella giustizia penale. Usati correttamente, offrono la possibilità di una generazione, e forse di tutta la vita, di riformare le condanne e di sciogliere la carcerazione di massa in modo scientifico, secondo Anthony Flores, Christopher Lowenkamp e Kristin Bechtel, tre ricercatori che hanno riscontrato difetti nella metodologia che ProPublica utilizzato per analizzare COMPAS. Gli autori temono che questa opportunità stia svanendo a causa della disinformazione e dell'incomprensione sulla tecnologia.
Ma se accettiamo che gli algoritmi potrebbero rendere la vita più equa se sono ben progettati, come possiamo sapere se sono progettati in modo tale?
Le società democratiche dovrebbero ora lavorare per determinare quanta trasparenza si aspettano dai sistemi ADM. Abbiamo bisogno di nuove normative del software per garantire che possa essere adeguatamente ispezionato? I legislatori, i giudici e il pubblico dovrebbero avere voce in capitolo in cui gli algoritmi danno la priorità alle misure di equità. Ma se gli algoritmi non riflettono effettivamente questi giudizi di valore, chi sarà ritenuto responsabile?
Queste sono le domande difficili a cui dobbiamo rispondere se ci aspettiamo di beneficiare dei progressi della tecnologia algoritmica.
Matthias Spielkamp è direttore esecutivo di AlgorithmWatch, un gruppo di advocacy che analizza i rischi e le opportunità del processo decisionale automatizzato.