Puoi rendere l'IA più equa di un giudice? Gioca al nostro gioco di algoritmi in aula

Disegno Selman

Da bambino, sviluppi un senso di cosa significhi equità. È un concetto che impari presto quando fai i conti con il mondo che ti circonda. Qualcosa o sembra giusto o non lo è.

Ma sempre di più, gli algoritmi hanno iniziato ad arbitrare l'equità per noi. Decidono chi vede gli annunci immobiliari, chi viene assunto o licenziato e persino chi viene mandato in prigione. Di conseguenza, alle persone che li creano, gli ingegneri del software, viene chiesto di articolare cosa significa essere corretti nel proprio codice. Questo è il motivo per cui le autorità di regolamentazione di tutto il mondo sono ora alle prese con una domanda: come si può quantificare matematicamente l'equità?

Questa storia tenta di offrire una risposta. E per farlo, abbiamo bisogno del tuo aiuto. Esamineremo un vero algoritmo, uno utilizzato per decidere chi viene mandato in prigione, e ti chiederemo di modificare i suoi vari parametri per rendere i suoi risultati più equi. (Non preoccuparti, questo non comporterà la lettura del codice!)

L'algoritmo che stiamo esaminando è noto come COMPAS ed è uno dei diversi strumenti di valutazione del rischio utilizzati nel sistema legale penale statunitense.

Ad alto livello, COMPAS dovrebbe aiutare i giudici a determinare se un imputato debba essere tenuto in prigione o lasciato uscire in attesa del processo. Si allena sui dati storici dell'imputato per trovare correlazioni tra fattori come l'età e la storia di qualcuno con il sistema legale penale e se la persona è stata arrestata o meno. Utilizza quindi le correlazioni per prevedere la probabilità che un imputato venga arrestato per un nuovo reato durante il periodo di attesa del processo.1

Nota

• 1. Arresti vs condanne

  Questo processo è altamente imperfetto. Gli strumenti utilizzano gli arresti come proxy per i crimini, ma in realtà ci sono grandi discrepanze tra i due perché la polizia ha una storia di arresti sproporzionati di minoranze razziali e di manipolazione dei dati. Gli arresti successivi, inoltre, sono spesso effettuati per violazioni tecniche, come la mancata comparizione in tribunale, piuttosto che per reiterazione di attività criminali. In questa storia, semplifichiamo eccessivamente per esaminare cosa accadrebbe se gli arresti corrispondessero a crimini reali.

  
  
  

Questa previsione è nota come punteggio di rischio dell'imputato ed è intesa come una raccomandazione: gli imputati ad alto rischio dovrebbero essere incarcerati per impedire loro di causare potenziali danni alla società; gli imputati a basso rischio dovrebbero essere rilasciati prima del loro processo. (In realtà, i giudici non sempre seguire queste raccomandazioni, ma le valutazioni del rischio rimangono influenti.)

I fautori degli strumenti di valutazione del rischio sostengono che rendono il sistema giuridico penale più equo. Sostituiscono l'intuizione e il pregiudizio dei giudici, in particolare il pregiudizio razziale, con una valutazione apparentemente più obiettiva. Possono anche sostituire la pratica del rilascio della cauzione negli Stati Uniti, che richiede agli imputati di pagare una somma di denaro per il loro rilascio. La cauzione discrimina i poveri americani e colpisce in modo sproporzionato gli imputati neri, che sono sovrarappresentati nel sistema giudiziario penale.

Nota

• 2. La metodologia di ProPublica

  Per gli imputati che sono stati incarcerati prima del processo, ProPublica ha esaminato se fossero stati nuovamente arrestati entro due anni dal loro rilascio. Ha quindi utilizzato quello per approssimare se gli imputati sarebbero stati nuovamente arrestati prima del processo se non fossero stati incarcerati.

  
  
  

Come previsto dalla legge, COMPAS non include la razza nel calcolo dei propri punteggi di rischio. Nel 2016, invece, a Indagine ProPublica ha sostenuto che lo strumento era ancora prevenuto contro i neri. ProPublica ha rilevato che tra gli imputati che non sono mai stati arrestati di nuovo, gli imputati neri avevano il doppio delle probabilità rispetto a quelli bianchi di essere etichettati ad alto rischio da COMPAS.2

Quindi il nostro compito ora è cercare di migliorare COMPAS. Pronto?

Cominciamo con il stesso insieme di dati che ProPublica ha utilizzato nella sua analisi. Include tutti gli imputati valutati dall'algoritmo COMPAS nella contea di Broward, in Florida, dal 2013 al 2014. In totale, si tratta di oltre 7.200 profili con nome, età, razza e punteggio di rischio COMPAS di ciascuna persona, rilevando se la persona è stata infine arrestata di nuovo dopo essere rilasciato o incarcerato prima del processo.

Per rendere i dati più facili da visualizzare, abbiamo campionato casualmente 500 imputati in bianco e nero dall'intero set.

Abbiamo rappresentato ogni imputato come un punto.

Ricorda: tutti questi punti sono persone accusate (ma non condannate) di un crimine. Alcuni saranno incarcerati prima del processo; altri verranno rilasciati immediatamente. Alcuni continueranno a essere riarrestati dopo il loro rilascio; altri no. Vogliamo confrontare due cose: le previsioni (quali imputati hanno ricevuto punteggi di rischio alto vs. basso) e i risultati del mondo reale (quali imputati in realtà è stato nuovamente arrestato dopo essere stato rilasciato).

COMPAS valuta gli imputati su una scala da 1 a 10, dove 1 corrisponde all'incirca al 10% di possibilità di riarresto, dal 2 al 20% e così via.

Diamo un'occhiata a come COMPAS ha segnato tutti.

Nota

• 3. I punteggi di COMPAS

  COMPAS è stato progettato per fare previsioni aggregate su gruppi di persone che condividono caratteristiche simili, piuttosto che previsioni su individui specifici. La metodologia alla base dei suoi punteggi e le raccomandazioni su come usarli sono più complicati di quanto avessimo spazio per presentare; puoi leggere su di loro al link sopra.

Sebbene la COMPAS possa offrire solo una probabilità statistica che un imputato venga nuovamente arrestato prima del processo, i giudici, ovviamente, devono prendere una decisione del tutto o niente: se rilasciare o trattenere l'imputato. Ai fini di questa storia, utilizzeremo la soglia di rischio elevato di COMPAS, un punteggio pari o superiore a 7, per rappresentare una raccomandazione alla detenzione di un imputato.3

Da qui in poi, sei tu a comandare. La tua missione è riprogettare l'ultima fase di questo algoritmo trovando un posto più equo per impostare la soglia di rischio elevato.

Ecco come apparirà la tua soglia. Prova a fare clic su di esso e trascinarlo in giro.

Quindi, prima, immaginiamo lo scenario migliore: tutti gli imputati che il tuo algoritmo etichetta con un punteggio di rischio elevato continuano a essere riarrestati e tutti gli imputati che ottengono un punteggio di rischio basso no. Di seguito, il nostro grafico illustra come potrebbe apparire. I cerchi riempiti sono imputati che sono stati arrestati di nuovo; i cerchi vuoti sono quelli che non lo erano.

Ora sposta la soglia per rendere il tuo algoritmo il più equo possibile.

(In altre parole, solo gli imputati arrestati dovrebbero essere incarcerati.)

Grande! È stato facile. La tua soglia dovrebbe essere impostata tra 6 e 7. Nessuno è stato trattenuto inutilmente e nessuno che è stato rilasciato è stato poi arrestato di nuovo.

Ma ovviamente, questo scenario ideale non si verifica mai. È impossibile prevedere perfettamente il risultato per ogni persona. Ciò significa che i punti pieni e vuoti non possono essere separati in modo così netto.

Quindi ecco chi viene effettivamente riarrestato.

Ora sposta nuovamente la soglia per rendere il tuo algoritmo il più equo possibile.

(Suggerimento: vuoi massimizzare la sua precisione.)

Noterai che non importa dove metti la soglia, non è mai perfetto: incarceramo sempre alcuni imputati che non vengono arrestati nuovamente (puntini vuoti a destra della soglia) e rilasciamo alcuni imputati che vengono arrestati nuovamente (punti pieni per a sinistra della soglia). Questo è un compromesso che il nostro sistema legale penale ha sempre affrontato e non è diverso quando utilizziamo un algoritmo.

Per rendere più chiari questi compromessi, vediamo la percentuale di previsioni errate effettuate da COMPAS ogni lato della soglia, invece di limitarsi a misurare la precisione complessiva. Ora saremo in grado di vedere esplicitamente se la nostra soglia favorisce la detenzione inutilmente delle persone in carcere o il rilascio di persone che vengono poi riarrestate.4 Si noti che la soglia predefinita di COMPAS favorisce quest'ultima.

Nota

• 4. Definizioni tecniche

  Queste due percentuali di errore sono anche note come tasso di falsi negativi (che abbiamo etichettato come rilasciato ma ripristinato) e tasso di falsi positivi (che abbiamo etichettato inutilmente incarcerato).

Come dovremmo bilanciare equamente questo compromesso? Non esiste una risposta universale, ma negli anni Sessanta del Settecento, il giudice inglese William Blackstone scrisse: È meglio che dieci colpevoli scappino che un innocente soffra.

Il rapporto di Blackstone è ancora oggi molto influente negli Stati Uniti. Quindi usiamolo come ispirazione.

Spostare la soglia in modo che la percentuale rilasciata ma nuovamente arrestata sia circa 10 volte la percentuale inutilmente incarcerata.

Puoi già vedere due problemi con l'utilizzo di un algoritmo come COMPAS. Il primo è che una migliore previsione può sempre aiutare a ridurre i tassi di errore su tutta la linea, ma non può mai eliminarli del tutto. Indipendentemente dalla quantità di dati che raccogliamo, due persone che sembrano uguali all'algoritmo possono sempre finire per fare scelte diverse.

Il secondo problema è che anche se segui le raccomandazioni di COMPAS in modo coerente, qualcuno, un essere umano, deve prima decidere dove dovrebbe trovarsi la soglia di rischio elevato, sia utilizzando il rapporto di Blackstone o qualcos'altro. Dipende da tutti i tipi di considerazioni: politiche, economiche e sociali.

Ora arriviamo a un terzo problema. È qui che le nostre esplorazioni sull'equità iniziano a farsi interessanti. Come si confrontano i tassi di errore tra i diversi gruppi? Ci sono alcuni tipi di persone che hanno maggiori probabilità di essere detenute inutilmente?

Vediamo come appaiono i nostri dati quando consideriamo la razza degli imputati.

Ora sposta ciascuna soglia per vedere come influisce in modo diverso sugli imputati in bianco e nero.

La razza è un esempio di classe protetta negli Stati Uniti, il che significa che la discriminazione su questa base è illegale. Altre classi protette includono sesso, età e disabilità.

Ora che abbiamo separato gli imputati bianchi e neri, abbiamo scoperto che anche se la razza non viene utilizzata per calcolare i punteggi di rischio COMPAS, i punteggi hanno tassi di errore diversi per i due gruppi. Alla soglia COMPAS predefinita tra 7 e 8, il 16% degli imputati neri che non vengono arrestati di nuovo è stato incarcerato inutilmente, mentre lo stesso vale solo per il 7% degli imputati bianchi. Non sembra affatto giusto! Questo è esattamente ciò che ProPublica evidenziato nella sua indagine.

Ok, allora risolviamo questo problema.

Sposta ogni soglia in modo che gli imputati bianchi e neri vengano inutilmente incarcerati più o meno alla stessa velocità.

(Ci sono una serie di soluzioni. Ne abbiamo scelta una, ma puoi provare a trovarne altre.)

Abbiamo cercato di raggiungere nuovamente il rapporto di Blackstone, quindi siamo arrivati ​​alla seguente soluzione: gli imputati bianchi hanno una soglia compresa tra 6 e 7, mentre gli imputati neri hanno una soglia compresa tra 8 e 9. Ora circa il 9% degli imputati bianchi e neri che non lo fa t vengono nuovamente arrestati vengono inutilmente incarcerati, mentre il 75% di coloro che lo fanno viene nuovamente arrestato dopo non aver trascorso del tempo in carcere. Buon lavoro! Il tuo algoritmo sembra molto più equo di COMPAS ora.

Ma aspetta, vero? Nel processo di abbinamento dei tassi di errore tra le gare, abbiamo perso qualcosa di importante: le nostre soglie per ogni gruppo sono in luoghi diversi, quindi i nostri punteggi di rischio significano cose diverse per gli imputati bianchi e neri.

Gli imputati bianchi vengono incarcerati per un punteggio di rischio di 7, ma gli imputati neri vengono rilasciati per lo stesso punteggio. Questo, ancora una volta, non sembra giusto. Due persone con lo stesso punteggio di rischio hanno la stessa probabilità di essere riarrestate, quindi non dovrebbero ricevere lo stesso trattamento? Negli Stati Uniti, l'utilizzo di soglie diverse per razze diverse può anche sollevare complicati aspetti legali problemi con il 14° emendamento, la clausola di pari tutela della Costituzione.

Quindi proviamo ancora una volta con un'unica soglia condivisa tra entrambi i gruppi.

Sposta di nuovo la soglia in modo che gli imputati bianchi e neri vengano inutilmente incarcerati alla stessa velocità.

Se ti senti frustrato, c'è una buona ragione. Non c'è soluzione.

Ti abbiamo dato due definizioni di equità: mantenere i tassi di errore comparabili tra i gruppi e trattare le persone con gli stessi punteggi di rischio allo stesso modo. Entrambe queste definizioni sono totalmente difendibili! Ma soddisfare entrambi allo stesso tempo è impossibile.

Il motivo è che gli imputati in bianco e nero vengono nuovamente arrestati a ritmi diversi. Mentre il 52% degli imputati neri è stato arrestato di nuovo nei nostri dati della contea di Broward, solo il 39% degli imputati bianchi lo era. C'è una differenza simile in molte giurisdizioni negli Stati Uniti, in parte a causa della storia del paese in cui la polizia prende di mira in modo sproporzionato le minoranze (come accennato in precedenza).

Le previsioni riflettono i dati utilizzati per realizzarle, indipendentemente dall'algoritmo o meno. Se gli imputati neri vengono arrestati a un tasso più elevato rispetto agli imputati bianchi nel mondo reale, avranno anche un tasso di arresto previsto più elevato. Ciò significa che avranno anche punteggi di rischio in media più elevati e una percentuale maggiore di loro sarà etichettata ad alto rischio. sia in modo corretto che errato . Questo è vero non importa quale algoritmo viene utilizzato, purché sia ​​progettato in modo che ogni punteggio di rischio significhi la stessa cosa indipendentemente dalla razza.

Questo strano conflitto di definizioni di equità non si limita solo agli algoritmi di valutazione del rischio nel sistema giudiziario penale. Lo stesso tipo di paradossi vale per gli algoritmi di credit scoring, assicurazione e assunzione. In qualsiasi contesto in cui un sistema decisionale automatizzato debba allocare risorse o sanzioni tra più gruppi che hanno esiti diversi, le diverse definizioni di equità si escludono inevitabilmente a vicenda.

Non esiste un algoritmo in grado di risolvere questo problema; questo non è nemmeno un algoritmico problema, davvero. I giudici umani lo sono attualmente facendo lo stesso tipo di compromessi forzati, e lo hanno fatto nel corso della storia.

Ma ecco cos'è un algoritmo ha cambiato. Sebbene i giudici possano non essere sempre trasparenti su come scelgono tra diverse nozioni di equità, le persone possono contestare le loro decisioni. Al contrario, COMPAS, che è prodotto dalla società privata Northpointe, è un segreto commerciale che non può essere esaminato o interrogato pubblicamente. Gli imputati non possono più mettere in discussione i suoi risultati e le agenzie governative perdono la capacità di controllare il processo decisionale. Non c'è più responsabilità pubblica.

Quindi cosa dovrebbero fare i regolatori? Il proposto Algorithmic Accountability Act del 2019 è un esempio di un buon inizio, afferma Andrew Selbst, professore di giurisprudenza presso l'Università della California specializzato in IA e legge. Il disegno di legge, che cerca di regolare i pregiudizi nei sistemi decisionali automatizzati, ha due caratteristiche degne di nota che fungono da modello per la legislazione futura. In primo luogo, richiederebbe alle aziende di controllare i propri sistemi di apprendimento automatico per individuare eventuali pregiudizi e discriminazioni in una valutazione d'impatto. In secondo luogo, non specifica una definizione di equità.

Con una valutazione d'impatto, sei molto trasparente sul modo in cui come azienda stai affrontando la questione dell'equità, afferma Selbst. Ciò riporta la responsabilità pubblica nel dibattito. Poiché equità significa cose diverse in contesti diversi, aggiunge, evitare una definizione specifica consente quella flessibilità.

Ma se gli algoritmi debbano essere usati per arbitrare l'equità in primo luogo è una domanda complicata. Gli algoritmi di apprendimento automatico vengono addestrati sui dati prodotti attraverso storie di esclusione e discriminazione, scrive Ruha Benjamin, professore associato alla Princeton University, nel suo libro Corsa dopo la tecnologia . Gli strumenti di valutazione del rischio non sono diversi. La domanda più grande sul loro utilizzo, o su qualsiasi algoritmo utilizzato per classificare le persone, è se riducono le disuguaglianze esistenti o le peggiorano.

Selbst raccomanda di procedere con cautela: ogni volta che si trasformano nozioni filosofiche di equità in espressioni matematiche, queste perdono la loro sfumatura, la loro flessibilità, la loro malleabilità, dice. Questo non vuol dire che alcune delle efficienze di farlo alla fine non saranno utili. Ho solo i miei dubbi.

Parole e codice di Karen Hao e Jonathan Stray. Consulenza progettuale da parte di Emily Luong ed Emily Caulfield. Montaggio di Niall Firth e Gideon Lichfield. Ringraziamenti speciali a Rashida Richardson da AI Now, Mutale Nkonde dal Berkman Klein Center, e Guglielmo Isacco da DeepMind per la loro revisione e consultazione.

Correzione: Una versione precedente dell'articolo collegata a informazioni su uno strumento di valutazione del rischio diverso da COMPAS. È stato rimosso per evitare confusione.

nascondere