L'IA sta mandando le persone in prigione e sbagliando

Ian Waldie/Getty Images

L'intelligenza artificiale potrebbe non avere un enorme impatto personale se il tuo contatto più frequente con gli algoritmi di apprendimento automatico avviene tramite il feed di notizie di Facebook o le classifiche di ricerca di Google. Ma al Dati per Black Lives conferenza dello scorso fine settimana, tecnologi, esperti legali e attivisti della comunità hanno messo le cose in prospettiva con una discussione sul sistema di giustizia penale americano. Lì, un algoritmo può determinare la traiettoria della tua vita.

Gli Stati Uniti imprigionano più persone di qualsiasi altro paese al mondo. Alla fine del 2016, quasi 2,2 milioni di adulti erano detenuti in carceri o carceri e altri 4,5 milioni erano in altre strutture correzionali. In altre parole, 1 americano adulto su 38 era sotto una qualche forma di supervisione correttiva. L'incubo di questa situazione è una delle poche questioni che unisce i politici di entrambi i lati della navata.

Sotto l'enorme pressione per ridurre il numero delle carceri senza rischiare un aumento della criminalità, le aule dei tribunali negli Stati Uniti si sono rivolte a strumenti automatizzati nel tentativo di rimescolare gli imputati attraverso il sistema legale nel modo più efficiente e sicuro possibile. È qui che inizia la parte AI della nostra storia.

I dipartimenti di polizia utilizzano algoritmi predittivi per elaborare strategie su dove inviare i propri ranghi. Le forze dell'ordine utilizzano sistemi di riconoscimento facciale per aiutare a identificare i sospetti. Queste pratiche hanno ottenuto un meritato esame per capire se effettivamente migliorano la sicurezza o semplicemente perpetuano le disuguaglianze esistenti. Ricercatori e difensori dei diritti civili , ad esempio, hanno ripetutamente dimostrato che i sistemi di riconoscimento facciale possono fallire in modo spettacolare, in particolare per le persone dalla pelle scura, scambiando persino i membri del Congresso per criminali condannati.

Ma lo strumento di gran lunga più controverso arriva dopo che la polizia ha effettuato un arresto. Saluta gli algoritmi di valutazione del rischio criminale.

Gli strumenti di valutazione del rischio sono progettati per fare una cosa: acquisire i dettagli del profilo di un imputato e sputare un punteggio di recidiva, un singolo numero che stima la probabilità che lui o lei si renda conto. Un giudice quindi tiene conto del punteggio in una miriade di decisioni che possono determinare quale tipo di servizi di riabilitazione dovrebbero ricevere determinati imputati, se dovrebbero essere tenuti in prigione prima del processo e quanto severe dovrebbero essere le loro condanne. Un punteggio basso apre la strada a un destino più gentile. Un punteggio alto fa esattamente il contrario.

La logica per l'utilizzo di tali strumenti algoritmici è che se puoi prevedere con precisione il comportamento criminale, puoi allocare le risorse di conseguenza, sia per la riabilitazione che per le pene detentive. In teoria, riduce anche qualsiasi pregiudizio che influenza il processo, perché i giudici prendono decisioni sulla base di raccomandazioni basate sui dati e non sul loro istinto.

Potresti aver già individuato il problema. Gli strumenti di valutazione del rischio odierni sono spesso guidati da algoritmi addestrati su dati storici sulla criminalità.

Come abbiamo spiegato in precedenza, gli algoritmi di apprendimento automatico utilizzano le statistiche per trovare modelli nei dati. Quindi, se gli fornisci i dati storici sul crimine, sceglierà i modelli associati al crimine. Ma quei modelli sono statistici correlazioni -per niente uguale a causalità . Se un algoritmo scoprisse, ad esempio, che il basso reddito è correlato a un'elevata recidiva, non ti lascerebbe più saggio se il basso reddito abbia effettivamente causato il crimine. Ma questo è esattamente ciò che fanno gli strumenti di valutazione del rischio: trasformano le informazioni correlative in meccanismi di punteggio causale.

Ora le popolazioni che storicamente sono state prese di mira in modo sproporzionato dalle forze dell'ordine, in particolare le comunità a basso reddito e le minoranze, rischiano di essere colpite con alti punteggi di recidiva. Di conseguenza, l'algoritmo potrebbe amplificare e perpetuare i pregiudizi incorporati e generare dati ancora più contaminati per alimentare un circolo vizioso. Poiché la maggior parte degli algoritmi di valutazione del rischio sono proprietari, è anche impossibile interrogare le loro decisioni o ritenerle responsabili.

Il dibattito su questi strumenti è ancora in corso. Lo scorso luglio, più di 100 organizzazioni per i diritti civili e le comunità, tra cui ACLU e NAACP, firmato una dichiarazione in cui si esorta a non utilizzare la valutazione del rischio. Allo stesso tempo, sempre più giurisdizioni e stati, inclusa la California, si sono rivolti a loro in uno sforzo di grandine per riparare le loro carceri e prigioni sovraccariche.

La valutazione del rischio basata sui dati è un modo per sanificare e legittimare i sistemi oppressivi, ha affermato Marbre Stahly-Butts, direttore esecutivo di Law for Black Lives sul palco della conferenza , che è stato ospitato presso il MIT Media Lab. È un modo per distogliere l'attenzione dai problemi reali che colpiscono le comunità a basso reddito e le minoranze, come le scuole senza fondi e l'accesso inadeguato all'assistenza sanitaria.

Non siamo rischi, ha detto. Siamo bisogni.

Questa storia è apparsa originariamente nella nostra newsletter AI The Algorithm. Per riceverlo direttamente nella tua casella di posta, iscriviti qui gratuitamente.

nascondere