211service.com
Gli algoritmi di polizia predittiva sono razzisti. Devono essere smantellati.
Franziska Barczyk
Yeshimabeit Milner era al liceo la prima volta che ha visto bambini che conosceva essere ammanettati e infilati nelle auto della polizia. Era il 29 febbraio 2008 e il preside di una scuola vicina a Miami, a maggioranza haitiana e afroamericana, aveva messo uno dei suoi studenti in una morsa. Il giorno successivo diverse dozzine di bambini hanno organizzato una manifestazione pacifica. Non è andata bene.
Quella notte, NBC 6 News at Six di Miami iniziò con un segmento chiamato Chaos on Campus. (C'è un clip su YouTube .) La tensione è alta all'Edison Senior High dopo che una lotta per i diritti si è conclusa in una battaglia con la legge, ha affermato la trasmissione. Taglia su riprese telefoniche sfocate di adolescenti urlanti: il caos che vedi è una rissa a tutto campo all'interno della mensa della scuola.
Gli studenti hanno detto ai giornalisti che la polizia li ha colpiti con i manganelli, li ha gettati a terra e li ha spinti contro i muri. La polizia ha affermato di essere stati quelli ad essere attaccati - con bottiglie d'acqua, bibite gassate, latte e così via - e ha chiesto rinforzi di emergenza. Circa 25 studenti sono stati arrestati e molti sono stati accusati di molteplici reati, inclusa la resistenza all'arresto con la violenza. Milner ricorda di aver guardato in TV e di aver visto i bambini che aveva frequentato alle elementari quando era stata presa in custodia. Era così pazzesco, dice.
'C'è una lunga storia di dati usati come armi contro le comunità nere'.
Per Milner, gli eventi di quel giorno e le implicazioni a lungo termine per gli arrestati erano fondamentali. Poco dopo, mentre era ancora a scuola, è stata coinvolta nell'attivismo basato sui dati, documentando le esperienze di polizia razzista degli altri studenti. Ora è la direttrice di Dati per Black Lives , un'organizzazione di base per i diritti digitali che ha cofondato nel 2017. Ciò che ha imparato da adolescente l'ha spinta a intraprendere una vita di lotta contro pregiudizio nel sistema di giustizia penale e smantellare quello che lei chiama il gasdotto dalla scuola alla prigione. C'è una lunga storia di dati usati come armi contro le comunità nere, dice.
La disuguaglianza e gli abusi del potere di polizia non solo giocare per le strade o durante le rivolte scolastiche. Per Milner e altri attivisti, l'attenzione è ora concentrata su dove c'è il maggior potenziale di danni di lunga durata: strumenti di polizia predittiva e abuso dei dati da parte delle forze di polizia. Numerosi studi hanno dimostrato che questi strumenti perpetuare sistemico razzismo , eppure sappiamo ancora molto poco su come funzionano, chi li sta usando e per quale scopo. Tutto questo deve cambiare prima che possa aver luogo una corretta resa dei conti. Fortunatamente, la marea potrebbe cambiare.
Esistono due tipi principali di strumenti di polizia predittiva. Gli algoritmi basati sulla posizione attingono ai collegamenti tra luoghi, eventi e tassi di criminalità storici per prevedere dove e quando è più probabile che si verifichino i crimini, ad esempio in determinate condizioni meteorologiche o in occasione di grandi eventi sportivi. Gli strumenti identificano i punti caldi e la polizia pianifica le pattuglie attorno a queste soffiate. Uno dei più comuni, chiamato PredPol, utilizzato da decine di città negli Stati Uniti , suddivide le località in blocchi di 500 x 500 piedi e aggiorna le sue previsioni nel corso della giornata, una sorta di previsioni meteorologiche sulla criminalità.
Altri strumenti attingono a dati sulle persone, come età, sesso, stato civile, storia di abuso di sostanze e precedenti penali, per prevedere chi ha un'alta probabilità di essere coinvolto in future attività criminali. Questi strumenti basati sulla persona possono essere utilizzati sia dalla polizia, per intervenire prima che si verifichi un reato, sia dai tribunali, per determinare durante le udienze preliminari o la condanna se qualcuno che è stato arrestato è suscettibile di recidivare. Ad esempio, uno strumento chiamato COMPAS, utilizzato in molte giurisdizioni per aiutare a prendere decisioni in merito alla liberazione preventiva e alla condanna, emette un punteggio statistico compreso tra 1 e 10 per quantificare la probabilità che una persona venga arrestata di nuovo se rilasciata.
Il problema risiede nei dati di cui si nutrono gli algoritmi. Per prima cosa, gli algoritmi predittivi sono facilmente distorti dai tassi di arresto. Secondo i dati del Dipartimento di Giustizia degli Stati Uniti, lo sei più del doppio delle probabilità di essere arrestato se sei nero che se sei bianco. Una persona nera ha cinque volte più probabilità di essere fermata senza giusta causa rispetto a una persona bianca. L'arresto di massa all'Edison Senior High è stato solo un esempio di un tipo di risposta sproporzionata della polizia che non è raro nelle comunità nere.
I ragazzi che Milner ha visto mentre venivano arrestati erano stati impostati per una vita di valutazione parziale a causa di quel record di arresto. Ma quel giorno non furono solo le loro vite ad essere state colpite. I dati generati dai loro arresti sarebbero stati inseriti in algoritmi che avrebbero preso di mira in modo sproporzionato tutti i giovani neri valutati dagli algoritmi. Sebbene per legge gli algoritmi non utilizzino la razza come predittore, altre variabili, come il background socioeconomico, l'istruzione e il codice postale, agiscono come proxy. Anche senza considerare esplicitamente la razza, questi strumenti sono razzisti.
Ecco perché, per molti, il problema stesso è il concetto stesso di polizia predittiva. Lo scrittore e accademico Dorothy Roberts , che studia legge e diritti sociali presso l'Università della Pennsylvania, ha messo bene in an tavola rotonda online nel mese di giugno. Il razzismo ha sempre riguardato la predizione, il far sembrare certi gruppi razziali predisposti a fare cose cattive e quindi giustificare il loro controllo, ha detto.
Le valutazioni del rischio fanno parte del sistema di giustizia penale da decenni. Ma negli ultimi anni i dipartimenti di polizia e i tribunali hanno fatto più uso di strumenti automatizzati, per due ragioni principali. In primo luogo, i tagli al budget hanno portato a una spinta all'efficienza. Le persone stanno chiamando per togliere i fondi alla polizia, ma sono già stati privati dei fondi, dice Milner. Le città sono in bancarotta da anni e hanno sostituito i poliziotti con algoritmi. È difficile trovare cifre esatte, ma si ritiene che gli strumenti predittivi vengano utilizzati dalle forze di polizia o tribunali nella maggior parte degli stati degli Stati Uniti.
La seconda ragione del maggiore utilizzo degli algoritmi è la convinzione diffusa che siano più obiettivi degli esseri umani: sono stati introdotti per la prima volta per rendere più equo il processo decisionale nel sistema di giustizia penale. A partire dagli anni '90, le prime tecniche automatizzate utilizzavano alberi decisionali basati su regole, ma oggi la previsione viene eseguita con l'apprendimento automatico.
BANCHE DI ARGILLA VIA UNSPLASHAncora prove crescenti suggerisce che i pregiudizi umani siano stati inseriti in questi strumenti perché i modelli di apprendimento automatico sono addestrati su dati di polizia distorti. Lungi dall'evitare il razzismo, potrebbero semplicemente essere più bravi a nasconderlo. Molti critici ora vedono questi strumenti come una forma di lavaggio tecnologico , dove una patina di obiettività copre i meccanismi che perpetuano le disuguaglianze nella società.
È davvero solo negli ultimi anni che le opinioni delle persone su questi strumenti sono passate dall'essere qualcosa che potrebbe alleviare i pregiudizi a qualcosa che potrebbe radicarlo, afferma Alice Xiang , un avvocato e scienziato dei dati che conduce la ricerca su equità, trasparenza e responsabilità presso la Partnership on AI. Questi pregiudizi sono stati aggravati da quando è apparsa la prima generazione di strumenti di previsione 20 o 30 anni fa. In primo luogo abbiamo preso dati errati e poi abbiamo usato strumenti per peggiorare le cose, dice Katy Weathington , che studia il bias algoritmico presso l'Università del Colorado Boulder. È stato solo un ciclo che si auto-rinforza più e più volte.
Le cose potrebbero peggiorare. Sulla scia del proteste contro i pregiudizi della polizia dopo la morte di George Floyd per mano di un agente di polizia a Minneapolis, alcuni dipartimenti di polizia stanno raddoppiando l'uso degli strumenti predittivi. Un mese fa, il commissario del dipartimento di polizia di New York Dermot Shea ha inviato una lettera ai suoi ufficiali. Nel clima attuale, dobbiamo combattere la criminalità in modo diverso, ha scritto. Lo faremo con meno fermate stradali, forse esponendoti a meno pericoli e responsabilità, utilizzando meglio i dati, l'intelligence e tutta la tecnologia a nostra disposizione ... Ciò significa che da parte del NYPD, raddoppieremo la nostra precisione... sforzi di polizia.
Alla polizia piace l'idea di strumenti che diano loro un avviso e consentano loro di intervenire in anticipo perché pensano che mantenga bassi i tassi di criminalità, afferma Rashida Richardson , direttore della ricerca politica presso l'AI Now Institute. Ma in pratica, il loro uso può sembrare una molestia. I ricercatori hanno scoperto che alcuni dipartimenti di polizia forniscono agli agenti elenchi di persone più ricercate che lo strumento identifica come ad alto rischio. Questo è emerso per la prima volta quando le persone a Chicago hanno riferito che la polizia aveva bussato alle loro porte dicendo loro di essere osservati. In altri stati, dice Richardson, la polizia stava avvertendo le persone nelle liste che erano ad alto rischio di essere coinvolte in crimini legati alle bande e chiedendo loro di intraprendere azioni per evitarlo. Se in seguito sono stati arrestati per qualsiasi tipo di crimine, i pubblici ministeri hanno utilizzato l'avvertimento preventivo per chiedere accuse più elevate. È quasi come una forma digitale di intrappolamento, in cui dai alle persone alcune informazioni vaghe e poi le tieni contro di loro, dice.
'È quasi come una forma digitale di intrappolamento.'
Allo stesso modo, gli studi, compresi uno commissionato dal Center for Data Ethics and Innovation del governo britannico l'anno scorso, suggeriscono che l'identificazione di determinate aree come punti caldi fa sì che gli ufficiali si aspettino problemi durante la pattuglia, rendendoli più propensi a fermare o arrestare le persone lì per pregiudizi piuttosto che per necessità.
Un altro problema con gli algoritmi è che molti sono stati formati su popolazioni bianche al di fuori degli Stati Uniti, in parte perché è difficile ottenere precedenti penali in diverse giurisdizioni statunitensi. Static 99, uno strumento progettato per prevedere la recidiva tra autori di reati sessuali, è stato formato in Canada, dove solo il 3% circa della popolazione è nero rispetto al 12% negli Stati Uniti. Diversi altri strumenti utilizzati negli Stati Uniti sono stati sviluppati in Europa, dove il 2% della popolazione è nera. A causa delle differenze nelle condizioni socioeconomiche tra paesi e popolazioni, è probabile che gli strumenti siano meno accurati nei luoghi in cui non sono stati formati. Inoltre, alcuni algoritmi preliminari addestrati molti anni fa utilizzano ancora predittori non aggiornati. Ad esempio, alcuni prevedono ancora che un imputato che non ha un telefono fisso abbia meno probabilità di presentarsi in tribunale.
Ma questi strumenti funzionano, anche se imperfettamente? Dipende cosa intendi per lavoro. In generale, è praticamente impossibile districare l'uso di strumenti di polizia predittiva da altri fattori che influenzano i tassi di criminalità o di carcerazione. Tuttavia, una manciata di piccoli studi ha tratto conclusioni limitate. Alcuni mostrano segni che l'uso da parte dei tribunali degli strumenti di valutazione del rischio ha avuto un impatto positivo minore. UN Studio del 2016 di uno strumento di apprendimento automatico utilizzato in Pennsylvania per informare le decisioni sulla libertà vigilata non ha trovato prove che mettesse a repentaglio la sicurezza pubblica (cioè, ha identificato correttamente le persone ad alto rischio che non dovrebbero essere rilasciate sulla parola) e alcune prove che hanno identificato persone non violente che potrebbero essere rilasciate in sicurezza.
Rashida Richardson è direttrice della ricerca politica presso l'AI Now Institute. In precedenza ha guidato il lavoro sulle questioni legali relative alla privacy e alla sorveglianza presso l'American Civil Liberties Union.
PER CORTESIA DI AI ORAUn altro studio, nel 2018, ha esaminato uno strumento utilizzato dai tribunali del Kentucky e ha scoperto che sebbene i punteggi di rischio fossero interpretati in modo incoerente tra le contee, il che ha portato a discrepanze su chi è stato rilasciato e chi non è stato rilasciato, lo strumento avrebbe leggermente ridotto i tassi di incarcerazione se fosse stato utilizzato correttamente. E l'American Civil Liberties Union riferisce che uno strumento di valutazione adottato nell'ambito del New Jersey Criminal Justice Reform Act del 2017 ha portato a un Diminuzione del 20% del numero di persone incarcerate in attesa di processo .
I sostenitori di tali strumenti affermano che gli algoritmi possono essere più equi dei decisori umani, o almeno rendere esplicita l'ingiustizia. In molti casi, specialmente durante le udienze di custodia cautelare, ci si aspetta che i giudici esaminino molte dozzine di casi in breve tempo. In uno studio sulle udienze preliminari nella contea di Cook, nell'Illinois, i ricercatori hanno scoperto che i giudici hanno impiegato in media solo 30 secondi per considerare ciascun caso.
In tali condizioni, è ragionevole presumere che i giudici stiano prendendo decisioni affrettate guidati almeno in parte dai loro pregiudizi personali. Melissa Hamilton presso l'Università del Surrey nel Regno Unito, che studia questioni legali relative agli strumenti di valutazione del rischio, è critico nei confronti del loro utilizzo nella pratica, ma crede che in linea di principio possano svolgere un lavoro migliore rispetto alle persone. L'alternativa è la scatola nera del cervello di un decisore umano, dice.
Ma c'è un problema evidente. I dati sugli arresti utilizzati per addestrare gli strumenti predittivi non forniscono un quadro accurato dell'attività criminale. I dati sugli arresti vengono utilizzati perché sono quelli registrati dai dipartimenti di polizia. Ma gli arresti non portano necessariamente a condanne. Stiamo cercando di misurare le persone che commettono crimini, ma tutto ciò che abbiamo sono i dati sugli arresti, afferma Xiang.
'Stiamo cercando di misurare le persone che commettono crimini, ma tutto ciò che abbiamo sono i dati sugli arresti'.
Inoltre, i dati sugli arresti codificano i modelli di comportamento razzista della polizia. Di conseguenza, è più probabile che prevedano un alto potenziale di criminalità nei quartieri delle minoranze o tra le minoranze. Anche quando i dati sugli arresti e sulla criminalità coincidono, ci sono una miriade di ragioni socioeconomiche per cui alcune popolazioni e determinati quartieri hanno tassi di criminalità storici più elevati di altri. L'inserimento di questi dati in strumenti predittivi consente al passato di plasmare il futuro.
Alcuni strumenti utilizzano anche i dati su dove è stata effettuata una chiamata alla polizia, che è un riflesso ancora più debole dei modelli di criminalità reali rispetto ai dati sugli arresti, e uno ancora più deformato da motivazioni razziste . Tenere conto il caso di Amy Cooper , che ha chiamato la polizia semplicemente perché un osservatore di uccelli nero, Christian Cooper, le ha chiesto di mettere il suo cane al guinzaglio nel Central Park di New York.
Solo perché c'è una chiamata che si è verificato un crimine non significa che un crimine sia effettivamente accaduto, dice Richardson. Se la chiamata diventa un punto dati per giustificare l'invio della polizia in un quartiere specifico, o anche per prendere di mira un individuo specifico, si ottiene un ciclo di feedback in cui le tecnologie basate sui dati legittimano la polizia discriminatoria.
Poiché sempre più critici sostengono che questi strumenti non sono adatti allo scopo, ci sono richieste per una sorta di azione affermativa algoritmica, in cui la distorsione nei dati è controbilanciata in qualche modo. Un modo per farlo per gli algoritmi di valutazione del rischio, in teoria, sarebbe usare soglie di rischio differenziali: tre arresti per una persona nera potrebbero indicare lo stesso livello di rischio di, diciamo, due arresti per una persona bianca.
Questo è stato uno degli approcci esaminati in uno studio pubblicare d a maggio di Jennifer Skeem, che studia politiche pubbliche all'Università della California, Berkeley, e Christopher Lowenkamp, analista di scienze sociali presso l'Ufficio amministrativo dei tribunali degli Stati Uniti a Washington, DC. La coppia ha esaminato tre diverse opzioni per rimuovere la distorsione negli algoritmi che avevano valutato il rischio di recidiva per circa 68.000 partecipanti, metà bianchi e metà neri. Hanno scoperto che il miglior equilibrio tra le razze è stato raggiunto quando gli algoritmi hanno tenuto esplicitamente conto della razza - cosa che gli strumenti esistenti sono legalmente vietati da fare - e hanno assegnato ai neri una soglia più alta rispetto ai bianchi per essere considerati ad alto rischio.
Naturalmente, questa idea è piuttosto controversa. Significa essenzialmente manipolare i dati per perdonare una parte dei crimini a causa della razza dell'autore, dice Xiang: Questo è qualcosa che mette molto a disagio le persone. L'idea di tenere membri di gruppi diversi a standard diversi va contro il senso di equità di molte persone, anche se è fatto in un modo che dovrebbe affrontare l'ingiustizia storica. (Puoi provare tu stesso questo compromesso nel nostro racconto interattivo sul pregiudizio algoritmico nel sistema giudiziario penale , che ti consente di sperimentare una versione semplificata dello strumento COMPAS.)
Ad ogni modo, il sistema giuridico statunitense non è pronto per una discussione del genere. La professione legale è stata molto indietro rispetto a questi strumenti di valutazione del rischio, afferma Hamilton. Negli ultimi anni ha tenuto corsi di formazione per avvocati e ha scoperto che spesso i difensori non sono nemmeno consapevoli che i loro clienti vengono valutati in questo modo. Se non ne sei consapevole, non lo sfiderai, dice.
La mancanza di consapevolezza può essere attribuita all'oscurità del quadro generale: le forze dell'ordine sono state così a bocca aperta su come utilizzano queste tecnologie che è molto difficile per chiunque valutare quanto bene funzionino. Anche quando le informazioni sono disponibili, è difficile collegare un sistema qualsiasi a un risultato. E i pochi studi dettagliati che sono stati condotti si concentrano su strumenti specifici e traggono conclusioni che potrebbero non essere applicabili ad altri sistemi o giurisdizioni.
Non è nemmeno chiaro quali strumenti vengono utilizzati e chi li sta utilizzando. Non sappiamo quanti dipartimenti di polizia abbiano utilizzato o stiano attualmente utilizzando la polizia predittiva, afferma Richardson.
Ad esempio, il fatto che la polizia di New Orleans stesse utilizzando uno strumento predittivo sviluppato dalla società di data mining segreta Palantir è venuto alla luce solo dopo un indagine di The Verge . E i registri pubblici mostrano che il Il dipartimento di polizia di New York ha pagato 2,5 milioni di dollari a Palantir ma non dice per cosa.
GETTYLa maggior parte degli strumenti viene concessa in licenza ai dipartimenti di polizia da un mix disordinato di piccole imprese, autorità statali e ricercatori. Alcuni sono sistemi proprietari; alcuni no. Funzionano tutti in modi leggermente diversi. Sulla base dei risultati degli strumenti, i ricercatori ricreano nel miglior modo possibile ciò che credono stia accadendo.
Hamid Khan, un attivista che ha combattuto per anni per convincere la polizia di Los Angeles a far cadere uno strumento predittivo chiamato PredPol, ha chiesto un controllo dello strumento da parte dell'ispettore generale del dipartimento di polizia. Secondo Khan , nel marzo 2019 l'ispettore generale ha affermato che il compito era impossibile perché lo strumento era così complicato.
Nel Regno Unito, Hamilton ha cercato di esaminare uno strumento chiamato OASys, che, come COMPAS, è comunemente usato nelle udienze preliminari, nelle condanne e nella libertà condizionale. L'azienda che produce OASys esegue i propri audit e non ha rilasciato molte informazioni su come funziona, afferma Hamilton. Ha ripetutamente cercato di ottenere informazioni dagli sviluppatori, ma hanno smesso di rispondere alle sue richieste. Dice, penso che abbiano esaminato i miei studi e abbiano deciso: No.
Il ritornello familiare delle aziende che producono questi strumenti è che non possono condividere le informazioni perché rinuncerebbero a segreti commerciali o informazioni riservate sulle persone valutate dagli strumenti.
Tutto ciò significa che solo una manciata è stata studiata in dettaglio, sebbene siano disponibili alcune informazioni su alcuni di essi. Static 99 è stato sviluppato da un gruppo di data scientist che hanno condiviso i dettagli sui suoi algoritmi. La valutazione della sicurezza pubblica, uno degli strumenti di valutazione del rischio preliminare più comuni negli Stati Uniti, è stato originariamente sviluppato da Arnold Ventures, un'organizzazione privata, ma si è rivelato più facile convincere le giurisdizioni ad adottarlo se sono stati rivelati alcuni dettagli su come funzionava , dice Hamilton. Tuttavia, i produttori di entrambi gli strumenti si sono rifiutati di rilasciare i set di dati utilizzati per la formazione, che sarebbero necessari per comprendere appieno come funzionano.
L'acquisto di uno strumento di valutazione del rischio è soggetto alle stesse normative dell'acquisto di uno spazzaneve.
Non solo ci sono poche informazioni sui meccanismi all'interno di questi strumenti, ma i critici affermano che i dipartimenti di polizia e i tribunali non stanno facendo abbastanza per assicurarsi che acquistino strumenti che funzionino come previsto. Per il NYPD, l'acquisto di uno strumento di valutazione del rischio è soggetto alle stesse normative dell'acquisto di uno spazzaneve, afferma Milner.
La polizia è in grado di procedere a tutta velocità nell'acquisto di tecnologia senza sapere cosa sta usando, senza investire tempo per garantire che possa essere utilizzata in sicurezza, afferma Richardson. E poi non ci sono audit o analisi in corso per determinare se funziona.
Gli sforzi per cambiare questo hanno incontrato resistenza. Il mese scorso New York City passato il Legge sulla sorveglianza pubblica della tecnologia di sorveglianza (POST). , che richiede al NYPD di elencare tutte le sue tecnologie di sorveglianza e descrivere come influiscono sui residenti della città. Il NYPD è la più grande forza di polizia negli Stati Uniti e i sostenitori del disegno di legge sperano che la divulgazione faccia luce anche sulla tecnologia utilizzata dagli altri dipartimenti di polizia del paese. Ma arrivare fin qui è stato difficile. Richardson, che ha svolto un lavoro di advocacy sul disegno di legge, lo ha osservato rimanere nel limbo dal 2017, fino a quando negli ultimi mesi le diffuse richieste di riforma della polizia hanno ribaltato l'equilibrio dell'opinione.
È stata la frustrazione nel cercare di trovare informazioni di base sulle pratiche di polizia digitale a New York che ha portato Richardson a lavorare sul disegno di legge. La polizia aveva resistito quando lei e i suoi colleghi volevano saperne di più sull'uso degli strumenti di sorveglianza da parte del NYPD. Le richieste del Freedom of Information Act e il contenzioso della New York Civil Liberties Union non stavano funzionando. Nel 2015, con l'aiuto del membro del consiglio comunale Daniel Garodnik, hanno proposto una legislazione che avrebbe forzato la questione.
Abbiamo subito un contraccolpo significativo da parte del NYPD, inclusa una brutta campagna di pubbliche relazioni che suggeriva che il disegno di legge stava dando la mappa della città ai terroristi, afferma Richardson. Non c'era il sostegno del sindaco e di un consiglio comunale ostile.
Con i suoi problemi etici e la mancanza di trasparenza, lo stato attuale della polizia predittiva è un disastro. Ma cosa si può fare al riguardo? Xiang e Hamilton pensano che gli strumenti algoritmici abbiano il potenziale per essere più equi degli umani, a condizione che tutti coloro che sono coinvolti nello sviluppo e nell'utilizzo di essi siano pienamente consapevoli dei loro limiti e lavorino deliberatamente per renderli equi.
Ma questa sfida non è solo tecnica. È necessaria una resa dei conti su cosa fare in caso di distorsione nei dati, perché è lì per rimanere. Porta con sé le cicatrici di generazioni di polizia, dice Weathington.
E cosa significa avere un algoritmo equo non è qualcosa che gli informatici possono rispondere, dice Xiang. Non è davvero qualcosa che chiunque può rispondere. Sta chiedendo come sarebbe un sistema di giustizia penale equo. Anche se sei un avvocato, anche se sei un esperto di etica, non puoi fornire una risposta ferma a questo.
Queste sono domande fondamentali che non saranno risolvibili nel senso che un problema matematico può essere risolvibile, aggiunge.
Hamilton è d'accordo. I gruppi per i diritti civili hanno una scelta difficile da fare, dice: se sei contrario alla valutazione del rischio, probabilmente più minoranze rimarranno rinchiuse. Se accetti la valutazione del rischio, sei un po' complice della promozione del pregiudizio razziale negli algoritmi.
Ma questo non significa che non si possa fare nulla. Richardson afferma che i responsabili politici dovrebbero essere chiamati in causa per la loro ignoranza tattica sulle carenze di questi strumenti. Ad esempio, il NYPD è stato coinvolto decine di cause su anni di polizia di parte. Non capisco come si possa occuparsi attivamente delle negoziazioni di accordo riguardanti pratiche di pregiudizio razziale e pensare ancora che i dati risultanti da tali pratiche vadano bene da usare, dice.
Yeshimabeit Milner è co-fondatore e direttore di Data for Black Lives, un collettivo di base di attivisti e informatici che utilizzano i dati per riformare il sistema di giustizia penale.
PER CORTESIA DEI DATI PER LE VITA NEREPer Milner, la chiave per realizzare il cambiamento è coinvolgere le persone più colpite. Nel 2008, dopo aver visto arrestare quei bambini che conosceva, Milner si è unita a un'organizzazione che ha intervistato circa 600 giovani sulle loro esperienze con gli arresti e la brutalità della polizia nelle scuole, e poi ha trasformato ciò che ha appreso in un fumetto. I giovani di tutto il paese hanno utilizzato il fumetto per iniziare a fare un lavoro simile dove vivevano.
Oggi la sua organizzazione, Data for Black Lives, coordina circa 4.000 ingegneri informatici, matematici e attivisti in università e centri comunitari. Gli strumenti di valutazione del rischio non sono l'unico modo in cui l'uso improprio dei dati perpetua il razzismo sistemico, ma è molto nel loro mirino. Non fermeremo ogni singola azienda privata dallo sviluppo di strumenti di valutazione del rischio, ma possiamo cambiare la cultura ed educare le persone, dando loro modi per respingere, afferma Milner. Ad Atlanta stanno addestrando persone che hanno trascorso del tempo in carcere a fare scienza dei dati, in modo che possano svolgere un ruolo nella riforma delle tecnologie utilizzate dal sistema di giustizia penale.
Nel frattempo, Milner, Weathington, Richardson e altri pensano che la polizia dovrebbe smettere di usare strumenti predittivi imperfetti fino a quando non ci sarà un modo concordato per renderli più equi.
La maggior parte delle persone sarebbe d'accordo sul fatto che la società dovrebbe avere un modo per decidere chi rappresenta un pericolo per gli altri. Ma sostituire un poliziotto o un giudice umano prevenuto con algoritmi che si limitano a nascondere quegli stessi pregiudizi non è la risposta. Se c'è anche la possibilità che perpetuino pratiche razziste, dovrebbero essere ritirati.
Come hanno scoperto i sostenitori del cambiamento, tuttavia, ci vogliono lunghi anni per fare la differenza, con resistenze a ogni passo. Non è un caso che sia Khan che Richardson abbiano visto progressi dopo settimane di indignazione a livello nazionale per la brutalità della polizia. Le recenti rivolte hanno sicuramente funzionato a nostro favore, afferma Richardson. Ma ci sono voluti anche cinque anni di pressione costante da parte sua e dei suoi colleghi sostenitori. Anche Khan ha condotto per anni una campagna contro la polizia predittiva nella polizia di Los Angeles.
Quella pressione deve continuare, anche dopo che le marce si sono fermate. Eliminare i pregiudizi non è una soluzione tecnica, afferma Milner. Ci vuole un cambiamento politico più profondo e, onestamente, meno sexy e più costoso.