La polizia negli Stati Uniti sta addestrando IA predittive del crimine su dati falsificati

David McNew/personale

Nel maggio del 2010, spinto da una serie di scandali di alto profilo, il sindaco di New Orleans ha chiesto al Dipartimento di Giustizia degli Stati Uniti di indagare sul dipartimento di polizia della città (NOPD). Dieci mesi dopo, il DOJ ha offerto il suo analisi bollente : durante il periodo della sua revisione dal 2005 in poi, il NOPD aveva ripetutamente violato la legge costituzionale e federale.

Ha usato una forza eccessiva e sproporzionata contro i residenti neri; minoranze razziali mirate, anglofoni non nativi e individui LGBTQ; e non ha affrontato la violenza contro le donne. I problemi, disse L'assistente del procuratore generale Thomas Perez all'epoca era serio, di ampio respiro, sistematico e profondamente radicato nella cultura del dipartimento.

Nonostante i ritrovamenti inquietanti, la città è entrata a collaborazione segreta solo un anno dopo con la società di data mining Palantir per implementare un sistema di polizia predittiva. Il sistema ha utilizzato i dati storici, inclusi i registri degli arresti e i rapporti elettronici della polizia, per prevedere il crimine e aiutare a plasmare le strategie di sicurezza pubblica, secondo società e governo della città materiali. In nessun momento quei materiali hanno suggerito alcuno sforzo per pulire o modificare i dati per affrontare le violazioni rivelate dal DOJ. Con ogni probabilità, i dati corrotti sono stati immessi direttamente nel sistema, rafforzando le pratiche discriminatorie del dipartimento.

Gli algoritmi di polizia predittiva stanno diventando una pratica comune nelle città degli Stati Uniti. Sebbene la mancanza di trasparenza renda difficile definire le statistiche esatte, PredPol, un fornitore leader, vanta che aiuta a proteggere 1 americano su 33. Il software è spesso pubblicizzato come un modo per aiutare i dipartimenti di polizia poco tesi a prendere decisioni più efficienti e basate sui dati.

Ma una nuova ricerca suggerisce che non è solo New Orleans ad aver addestrato questi sistemi con dati sporchi. In un carta pubblicato oggi, che sarà pubblicato sulla NYU Law Review, i ricercatori dell'AI Now Institute, un centro di ricerca che studia l'impatto sociale dell'intelligenza artificiale, hanno riscontrato che il problema è pervasivo tra le giurisdizioni studiate. Ciò ha implicazioni significative per l'efficacia della polizia predittiva e di altri algoritmi utilizzati nel sistema di giustizia penale.

Il tuo sistema è buono solo quanto i dati su cui lo usi per addestrarlo, afferma Kate Crawford, cofondatrice e co-direttrice di AI Now e autrice dello studio. Se i dati stessi non sono corretti, si concentreranno più risorse della polizia sulle stesse comunità sovra-sorvegliate e spesso prese di mira a livello razziale. Quindi quello che hai fatto è in realtà un tipo di lavaggio tecnologico in cui le persone che usano questi sistemi presumono che siano in qualche modo più neutrali o obiettivi, ma in realtà hanno radicato una forma di incostituzionalità o illegalità.

I ricercatori hanno esaminato 13 giurisdizioni, concentrandosi su quelle che hanno utilizzato sistemi di polizia predittiva e sono state oggetto di un'indagine commissionata dal governo. Quest'ultimo requisito garantiva che le pratiche di polizia avessero una documentazione legalmente verificabile. In nove delle giurisdizioni, hanno trovato prove evidenti che i sistemi erano stati addestrati su dati sporchi.

Il problema non erano solo i dati distorti dal targeting sproporzionato delle minoranze, come a New Orleans. In alcuni casi, i dipartimenti di polizia avevano la cultura di manipolare o falsificare di proposito i dati sotto un'intensa pressione politica per ridurre i tassi di criminalità ufficiale. A New York, ad esempio, per sgonfiare artificialmente le statistiche sulla criminalità, i comandanti di distretto chiedevano regolarmente alle vittime sulla scena del crimine di non sporgere denuncia. Alcuni agenti di polizia hanno persino piazzato droghe su persone innocenti per raggiungere le loro quote di arresto. Nei moderni sistemi di polizia predittiva, che si basano sull'apprendimento automatico per prevedere il crimine, quei punti dati corrotti diventano predittori legittimi.

I risultati del documento mettono in discussione la validità dei sistemi di polizia predittiva. I fornitori di tali software spesso sostengono che i risultati distorti dei loro strumenti sono facilmente risolvibili, afferma Rashida Richardson, direttore della ricerca politica presso AI Now e autore principale dello studio. Ma in tutti questi casi, c'è un qualche tipo di problema sistemico che si riflette nei dati, dice. Il rimedio, quindi, richiederebbe molto di più della semplice rimozione di uno o due casi di comportamento scorretto. Non è così facile separare i buoni dati dai cattivi dati o i buoni poliziotti da quelli cattivi, aggiunge Jason Schultz, responsabile della ricerca dell'istituto per legge e politica, un altro autore dello studio.

I fornitori sostengono inoltre che evitano i dati che hanno maggiori probabilità di riflettere pregiudizi, come gli arresti per droga, e optano invece per input di formazione come le chiamate ai servizi di emergenza. Ma i ricercatori hanno riscontrato altrettanti pregiudizi nei dati presumibilmente più neutri. Inoltre, hanno scoperto che i fornitori non verificano mai in modo indipendente i dati inseriti nei loro sistemi.

Storia correlata

Storia correlata L'uso dei dati storici per addestrare gli strumenti di valutazione del rischio potrebbe significare che le macchine stanno copiando gli errori del passato.

Il documento fa luce su un altro dibattito in corso negli Stati Uniti sull'uso di strumenti di valutazione del rischio penale, che utilizzano anche l'apprendimento automatico per aiutare a determinare qualsiasi cosa, dal destino degli imputati durante il procedimento preliminare alla gravità delle loro condanne. I dati di cui discutiamo in questo documento non riguardano solo la polizia, afferma Richardson. È usato in tutto il sistema di giustizia penale.

Attualmente, gran parte del dibattito si è concentrato sulla meccanica del sistema stesso, se può essere progettato per produrre risultati matematicamente equi. Ma i ricercatori sottolineano che questa è la domanda sbagliata. Separare la questione dell'algoritmo dal sistema sociale a cui è connesso e incorporato non ti porta molto lontano, afferma Schultz. Dobbiamo davvero riconoscere i limiti di questo tipo di tentativi matematici basati su calcoli per affrontare i pregiudizi.

Andando avanti, i ricercatori sperano che il loro lavoro aiuterà a riformulare il dibattito per concentrarsi sul sistema più ampio piuttosto che sullo strumento stesso. Sperano anche che spingerà i governi a creare meccanismi, come il quadro algoritmico di valutazione dell'impatto l'istituto rilasciato l'anno scorso, per portare maggiore trasparenza, responsabilità e supervisione all'uso di strumenti decisionali automatizzati.

Se i meccanismi sociali e politici che generano dati sporchi non vengono riformati, tali strumenti faranno solo più male che bene, dicono. Una volta che le persone lo riconosceranno, forse il dibattito si sposterà finalmente sui modi in cui possiamo utilizzare l'apprendimento automatico e altri progressi tecnologici per fermare effettivamente la causa principale del [crimine], afferma Richardson. Forse possiamo risolvere la povertà, la disoccupazione e i problemi abitativi utilizzando i dati del governo in un modo più vantaggioso.

nascondere