211service.com
Gli algoritmi segreti minacciano lo Stato di diritto
Prevedere e dare forma a ciò che farai dopo, sia come acquirente, lavoratore o elettore, è un grande affare per le aziende basate sui dati. Ma i loro metodi dovrebbero informare anche giudici e pubblici ministeri? Un ambizioso programma di previsione della recidiva tra i detenuti sta portando valutazioni algoritmiche del rischio nei tribunali americani.
Queste valutazioni sono un'estensione di una tendenza verso strumenti di previsione attuariale per rischio di recidiva. Possono sembrare scientifici, un'iniezione di razionalità computazionale in un sistema di giustizia penale crivellato di discriminazione e inefficienza. Tuttavia, sono preoccupanti per diversi motivi: molti sono segretamente calcolati; negano il giusto processo e le spiegazioni intelligibili agli imputati; e promuovono una visione bisbetica e disumana del ruolo della punizione nella società.
Cominciamo con la segretezza, un fattore che ha apparentemente allarmato anche la Corte Suprema nel caso del punteggio di rischio COMPAS dell'azienda Northpointe. In Loomis contro Wisconsin , un giudice ha respinto un patteggiamento e condannato un imputato (Loomis) a una punizione più severa in parte perché un punteggio di rischio COMPAS lo considerava con un rischio di recidiva superiore alla media. Loomis ha impugnato la sentenza, sostenendo che né lui né il giudice potevano esaminare la formula per la valutazione del rischio: si trattava di un segreto commerciale.
Franco Pasquale
Lo stato del Wisconsin ha ribattuto che Northpointe gli richiedeva di mantenere riservati gli algoritmi, per proteggere la proprietà intellettuale dell'azienda. E la Corte Suprema del Wisconsin ha confermato la sentenza di Loomis, argomentando che la valutazione del rischio era solo una parte della motivazione della sentenza. Voleva continuare a dare ai giudici l'opportunità di prendere in considerazione il punteggio COMPAS come parte della motivazione della loro condanna, anche se non avevano idea di come fosse calcolato.
Avvocati , accademici e attivisti ora mettono in discussione quel ragionamento. I processi giudiziari sono, in generale, aperti al pubblico. I giudici devono motivare le loro azioni più importanti, come la condanna. Quando un processo di punteggio algoritmico viene tenuto segreto, lo è impossibile da contestare aspetti chiave di esso. In che modo l'algoritmo pesa diversi punti dati e perché? Ognuna di queste indagini è fondamentale per due principi legali fondamentali: il giusto processo e la capacità di impugnare in modo significativo una decisione avversa.
Il giusto processo è un concetto aperto, ma fondamentale per i sistemi legali legittimi. Questo principio costituzionale di base conferisce agli imputati il diritto di capire di cosa sono accusati e quali sono le prove contro di loro. Un algoritmo segreto di valutazione del rischio che offre un punteggio schiacciante è analogo alle prove offerte da an esperto anonimo , che non si può interrogare. Qualsiasi tribunale a conoscenza dei principi fondamentali dello stato di diritto, nonché dei principi di avviso e spiegazione delle decisioni del Quinto e Quattordicesimo emendamento, sarebbe molto cauto nel consentire a uno stato di basare sentenze (anche se solo in parte) su un algoritmo segreto.
Due forme di pregiudizio all'automazione minacciano anche il diritto a un appello significativo. È fin troppo probabile che i giudici presuppongano che i metodi quantitativi siano superiori al normale ragionamento verbale e riducano il compito da svolgere (condanna) a un'applicazione dei dati quantitativi disponibili sul rischio di recidiva. Entrambe le risposte minano la complessità e il giudizio umano necessari alla condanna.
Ancora peggio, quando le aziende offrono motivazioni commerciali per mantenere la loro salsa segreta fuori dagli occhi del pubblico, i tribunali sono stati ansiosi di proteggere i segreti commerciali delle aziende di punteggio. Quella tendenza è preoccupante in contesti di settore privato , poiché gli illeciti commerciali possono essere commessi impunemente grazie all'opacità dei sistemi di graduatorie e graduatorie. Anche nel contesto di voto , le autorità sono state lente riguardo al software esigente che sia verificabile e comprensibile da estranei . Tuttavia, il caso della condanna penale dovrebbe essere un ponte troppo lontano per i giudici coscienziosi, e questo probabilmente spiega il giudizio della Corte Suprema degli Stati Uniti interesse in Loomis. Anche mandare qualcuno in galera grazie ai giudizi inspiegabili e inoppugnabili di un programma segreto per computer lo è Specchio nero anche per i più accaniti difensori dei privilegi aziendali.
Inoltre, ci sono opzioni tra il completo segreto algoritmico e la completa divulgazione al pubblico. Come io spiegato nel 2010, la trasparenza qualificata è un metodo consolidato per consentire a determinati esperti di valutare i segreti commerciali protetti (inclusi il codice e i dati delle aziende) al fine di testare la qualità, la validità e l'affidabilità di un sistema. Pensa a un maestro speciale in un caso giudiziario o alle strutture di informazione a scomparti sicure per le agenzie di intelligence. Come minimo, i governi non dovrebbero utilizzare algoritmi come il punteggio COMPAS senza una sorta di garanzia di qualità esterna consentita da una trasparenza qualificata.
Ma la segretezza non è l'unico problema qui. Si supponga che la valutazione algoritmica del rischio alla fine diventi più pubblica, con formule e dati completamente trasparenti. Ci sono ancora serie preoccupazioni sull'uso di condanne basate sull'evidenza, poiché l'analisi predittiva quantitativa è spesso commercializzata in contesti di giustizia penale.
Ad esempio, lo ha fatto la studiosa di diritto Sonja Starr discusso che ciò che è veramente critico nel contesto della sentenza non è solo la recidiva in sé, ma la differenza che una pena detentiva più lunga farà rispetto alla probabilità che un condannato si recidiva. La valutazione algoritmica del rischio può alla fine diventare molto efficace nel prevedere la recidiva, ma che dire di una valutazione del rischio della stessa valutazione del rischio, ovvero il pericolo che una condanna più lunga per un delinquente ad alto rischio possa diventare una profezia che si autoavvera, dato l'ambiente criminogeno di molte prigioni?
C'è anche un valore nell'intelligibilità narrativa nella classifica e nella valutazione degli esseri umani. Le aziende stanno effettuando analisi di marketing per prevedere non solo la probabilità di recidiva criminale, ma anche le possibilità che una determinata persona venga malati di mente , un cattivo dipendente , a studente bocciato , a penale , o a terrorista . Anche se possiamo mettere da parte le preoccupazioni sulla profezia che si autoavverano sollevate sopra, queste valutazioni dovrebbero essere implementate solo con la massima cautela. Un tempo usati per consigliare polizia, DHS, insegnanti o capi, non sono semplici opinioni che circolano in un libero flusso di idee. Piuttosto, possono avere un impatto diretto sui mezzi di sussistenza, sulla libertà e sull'istruzione delle persone. Se non possono essere spiegati in modo narrativamente intelligibile, forse non dovrebbero essere usati affatto senza il consenso diretto della persona che stanno valutando.
Questa opinione potrebbe non essere d'accordo con coloro che vedono l'intelligenza artificiale come il prossimo passo nell'evoluzione umana. Il robotista Hod Lipson in modo memorabile rispetto sforzi per rendere comprensibile agli esseri umani l'elaborazione algoritmica avanzata delle informazioni per spiegare Shakespeare a un cane. Ma questa metafora caricata nasconde più di quanto non riveli. Almeno per ora, gli esseri umani sono responsabili dei governi e possono richiedere spiegazioni per le decisioni nel linguaggio naturale, non nel codice del computer. Non farlo nel contesto criminale rischia di cedere le funzioni intrinsecamente governative e legali a un'élite computazionale irresponsabile.
Franco Pasquale è professore di diritto all'Università del Maryland e autore di La società della scatola nera .