La lotta di due anni per impedire ad Amazon di vendere il riconoscimento facciale alla polizia

Signora Tech | Getty

Nell'estate del 2018, quasi 70 organizzazioni per i diritti civili e di ricerca ha scritto una lettera a Jeff Bezos chiedendo che Amazon smetta di fornire tecnologia di riconoscimento facciale ai governi. Come parte di una maggiore attenzione al ruolo che le aziende tecnologiche stavano svolgendo consentendo il monitoraggio e l'espulsione degli immigrati da parte del governo degli Stati Uniti , ha invitato Amazon a difendere i diritti civili e le libertà civili. Come pubblicizzato, Rekognition è un potente sistema di sorveglianza prontamente disponibile per violare i diritti e prendere di mira le comunità di colore.

Insieme alla lettera, l'American Civil Liberties Union (ACLU) di Washington ha consegnato oltre 150.000 firme di petizione e un'altra lettera degli azionisti della società esprimere richieste simili. Pochi giorni dopo, i dipendenti di Amazon hanno fatto eco alle preoccupazioni una nota interna .

Nonostante la crescente pressione, Amazon ha continuato a lavorare come al solito. Ha spinto Rekognition come strumento per monitorare le persone di interesse e raddoppiato sulla fornitura di altre tecnologie di sorveglianza ai governi. La filiale dell'azienda, Ring, ad esempio, acquisita solo pochi mesi prima, ha rapidamente stretto partnership con più di 1.300 forze dell'ordine utilizzare i filmati delle sue telecamere di sicurezza domestica nelle indagini penali.

Ma mercoledì 10 giugno, Amazon ha scioccato attivisti e ricercatori per i diritti civili quando ha annunciato che avrebbe imposto una moratoria di un anno sull'uso da parte della polizia di Rekognition. La mossa è seguita La decisione di IBM di interrompere il suo sistema di riconoscimento facciale per uso generale. Il giorno successivo, Microsoft lo ha annunciato smetterebbe di vendere il suo sistema ai dipartimenti di polizia fino a quando la legge federale non regolerà la tecnologia. Sebbene Amazon abbia fatto la più piccola concessione delle tre società, è anche il più grande fornitore di tecnologia alle forze dell'ordine. La decisione è il culmine di due anni di ricerca e pressioni esterne per dimostrare i difetti tecnici di Rekognition e il suo potenziale abuso.

È incredibile che Amazon stia effettivamente rispondendo a questa attuale conversazione sul razzismo, ha affermato Deborah Raji, una ricercatrice sulla responsabilità dell'IA che è coautrice uno studio fondamentale sui pregiudizi e le imprecisioni razziali incorporati nella tecnologia dell'azienda. Parla solo del potere di questo momento attuale.

Un anno è un inizio, afferma Kade Crockford, direttore del programma Technology Liberty presso l'ACLU del Massachusetts. È assolutamente un'ammissione da parte dell'azienda, almeno implicitamente, che ciò che i difensori della giustizia razziale hanno detto loro per due anni è corretto: la tecnologia di sorveglianza facciale mette in pericolo i neri e i marroni negli Stati Uniti. È un'ammissione notevole.

Due anni di lavoro

Nel febbraio del 2018, la ricercatrice del MIT Joy Buolamwini e Timnit Gebru, allora ricercatrice Microsoft, hanno pubblicato uno studio innovativo chiamato Gender Shades sul genere e sui pregiudizi razziali incorporati nei sistemi commerciali di riconoscimento facciale. All'epoca, lo studio includeva i sistemi venduti da Microsoft, IBM e Megvii, uno dei maggiori fornitori cinesi di riconoscimento facciale. Non comprendeva Recognition di Amazon.

Tuttavia, è stato il primo studio di questo tipo e i risultati sono stati scioccanti: il sistema peggiore, quello di IBM, è stato di 34,4 punti percentuali peggio nella classificazione del genere per le donne di carnagione scura rispetto agli uomini di carnagione chiara. I risultati hanno immediatamente smentito le affermazioni sull'accuratezza che le aziende avevano utilizzato per vendere i loro prodotti e hanno acceso un dibattito sul riconoscimento facciale in generale.

Mentre il dibattito infuriava, divenne presto evidente che il problema era anche più profondo di dati di addestramento distorti o algoritmi imperfetti. Anche se i sistemi raggiungessero una precisione del 100%, potrebbero comunque essere utilizzati in modi pericolosi, hanno avvertito molti ricercatori e attivisti.

Un fermo immagine dal video poema di Joy Buolamwini 'AI, Ain't I A Woman?' mostrando alcuni degli errori eclatanti commessi da Recognition.

PER CONCESSIONE DELLA LEGA DI GIUSTIZIA ALGORITMICA

Ci sono due modi in cui questa tecnologia può ferire le persone, afferma Raji che ha lavorato con Buolamwini e Gebru su Gender Shades. Un modo è non funzionare: in virtù del fatto di avere tassi di errore più elevati per le persone di colore, le mette a rischio maggiore. La seconda situazione è quando fa lavoro, dove hai il sistema di riconoscimento facciale perfetto, ma è facilmente armabile contro le comunità per molestarle. È una conversazione separata e connessa.

Il lavoro di Gender Shades è stato quello di esporre la prima situazione, dice. In tal modo, ha creato un'apertura per esporre il secondo.

Amazon ha cercato di screditare la loro ricerca; ha cercato di indebolirli come donne nere che hanno condotto questa ricerca.

Meredith Whittaker

Questo è quello che è successo con IBM. Dopo la pubblicazione di Gender Shades, IBM è stata una delle prime aziende a contattare i ricercatori per capire come risolvere i suoi problemi di bias. Nel gennaio del 2019 ha rilasciato un set di dati chiamato Diversità nei volti , contenente oltre 1 milione di immagini di volti annotati, nel tentativo di migliorare tali sistemi. Ma la mossa fallito dopo che le persone hanno scoperto che le immagini sono state raschiate da Flickr, sollevando problemi di consenso e privacy. Ha innescato un'altra serie di discussioni interne su come addestrare eticamente il riconoscimento facciale. Li ha condotti nella tana del coniglio di scoprire la moltitudine di problemi che esistono con questa tecnologia, dice Raji.

Quindi, alla fine, non è stata una sorpresa quando l'azienda ha finalmente staccato la spina. (Critici indicare che il suo sistema non aveva comunque un punto d'appoggio nel mercato.) IBM si è semplicemente resa conto che i 'benefici' non erano in alcun modo proporzionali al danno, afferma Raji. E in questo momento particolare, era il momento giusto per loro di parlarne pubblicamente.

Ma mentre IBM ha reagito al feedback esterno, Amazon ha avuto la reazione opposta. Nel giugno del 2018, in mezzo a tutte le altre lettere che chiedevano alla compagnia di fermare l'uso da parte della polizia di Rekognition, Raji e Buolamwini ha ampliato l'audit sulle sfumature di genere per comprenderne le prestazioni. I risultati, pubblicati sei mesi dopo in a documento sottoposto a revisione paritaria , ancora una volta ha riscontrato enormi imprecisioni tecniche. Recognition classificava il sesso delle donne di carnagione scura 31,4 punti percentuali in meno rispetto a quello degli uomini di carnagione chiara.

A luglio anche l'ACLU della California del Nord condotto il proprio studio , scoprendo che il sistema corrispondeva falsamente alle foto di 28 membri del Congresso degli Stati Uniti con foto segnaletiche. I falsi fiammiferi erano sproporzionatamente persone di colore.

Invece di riconoscere i risultati, tuttavia, Amazon ne ha pubblicati due Blog messaggi sostenendo che il lavoro di Raji e Buolamwini fosse fuorviante. In risposta, quasi 80 ricercatori di intelligenza artificiale , tra cui il vincitore del Premio Turing Yoshua Bengio, ha difeso il lavoro e ancora una volta ha chiesto all'azienda di interrompere la vendita di riconoscimento facciale alla polizia.

Fu un'esperienza così emozionante all'epoca, ricorda Raji. Avevamo fatto tanta due diligence rispetto ai nostri risultati. E poi la risposta iniziale è stata così direttamente conflittuale e aggressivamente difensiva.

Amazon ha cercato di screditare la loro ricerca; ha cercato di indebolirli come donne nere che hanno condotto questa ricerca, afferma Meredith Whittaker, cofondatrice e direttrice dell'AI Now Institute, che studia gli impatti sociali dell'IA. Ha cercato di creare una narrazione sul fatto che si fossero sbagliati, che chiunque avesse capito chiaramente la tecnologia avrebbe saputo che non era un problema.

La mossa ha davvero messo Amazon in pericolo politico.

Mutale Nkonde

In effetti, mentre respingeva pubblicamente lo studio, Amazon stava iniziando a investire nella ricerca di soluzioni dietro le quinte. Ha assunto un responsabile dell'equità, in cui ha investito un assegno di ricerca NSF per mitigare i problemi e alcuni mesi dopo ha rilasciato una nuova versione di Rekognition, rispondendo direttamente alle preoccupazioni dello studio, afferma Raji. Allo stesso tempo, esso respingere gli sforzi degli azionisti sospendere le vendite della tecnologia e condurre una valutazione indipendente dei diritti umani. Anche speso milioni fare pressioni sul Congresso per evitare la regolamentazione.

Ma poi tutto è cambiato. Il 25 maggio 2020, l'agente Derek Chauvin ha ucciso George Floyd, facendo scintille un movimento storico negli Stati Uniti per combattere il razzismo istituzionale e porre fine alla brutalità della polizia. In risposta, si sono presentati i Democratici alla Camera e al Senato un disegno di legge di riforma della polizia che include una proposta per limitare il riconoscimento facciale in un contesto di applicazione della legge, segnando il più grande sforzo federale mai realizzato per regolamentare la tecnologia. Quando IBM ha annunciato che avrebbe interrotto il suo sistema di riconoscimento facciale, ha anche inviato una lettera al Congressional Black Caucus, sollecitando un dialogo nazionale su se e come la tecnologia di riconoscimento facciale dovrebbe essere impiegata dalle forze dell'ordine nazionali.

Penso che la decisione di IBM di inviare quella lettera, nel momento in cui lo stesso organo legislativo sta valutando un disegno di legge di riforma della polizia, abbia davvero cambiato il panorama, afferma Mutale Nkonde, consulente per le politiche di intelligenza artificiale e ricercatore presso il Berkman Klein Center di Harvard. Anche se non erano un grande attore nel riconoscimento facciale, la mossa ha davvero messo Amazon in pericolo politico. Ha stabilito un chiaro collegamento tra la tecnologia e la conversazione nazionale in corso, in un modo che era difficile da ignorare per le autorità di regolamentazione.

Un cauto ottimismo

Ma mentre attivisti e ricercatori vedono la concessione di Amazon come una grande vittoria, riconoscono anche che la guerra non è finita. Per prima cosa, l'annuncio di 102 parole di Amazon era vago sui dettagli sul fatto che la sua moratoria avrebbe incluso le forze dell'ordine oltre alla polizia, come l'Immigrazione e le forze dell'ordine degli Stati Uniti o il Dipartimento per la sicurezza interna. (Amazon non ha risposto a una richiesta di commento.) Per un altro, anche la scadenza di un anno è una bandiera rossa.

La parte cinica di me dice che Amazon aspetterà fino a quando le proteste si placheranno, finché la conversazione nazionale non si sposterà su qualcos'altro, per tornare alla sua posizione precedente, afferma Crockford dell'ACLU. Osserveremo da vicino per assicurarci che queste società non ricevano effettivamente una buona stampa per questi recenti annunci mentre lavoreranno contemporaneamente dietro le quinte per contrastare i nostri sforzi nelle legislature.

Questo è il motivo per cui attivisti e ricercatori ritengono anche che la regolamentazione giocherà un ruolo fondamentale in futuro. La lezione qui non è che le aziende dovrebbero autogovernarsi, dice Whittaker. La lezione è che abbiamo bisogno di più pressione e che abbiamo bisogno di regolamenti che garantiscano che non stiamo solo guardando a un divieto di un anno.

La parte cinica di me dice che Amazon aspetterà fino a quando le proteste si placheranno... per tornare alla sua posizione precedente.

Kade Crockford

I critici affermano che le disposizioni sul riconoscimento facciale nell'attuale disegno di legge di riforma della polizia, che ne vieta solo l'uso in tempo reale nelle fotocamere del corpo, non sono abbastanza ampie da ritenere i giganti della tecnologia pienamente responsabili. Ma Nkonde è ottimista: vede questa prima serie di raccomandazioni come un seme per un'ulteriore regolamentazione a venire. Una volta passati in legge, diventeranno un importante punto di riferimento per altri disegni di legge scritti per vietare il riconoscimento facciale in altre applicazioni e contesti.

C'è davvero un movimento legislativo più ampio sia a livello federale che locale, dice. E i riflettori che la morte di Floyd ha acceso sulle pratiche di polizia razziste ha accelerato il suo diffuso sostegno.

Non ci sarebbero voluti davvero gli omicidi da parte della polizia di George Floyd, Breonna Taylor e troppi altri neri - e centinaia di migliaia di persone che scendono in strada in tutto il paese - perché queste società si rendessero conto che le richieste da parte di neri e le organizzazioni e gli studiosi guidati dai marroni, dell'ACLU e di molti altri gruppi erano moralmente corretti, dice Crockford. Ma eccoci qua. Meglio tardi che mai.

nascondere