Cosa succede quando un algoritmo sbaglia

Nella prima di una serie in quattro parti su FaceID, la conduttrice Jennifer Strong esplora il falso arresto di Robert Williams da parte della polizia a Detroit. La cosa strana del calvario di Willliams non era che la polizia usava il riconoscimento facciale per identificarlo, ma che glielo avevano detto i poliziotti. Non c'è nessuna legge che dice che debbano farlo. L'episodio inizia a svelare le complessità di questa tecnologia e introduce alcune spinose domande sul suo utilizzo.

Ci incontriamo:

• Robert e Melissa Williams
• Peter Fussey, Università dell'Essex
• Hamid Khan, ferma la coalizione di spionaggio della polizia di Los Angeles

Crediti:

Questo episodio è stato segnalato e prodotto da Jennifer Strong, Tate Ryan-Mosley ed Emma Cillekens. Abbiamo avuto l'aiuto di Karen Hao e Benji Rosen. Siamo a cura di Michael Reilly e Gideon Lichfield. Il nostro direttore tecnico è Jacob Gorski. Un ringraziamento speciale a Kyle Thomas Hemingway e Eric Mongeon.

Trascrizione Completa dell'Episodio:

Robert Williams: Sono rimasto completamente scioccato e sbalordito all'idea di essere arrestato in pieno giorno, davanti a mia figlia, davanti a mia moglie, davanti ai miei vicini. È stata una delle cose più scioccanti che mi sia mai capitata.

Jennifer Forte: Quello è Robert Williams. Sta descrivendo cosa è successo fuori dalla sua casa in un ricco sobborgo di Detroit chiamato Farmington Hills a gennaio.

Jennifer Forte: La giornata è iniziata come tutte le altre.

Robert Williams: È stato solo un giovedì noioso.

Jennifer Forte: Si alzò, andò a lavorare. Ma poi le cose sono diventate strane.

Robert Williams: Al telefono con Melissa verso le 4.

Jennifer Forte: Melissa è sua moglie. Sono nel bel mezzo di una chiamata quando sente l'altra linea.

Robert Williams: clicco sopra. Sono tipo, 'Ciao?'

'Roberto?'

E io sono tipo, 'Chi è questo?'

'Devi venire giù e costituirti.'

'Chi è questo?'

'Ufficiale qualcuno del terzo distretto.'

'E ho bisogno di costituirmi per cosa?'

Quindi era tipo, 'Non posso dirtelo.'

E io sono tipo, 'Allora, non posso scendere.'

«Be', se scendi sarebbe molto più facile per te. Non vuoi che veniamo al tuo lavoro, vero?'

A questo punto, penso che sia uno scherzo telefonico.

Quindi, io sono tipo, 'Senti, amico, se mi vuoi, vieni a prendermi. sarò a casa. Porta un mandato.' E lo riaggancio.

Jennifer Forte: Melissa è a casa ad aspettare sua madre e sua figlia, e va a salutarle quando arrivano.

Melissa Williams: E mentre stavo attraversando, ho guardato fuori e l'auto della polizia era fuori.

E io ho detto: 'Oh, quindi non è stato uno scherzo. Ci sono davvero persone qui.'

E vennero alla porta.

Ho risposto.

E hanno messo il piede nella porta e hanno detto: 'Manda fuori Robert'.

E io ho detto: 'Non è qui.'

E loro hanno detto: 'L'abbiamo appena visto uscire da quel furgone'.

E io ho detto: 'Quella era mia madre. Lui non è qui.'

Jennifer Forte: Chiaramente, qualcosa è molto sbagliato, ma non sanno cosa sia.

Robert Williams: Dev'esserci un'identità sbagliata o qualcosa del genere. Non so perché la polizia di Detroit è a casa mia.

Jennifer Forte: Si scopre che erano lì perché il software di riconoscimento facciale aveva erroneamente abbinato la foto della sua patente al filmato della telecamera di sicurezza di una persona che ruba orologi.

Robert Williams: Mi fermo qui nel vialetto, mi fermo al mio posto normale, esco. Quando ho chiuso la portiera, l'auto era nel vialetto e mi bloccava l'ingresso. E hanno parcheggiato da questa parte, dall'altra parte del mio vialetto come se dovessi tornare indietro o qualcosa del genere e provare a decollare.

Melissa Williams: Non appena chiuse la porta, gli furono addosso.

Ed ero ancora qui perché avevo le ragazze, e stavano già iniziando ad ammanettarlo quando siamo usciti.

Jennifer Forte: Ha detto a sua figlia di tornare dentro, che la polizia stava commettendo un errore e che sarebbe tornato subito. Ma non era tornato subito.

La polizia lo ha preso in custodia e ha trascorso la notte in prigione. Non aveva ancora idea di cosa stesse succedendo. Ed era arrabbiato.

Ma dice, in quanto uomo di colore, ha dovuto considerare cosa sarebbe potuto succedere se avesse lasciato quello spettacolo. Quindi è rimasto calmo e ha aspettato.

La mattina dopo, gli agenti gli hanno mostrato alcune foto di un uomo che rubava orologi. Solo che quelle foto non erano di lui. Erano qualcun altro.

Robert Williams: 'Quindi non sei tu?'

Ho guardato. Ho detto: 'No, non sono io.'

Gira un altro foglio. Dice: 'Immagino che non sei neanche tu?

Raccolsi quel foglio e lo tengo vicino alla mia faccia. E io ho detto: 'Questo non sono io.'

Ero tipo, 'Spero che non pensiate tutti i neri si somigliano.'

E poi dice: 'Il computer dice che sei tu'.

Se avesse portato con sé la foto, avrebbe potuto guardarla dall'alto in basso, e sarebbe potuto andarsene e dire, oh mio male. Non volevo disturbarti.

Jennifer Forte : La cosa insolita di questa storia non è che l'identificazione facciale sia stata usata per trovare un sospetto. La cosa insolita è che a Robert Williams è stato detto, perché la polizia non è tenuta a rivelarlo. Il riconoscimento facciale non è regolamentato. Non come viene utilizzato dalle forze dell'ordine. Non come viene utilizzato dai datori di lavoro.

Sono Jennifer Forte. E questo è l'episodio uno di una nuova serie che esplora cosa succede quando tutto ciò che ci circonda viene automatizzato. Diamo il via alle cose con uno sguardo in quattro parti al riconoscimento facciale e alla polizia. Incontreremo persone che costruiscono questa tecnologia, lottano contro di essa e cercano di regolare il modo in cui viene utilizzata.

Jennifer Forte: Pensare in questo modo. Il riconoscimento facciale viene utilizzato come motore di ricerca per i criminali. E la tua faccia è il termine di ricerca.

Entro il 2016, si credeva che i volti di metà di tutti gli adulti statunitensi fossero archiviati all'interno dei sistemi utilizzati dalla polizia per nominare i sospetti. Alcuni la chiamano la formazione perpetua, ma la nazione potrebbe essere a un punto di svolta, sia nel suo rapporto con la polizia, sia con questa tecnologia. A giugno, i giganti della tecnologia Amazon e Microsoft hanno sospeso la vendita dei loro prodotti di identificazione facciale alle forze dell'ordine. IBM ha smesso di venderlo del tutto. Quindi, New York City ha approvato un disegno di legge che prevede la supervisione di tutte le tecnologie di sorveglianza, nonostante l'opposizione del NYPD. E dopo che l'arresto ingiusto di Robert Williams è venuto alla luce, la polizia di Detroit ha affermato che utilizzerà l'identificazione facciale solo per indagare su crimini violenti. E lo faranno con le foto perché è più probabile che producano una corrispondenza accurata. Ma basta?

Peter Fussey: OK, quindi al momento siamo a East London, in un posto chiamato Stratford.

Jennifer Forte: Ho fatto una passeggiata con Peter Fussey a febbraio prima della pandemia.

Peter Fussey: Che è stata storicamente un'area di molte privazioni, che ha avuto un enorme investimento appena prima delle Olimpiadi del 2012, che si sono svolte qui.

Jennifer Forte: È un luogo in cui la polizia di Londra testa le telecamere che abbinano i volti alle identità in tempo reale. Fai parte di una squadra che lavora su una strategia di sorveglianza nazionale. È giusto?

Peter Fussey: Quindi siamo parte di un progetto di ricerca. Esaminiamo separatamente la tecnologia emergente e le implicazioni sui diritti umani. Collaboro anche con l'autorità di regolamentazione delle telecamere di sorveglianza nel Regno Unito e dirigo parte della sua strategia sui diritti umani.

Jennifer Forte: Ha studiato sorveglianza tecnologica per più di 20 anni.

Pietro Fussey : Ho iniziato a guardare la televisione a circuito chiuso, le telecamere a circuito chiuso. Sono molto familiari per strada, CCTV. Sono sempre stato sorpreso da quanto poco le persone sembrino preoccupate per questo. Sarei, sai, fare una strana argomentazione sul perché dovremmo regolamentare. Ed è stato in gran parte accolto con indifferenza. E il riconoscimento facciale sembra molto diverso. Ha catturato l'immaginazione del pubblico. È nei media su base giornaliera.

giornalista: Bene, la tua faccia può dire alle persone molto di più di quanto potresti pensare. In un nuovo mondo di tecnologia di riconoscimento facciale, ogni tua mossa può essere monitorata.

giornalista: Questi acquirenti non lo sanno, ma un computer sta scansionando i loro volti, confrontando i loro lineamenti con quelli di noti taccheggiatori.

Uomo intervistato: È orribile. È un'invasione della privacy.

Donna intervistata: Questa tecnologia viene installata senza alcuna supervisione e responsabilità pubblica.

Seconda donna intervistata: Siamo stati costretti a scattare la nostra foto per ottenere le nostre chiavi.

giornalista: Anche la pop star Taylor Swift ha implementato segretamente la tecnologia per sradicare gli stalker.

Jennifer Forte: Ma mentre la protesta pubblica ha portato alcuni luoghi a vietare la tecnologia, comprese le città hub tecnologici come San Francisco e Cambridge, nel Massachusetts, dove ha sede il MIT, la polizia di Londra ne ha testato una versione altamente aggressiva in 10 diversi spazi pubblici.

Peter Fussey: Quello che vedi nel Regno Unito è il riconoscimento facciale in tempo reale, il che significa che esiste un database di individui a cui la polizia è interessata. Quindi, mentre il pubblico passa davanti alla telecamera, ciascuna di queste persone viene scansionata e quindi confrontata con quel database. Qui, stai attuando la sorveglianza prima, sai, di qualsiasi reato.

Jennifer Forte: Una cosa è che un dipartimento di polizia mostri la foto di qualcuno per cercare di identificarlo in un sistema. Ed è qualcosa di molto diverso che l'identificazione dal vivo avvenga in tempo reale.

Peter Fussey: Sì, è esattamente così. E penso che sia una parte davvero importante del dibattito che spesso si perde.

L'altra differenza è che le telecamere CCTV esistenti, o la sorveglianza umana analogica a bassa tecnologia, non implicano l'acquisizione, l'elaborazione, la manutenzione e la gestione dei dati biometrici, che è una categoria speciale di dati ed è universalmente vista come un'attività invadente. la pratica.

Jennifer Forte: E quella speciale categoria di dati deve essere ordinata e archiviata in modo sicuro. E come sottolinea, nessun essere umano può elaborare il volume che viene catturato da questi sistemi.

Peter Fussey: Ciò solleva alcune serie domande su quanto sia proporzionato, per esempio. Quanto è necessario scansionare biometricamente decine di migliaia di persone solo perché sei interessato a parlare con qualcuno. Ora, se è un noto assassino a piede libero, o l'esempio che viene sempre fornito, sai, un attacco terroristico che sta per accadere, allora è diverso. Puoi fare un argomento di necessità e proporzionalità molto più forte su questo, ma meno se è solo qualcuno a cui sei interessato a parlare di un incidente di comportamento antisociale o qualcosa del genere.

Jennifer Forte: Bene, l'altra domanda, quando dici che gli esseri umani non possono elaborare quelle informazioni, ma non è nemmeno chiaro se la tecnologia possa ancora farlo. Cosa succede se vieni identificato erroneamente?

Peter Fussey: Se la telecamera dice che sei un sospetto, sei qualcuno nella loro lista di controllo, quante volte sappiamo che è corretto? Nella nostra ricerca, abbiamo scoperto che era corretto otto volte su 42. Quindi, in sei giorni interi, seduti nei furgoni della polizia, otto volte.

Jennifer Forte: Ha fatto l'unica revisione indipendente di questi studi e ha scoperto che era accurato meno del 20% delle volte.

Peter Fussey: Può funzionare brillantemente in condizioni di laboratorio. Ma, sai, fuori, come nell'ambiente in cui ci troviamo ora, la luce sta svanendo, è luce invernale. Gran parte del quadro dell'intelligence per molti reati è legato all'economia notturna. Quindi il riconoscimento facciale funziona meno bene in condizioni di scarsa illuminazione e tutti i tipi di problemi a questo proposito.

Jennifer Forte: È anche meno efficace su diversi dati demografici.

Peter Fussey: Quindi, non solo etnia o razza etnica, ma anche genere. E questo poi si ripiega in un'intera questione sui diritti e l'età dei transgender. I volti dei bambini, ad esempio, trasmettono meno informazioni di un volto di qualcuno sulla quarantina come me. Perché questo è importante è che se la polizia sta usando una tecnologia, che non è così efficace per diversi gruppi, quindi, a meno che non sia consapevole di tali limitazioni, e a meno che non possa in qualche modo mitigarli, allora è impossibile dire che stia impiegando un tecnologia compatibile con i diritti umani.

Jennifer Forte: Come si allineano i diritti umani e una strategia di sorveglianza?

Peter Fussey: Spesso pensiamo a cose come la sicurezza come opposte ai diritti umani.

Quello che, ovviamente, la prima responsabilità degli stati ai sensi della dichiarazione delle Nazioni Unite sui diritti umani è che gli stati provvedano alla sicurezza e alla protezione dei propri cittadini. Quindi, c'è spesso questa inquadratura tra libertà e sicurezza, che io e i miei colleghi troveremmo piuttosto inutile. Sai, puoi avere entrambi e non puoi avere nessuno dei due.

Jennifer Forte: Ci dirigiamo verso un altro punto che vuole mostrarmi.

Peter Fussey: Proprio alla fine di questo ponte, puoi vedere un palo con sopra alcune telecamere. Se stavi camminando lungo questo ponte verso quelle telecamere, arriveresti a un punto in cui c'era un cartello che diceva che il riconoscimento facciale era in funzione. Ora, se volessi continuare il tuo viaggio, dovresti passare davanti a quelle telecamere. Tuttavia, la polizia diceva che si trattava di un processo. Quindi, se non volevi far parte di quel processo, dovevi voltarti. E per arrivare allo stesso punto oltre quelle telecamere ci vorrebbe una deviazione di circa 20 minuti.

Jennifer Forte: OK, quindi questa parte è davvero importante.

Peter Fussey: Qui, non c'è un vero consenso significativo. Se revochi il consenso perché non vuoi essere sulla telecamera, allora dovresti essere in grado di revocare il consenso senza penalità. Altrimenti non è consenso.

Jennifer Forte: Qualcos'altro. Quando cammini per strada, sei consapevole delle volte in cui passi da un marciapiede pubblico al cemento di proprietà di un'azienda? Sapevi che i tuoi diritti alla privacy potrebbero essere diversi in pochi passaggi?

Peter Fussey: Quindi qui, dove ci troviamo, fuori dal centro commerciale Westfield, c'è uno spazio privato. Ma sentiamo che è pubblico. C'è un sacco di gente qui intorno. Ha il senso di uno spazio pubblico. Quello che succede, però, è che se cammini per 30 metri alla nostra sinistra, sei in un'area pubblica e tutte le telecamere sono di proprietà delle autorità pubbliche. E se cammini per 30 metri alla nostra destra, sono di proprietà di società private.

Jennifer Forte: E quello sopra la tua testa?

Peter Fussey: Quale? Quella? Quindi sì, questo è di proprietà di una società privata.

Jennifer Forte: La differenza torna a un punto semplice. I gruppi pubblici rispondono al pubblico.

Face ID funziona mappando l'insieme unico di misurazioni tra i tuoi lineamenti, come la distanza tra i tuoi occhi, la lunghezza del tuo naso e la curvatura delle tue labbra. I primi sistemi furono inventati negli anni '60. Ma per decenni, la tecnologia non è stata molto utile. Quindi, all'inizio degli anni 2000, le forze dell'ordine locali in Florida hanno creato un programma di riconoscimento facciale in tutto lo stato. Un decennio dopo, Facebook ha inventato un nuovo modo per iniziare a riconoscere e codificare automaticamente le persone nelle foto, migliorando rapidamente il riconoscimento facciale a quello che abbiamo oggi. Ora è ampiamente utilizzato negli aeroporti e dalla polizia, ma c'è poca trasparenza su quali sistemi vengono utilizzati o come.

Hamid Khan: Gli algoritmi non hanno posto nella polizia. Penso che sia fondamentale capirlo perché ci sono vite in gioco.

Jennifer Forte: Hamid Khan è un attivista che lotta contro l'uso della sorveglianza e molti altri strumenti tecnologici utilizzati dalla polizia di Los Angeles.

Hamid Khan: Ogni volta che la sorveglianza viene legittimata, può essere ampliata nel tempo ed è stata storicamente utilizzata per tracciare, tracciare, monitorare e perseguitare comunità particolari,

Comunità povere, comunità nere e marroni, comunità che sarebbero considerate sospette, queer, trans. È un processo di controllo sociale.

Jennifer Forte: Khan ha creato la Stop LAPD Spying Coalition, un gruppo che descrive come ferocemente abolizionista.

Non pensa che restringere il modo in cui la polizia usa l'identificazione facciale funzionerà. E così, durante quello che potrebbe essere meglio descritto come uno tsunami di adozione, con il dibattito principalmente incentrato sulle migliori pratiche, il suo obiettivo è quello di bandire queste tecnologie. Ed ha avuto successo. Diversi programmi di polizia dei dati e di polizia predittiva a Los Angeles sono terminati dopo la pressione pubblica e legale del suo gruppo. Per Khan, parte di come siamo arrivati ​​a questo momento è cambiare il modo in cui definiamo e controlliamo le attività sospette,

Hamid Khan: La definizione è che si tratta di comportamenti osservati ragionevolmente indicativi della pianificazione pre-operativa di attività criminali e/o terroristiche. Quindi, stai osservando il comportamento di qualcuno, non un fatto, ma la preoccupazione che una persona possa pensare di fare qualcosa di sbagliato, giusto? Quindi, ora stiamo entrando nel merito, la polizia speculativa e basata su ipotesi è reale.

Jennifer Forte: Quello che sappiamo, grazie alla ricerca accademica e governativa, è che il riconoscimento facciale funziona meglio sugli uomini bianchi.

Gioia Buolamwini : Ciao fotocamera. Ho una faccia. Riesci a vedere la mia faccia? Nessun viso con gli occhiali? Puoi vedere...

Jennifer Forte: Questa è la ricercatrice del MIT, Joy Buolamwini, che tiene un discorso TED.

Gioia Buolamwini: Allora cosa sta succedendo? Perché il mio viso non viene rilevato? Bene, dobbiamo guardare a come diamo la visuale alle macchine. Quindi, come funziona, crei un set di allenamento con esempi di volti. Questa è una faccia, questa è una faccia, questa non è una faccia. E col tempo puoi insegnare a un computer come riconoscere altri volti.

Jennifer Forte: Tuttavia, se i set di allenamento non sono davvero così diversi, qualsiasi volto che devia troppo dalla norma stabilita sarà più difficile da rilevare, ed è quello che stava succedendo a me.

Nel 2018, ha condotto uno studio rivoluzionario che mostra che i sistemi commerciali di riconoscimento facciale non sono riusciti ripetutamente a classificare le donne di carnagione scura.

Un anno dopo, un importante rapporto sull'identificazione dei volti di un'agenzia federale chiamata NIST, o National Institute of Standards and Technology, ha rilevato che alcuni algoritmi di identificazione dei volti avevano una probabilità fino a cento volte maggiore di corrispondere erroneamente alle foto di persone di colore. Ma anche se questi sistemi possono essere progettati per raggiungere una precisione perfetta, possono essere utilizzati in modi pericolosi. E questi problemi vanno più a fondo dei semplici dati distorti e della matematica imperfetta.

Hamid Khan: La tecnologia non funziona da sola. Dal design, alla produzione, all'implementazione, c'è costantemente un pregiudizio integrato. E non sono solo i pregiudizi delle persone stesse. Questa è solo una parte. È il pregiudizio intrinseco all'interno del sistema.

Jennifer Forte: Nel prossimo episodio, sarebbe sorprendente che le tue foto, comprese alcune che forse non hai mai visto, vengano utilizzate dalle aziende per costruire sistemi di riconoscimento facciale?

Hoan Ton-That: Su Twitter, ti ricordi questa foto?

Jennifer Forte: No. Non sapevo che fosse stata scattata e io, sembravo molto...

Hoan Ton-That: Fate. Sembravi molto serio in quello.

Jennifer Forte: Nella seconda parte, incontriamo il fondatore di una delle aziende più controverse che lavorano in questo spazio, l'amministratore delegato di Clearview AI, Hoan Ton-That.

Hoan Ton-That: Quando stavamo sviluppando la nostra tecnologia di riconoscimento facciale, abbiamo esplorato molte idee diverse in molti settori diversi, dalla sicurezza privata all'ospitalità. Quando l'abbiamo dato ad alcune persone nelle forze dell'ordine, l'aumento è stato enorme. E ci hanno richiamato il giorno dopo e hanno detto che stiamo risolvendo i casi. Questo è pazzesco. In una settimana abbiamo avuto un opuscolo davvero fitto.

Jennifer Forte: Questo episodio è stato segnalato e prodotto da me, Tate Ryan-Mosley ed Emma Cillekens. Abbiamo avuto l'aiuto di Karen Hao e Benji Rosen. Siamo a cura di Michael Riley e Gideon Lichfield. Il nostro direttore tecnico è Jacob Gorski. Un ringraziamento speciale a Kyle Thomas Hemingway, Eric Mongeon e all'ACLU per aver condiviso le loro registrazioni di Robert Williams.

Jennifer Forte: Grazie per aver ascoltato. Sono Jennifer Forte.

nascondere