La pandemia sta mettendo alla prova i limiti del riconoscimento facciale

Signora Tech | Pexel

A prima vista, JB, un artista con sede a Los Angeles, forse non assomiglia molto all'immagine sulla loro patente. Per prima cosa, la foto ID è di qualche anno fa. I capelli che una volta erano lunghi e scuri ora sono ronzati e schiariti. E c'è il fatto che JB è transgender e ha assunto testosterone per oltre due anni, il che ha portato a cambiamenti dei lineamenti del viso, sopracciglia più folte e acne che prima non c'erano. (Hanno chiesto di essere identificati solo dalle prime iniziali per motivi di privacy.)

JB ha perso un lavoro al dettaglio part-time quando il blocco ha colpito lo scorso marzo e, come milioni di altri americani, ha tentato di richiedere l'indennità di disoccupazione, senza mai sospettare che il loro aspetto mutevole avrebbe ostacolato. Mesi dopo aver inviato elettronicamente i documenti e aver effettuato più chiamate a una hotline che non andava da nessuna parte, JB è stato finalmente invitato a utilizzare il sistema di riconoscimento facciale della California per verificare la propria identità. Ma anche dopo più tentativi, il sistema non è riuscito a far corrispondere il volto e la foto d'identità di JB, escludendoli dai vantaggi per i quali si qualificavano. Alla fine, JB smise di provare: il processo era troppo frustrante.

Storia correlata

Come queste scuole americane hanno riaperto senza innescare un'epidemia di covid

Le scuole che hanno mantenuto bassi i casi l'anno scorso, nonostante il caos della pandemia, hanno condiviso alcune strategie in comune. Ecco cosa possono insegnarci su come farlo bene.

Le forze dell'ordine e le imprese private hanno utilizzato il riconoscimento facciale per anni, ma l'uso della tecnologia nella distribuzione degli aiuti governativi è cresciuto rapidamente durante la pandemia. Stati e agenzie federali si sono rivolti al riconoscimento facciale come modo automatizzato e senza contatto per verificare l'identità delle persone che chiedono la disoccupazione e altri benefici pubblici.

Esperti e attivisti temono che i fallimenti di questa tecnologia possano impedire alle persone di ottenere i benefici di cui hanno un disperato bisogno e che potrebbe essere ancora più pericoloso se funziona come previsto.

Usando la tua faccia per il banale

La pandemia ha accelerato l'uso di molti strumenti di raccolta di dati biometrici: controlli della temperatura alle porte, telecamere termiche nelle scuole, scansioni facciali negli aeroporti. Quando si tratta di sussidi come la disoccupazione, i governi statali si stanno rivolgendo in particolare al riconoscimento facciale, per verificare l'identità delle persone prima di rilasciare i soldi a cui hanno diritto. La seconda ondata di fondi di stimolo statunitensi, approvata nel dicembre 2020, richiedeva agli stati di verificare le persone che richiedevano l'assistenza alla disoccupazione pandemica, un pool di denaro federale.

Ora 27 stato agenzie di disoccupazione (California tra loro) stanno lavorando con ID.me, una società che offre tecnologia di riconoscimento facciale, afferma il CEO Blake Hall. Anche il Dipartimento del Lavoro degli Stati Uniti ha fornito milioni di finanziamenti agli stati per attuare misure di prevenzione delle frodi, che ha pompato più dollari nel riconoscimento facciale. In questi mesi ci sono stati rapporti in tutto il paese di incidenti in cui i sistemi di disoccupazione non sono riusciti a riconoscere le scansioni del volto dei candidati, mettendo persone come JB in situazioni finanziarie precarie. Il rischio di un'identificazione errata non è equamente distribuito: è stato dimostrato che il riconoscimento facciale è meno accurato persone di colore rispetto ai bianchi, e gli uomini hanno maggiori probabilità di essere identificati con precisione rispetto alle donne, secondo a studio federale pubblicato nel 2019. I risultati sono stati approfonditi in a studia l'anno scorso.

Hall afferma che in un campione di 700 utenti, ID.me non ha trovato una correlazione tra il tono della pelle e la probabilità di fallire il passaggio di corrispondenza uno a uno.

Il software di riconoscimento facciale ha iniziato a diventare più comune anni prima della pandemia e i suoi potenziali difetti sono ben documentati: i giornalisti hanno rivelato come utilizzano i dipartimenti di polizia negli Stati Uniti vasti database di volti nelle indagini, con discutibile accuratezza. Aziende si sono fermati o limitati l'uso della tecnologia tra le prove che non funziona altrettanto bene sulle persone di colore. Anche così, continua a diffondersi: altre agenzie federali Piano sull'espansione del suo utilizzo, mentre viene anche utilizzato ovunque, dai centri commerciali alle sale da concerto. Quello di Macy lo era citato in giudizio l'anno scorso sul suo presunto uso del riconoscimento facciale sui clienti del negozio. Ma gli usi della tecnologia legati alla pandemia per lo screening di cose come l'idoneità ai benefici hanno particolarmente preoccupato i critici.

Ciò che mi tiene sveglio la notte è che con la pandemia che accelera le cose, inizieremo a vedere questo pop apparire ovunque, afferma Evan Greer, direttore di Fight for the Future, un gruppo per i diritti digitali. Sarà nei negozi e avrai la possibilità di pagare con la tua faccia. Sarà normalizzato sul trasporto pubblico. Sarà utilizzato nei colloqui di lavoro.

Storia correlata

In che modo la risposta alla pandemia degli Stati Uniti ha aumentato la disuguaglianza? Guarda i saloni di bellezza di New York.

Mentre molti impiegati sono rimasti a casa per evitare il covid, i dipendenti del salone hanno dovuto affrontare alti tassi di infezione, scelte impossibili per rimanere al sicuro e scarso aiuto del governo.

Sempre di più, viene utilizzato in quello che viene presentato come l'interesse della salute pubblica. Australia di recente ampliato un programma utilizzando il riconoscimento facciale per applicare le precauzioni di sicurezza covid-19. Le persone in quarantena sono soggette a check-in casuali, in cui sono tenuti a inviare un selfie per confermare che stanno seguendo le regole. Vengono raccolti anche dati sulla posizione, secondo Reuters.

Quando si tratta di elementi essenziali come i sussidi di emergenza per pagare l'alloggio e il cibo, la prima priorità dovrebbe essere assicurarsi che tutti possano accedere all'aiuto, afferma Greer. Prevenire le frodi è un obiettivo ragionevole in apparenza, aggiunge, ma l'obiettivo più urgente deve essere quello di fornire alle persone i benefici di cui hanno bisogno.

I sistemi devono essere costruiti tenendo conto dei diritti umani e tenendo conto dei bisogni delle persone vulnerabili sin dall'inizio. Non possono essere ripensamenti, dice Greer. Non possono essere correzioni di bug dopo che è già andato storto.

ID.me's Hall afferma che i servizi della sua azienda sono preferibili ai metodi esistenti di verifica dell'identità e hanno aiutato gli stati a ridurre le massicce frodi contro la disoccupazione da quando hanno implementato i controlli di verifica facciale. Dice che le richieste di disoccupazione hanno un tasso di successo reale di circa il 91%, da sole o tramite una videochiamata con un rappresentante ID.me.

[Quello] era il nostro obiettivo, dice. Se potessimo automatizzare il 91% di questo, gli stati che sono appena sopraffatti in termini di risorse possono utilizzare tali risorse per fornire un servizio di portineria con guanti bianchi al 9%.

Quando gli utenti non sono in grado di completare il processo di riconoscimento facciale, ID.me invia loro un'e-mail per il follow-up, secondo Hall.

Tutto in questa azienda serve ad aiutare le persone ad accedere alle cose per cui sono idonee, dice.

La tecnologia nel mondo reale

I mesi in cui JB è sopravvissuto senza reddito sono stati difficili. La preoccupazione finanziaria è stata sufficiente a causare stress e altri problemi come un computer rotto hanno aggravato l'ansia. Anche il loro ex datore di lavoro non poteva o non voleva aiutare a tagliare la burocrazia.

È molto isolante pensare 'Nessuno mi sta aiutando in nessuna situazione', dice JB.

Da parte del governo, gli esperti affermano che ha senso che la pandemia abbia portato in primo piano la nuova tecnologia, ma casi come quello di JB mostrano che la tecnologia in sé non è la risposta completa. Anne L. Washington, assistente professore di politica dei dati presso la New York University, afferma che si è tentati di considerare una nuova tecnologia governativa un successo quando funziona la maggior parte del tempo durante la fase di ricerca ma fallisce il 5% delle volte nel mondo reale. Paragona il risultato a un gioco di sedie musicali, dove in una stanza di 100 persone, cinque rimarranno sempre senza posto.

Il problema è che i governi ottengono un qualche tipo di tecnologia e funziona il 95% delle volte: pensano che sia risolto, dice. Invece, l'intervento umano diventa più importante che mai. Dice Washington: Hanno bisogno di un sistema per gestire regolarmente le cinque persone che stanno in piedi.

C'è un ulteriore livello di rischio quando è coinvolta una società privata. Il problema più grande che sorge nel lancio di un nuovo tipo di tecnologia è dove vengono conservati i dati, afferma Washington. Senza un entità fidata che ha il dovere legale di proteggere le informazioni delle persone, i dati sensibili potrebbero finire nelle mani di altri. Come ci sentiremmo, ad esempio, se il governo federale avesse affidato a una società privata i nostri numeri di previdenza sociale quando sono stati creati?

Il problema è che i governi ottengono un qualche tipo di tecnologia e funziona il 95% delle volte, pensano che sia risolto

Anne L. Washington, Università di New York

L'uso diffuso e incontrollato degli strumenti di riconoscimento facciale ha anche il potenziale per influenzare i gruppi già emarginati più di altri. Le persone transgender, ad esempio, avere dettagliato , problemi frequenti con strumenti come Google Foto, che potrebbero mettere in dubbio se le foto prima e dopo la transizione mostrano la stessa persona. Significa fare i conti con il software più e più volte.

[C'è] imprecisione nella capacità della tecnologia di riflettere l'ampiezza della diversità reale e dei casi limite che ci sono nel mondo reale, afferma Daly Barnett, un tecnologo presso la Electronic Frontier Foundation. Non possiamo fare affidamento su di loro per classificare, calcolare e riflettere con precisione quei bellissimi casi limite.

Peggio del fallimento

Le conversazioni sul riconoscimento facciale in genere discutono su come la tecnologia potrebbe fallire o discriminare. Ma Barnett incoraggia le persone a pensare oltre se gli strumenti biometrici funzionano o meno, o se si manifestano pregiudizi nella tecnologia. Respinge l'idea che abbiamo bisogno di loro. In effetti, avvertono attivisti come Greer, gli strumenti potrebbero essere ancora più pericolosi quando funzionano perfettamente. Il riconoscimento facciale è già stato utilizzato per identificare, punire o soffocare i manifestanti, anche se le persone stanno reagendo. A Hong Kong, i manifestanti indossavano maschere e occhiali nascondere il loro volto s da tale sorveglianza di polizia. Negli Stati Uniti, i pubblici ministeri federali accuse cadute contro un manifestante identificato tramite riconoscimento facciale che era stato accusato di aver aggredito agenti di polizia.

Storia correlata

I numeri ufficiali sui disoccupati sono terrificanti. La situazione reale è anche peggiore. I numeri record di disoccupazione suggeriscono solo la crisi che stanno affrontando molti senza lavoro.

Penso che sia comprensibile che ci stiamo concentrando su questi difetti e pregiudizi, perché questa tecnologia viene utilizzata in questo momento, dice Greer. Ma quando prendi una tecnologia... e la sovrapponi a una società che è profondamente ingiusta, anche se la tecnologia stessa è 'neutrale' o non ha alcun tipo di pregiudizio incorporato, avrà l'effetto di automatizzare ed esacerbando tale discriminazione.

Fight for the Future e EFF supportano entrambi i divieti all'uso da parte del governo di strumenti di riconoscimento facciale. E Barnett afferma che anche quando viene utilizzata la tecnologia, le agenzie governative non dovrebbero fare affidamento su un unico sistema come gatekeeper per l'accesso, soprattutto per ottenere alle persone gli elementi essenziali di cui hanno bisogno per sopravvivere.

Non è molto difficile immaginare come, anche se ora sono ben intenzionate, [queste tecnologie] possono essere usate come armi contro le persone per vari scopi in seguito, dice.

Per le persone emarginate, tuttavia, le spazzole con il riconoscimento facciale stanno già causando problemi. Più di un anno dopo che JB ha presentato domanda per la prima volta per la disoccupazione, i dettagli dell'arduo processo sono ancora impressi nella loro memoria. Quando la richiesta originale è scaduta questa primavera, è stato un sollievo. Avevano recentemente ottenuto un nuovo lavoro e le cose finalmente sono tornate sulla buona strada.

Era come se avessi finalmente rimesso insieme la mia vita, dicono. Sono davvero felice di non avere a che fare con quel sistema. E spero davvero di non dover mai più avere a che fare con quel sistema.

Questa storia fa parte del Pandemic Technology Project, supportato dalla Rockefeller Foundation.

nascondere