Il riconoscimento facciale in tempo reale sta monitorando i bambini sospettati di essere criminali

Signora Tech | Getty

In un database nazionale in Argentina, decine di migliaia di voci descrivono in dettaglio i nomi, i compleanni e gli ID nazionali di persone sospettate di crimini. Il database, noto come Consulta Nacional de Rebeldías y Capturas (Registro nazionale dei fuggitivi e degli arresti), o CONARC, è iniziato nel 2009 come parte di uno sforzo per migliorare l'applicazione della legge per i crimini gravi.

Ma ci sono diverse cose su CONARC. Per prima cosa, è un foglio di lavoro di testo semplice senza protezione tramite password, che può essere facilmente trovato tramite Ricerca Google e scaricato da chiunque. Inoltre, molti dei presunti crimini, come i piccoli furti, non sono così gravi, mentre altri non sono affatto specificati.

Più allarmante, tuttavia, è l'età del più giovane presunto delinquente, identificato solo come M.G., che viene citato per reati contro le persone (dannosi), lesioni gravi. MG Apparentemente è nato il 17 ottobre 2016, il che significa che ha quattro anni in meno di una settimana.

Ora una nuova indagine da Human Rights Watch ha scoperto che non solo i bambini vengono regolarmente aggiunti a CONARC, ma il database alimenta anche un sistema di riconoscimento facciale in tempo reale a Buenos Aires implementato dal governo della città. Ciò rende il sistema probabilmente il primo caso noto del suo genere utilizzato per dare la caccia ai bambini sospettati di attività criminale.

È completamente oltraggioso, afferma Hye Jung Han, un difensore dei diritti dei bambini di Human Rights Watch, che ha guidato la ricerca.

Buenos Aires ha iniziato a provare il riconoscimento facciale dal vivo il 24 aprile 2019. Implementato senza alcuna consultazione pubblica, il sistema ha suscitato una resistenza immediata. In ottobre, un'organizzazione nazionale per i diritti civili ha intentato una causa per sfidarlo. In risposta, il governo ha redatto un nuovo disegno di legge, ora in fase di elaborazione legislativa, che legalizzerebbe il riconoscimento facciale negli spazi pubblici.

Il sistema è stato progettato per collegarsi a CONARC sin dall'inizio. Sebbene la stessa CONARC non contenga foto dei suoi presunti trasgressori, è combinata con documenti d'identità con foto del registro nazionale. Il software utilizza i colpi alla testa dei sospetti per scansionare le partite in tempo reale tramite le telecamere della metropolitana della città. Una volta che il sistema segnala una persona, avvisa la polizia di effettuare un arresto.

Da allora il sistema ha portato a numerose falso arresti (link in spagnolo), che la polizia non ha stabilito un protocollo per la gestione. Un uomo che è stato erroneamente identificato è stato detenuto per sei giorni e stava per essere trasferito in un carcere di massima sicurezza prima di chiarire finalmente la sua identità. A un altro è stato detto che avrebbe dovuto aspettarsi di essere ripetutamente segnalato in futuro anche se aveva dimostrato di non essere quello che la polizia stava cercando. Per aiutare a risolvere la confusione, gli hanno dato un lasciapassare da mostrare al prossimo ufficiale che potrebbe fermarlo.

Non sembra esserci alcun meccanismo per poter correggere gli errori né nell'algoritmo né nel database, dice Han. Questo è un segnale per noi che ecco un governo che si è procurato una tecnologia che non comprende molto bene in termini di tutte le implicazioni tecniche e sui diritti umani.

Tutto questo è già profondamente preoccupante, ma l'aggiunta di bambini all'equazione rende le cose molto peggiori. Anche se il governo ha negato pubblicamente (link in spagnolo) che CONARC include minori, Human Rights Watch ha trovato almeno 166 bambini elencati in varie versioni del database tra maggio 2017 e maggio 2020. A differenza di MG, la maggior parte di loro è identificata per nome completo, il che è illegale. Secondo il diritto internazionale dei diritti umani, i minori accusati di un reato devono tutelare la loro privacy durante tutto il procedimento.

Inoltre, a differenza di MG, la maggior parte aveva 16 o 17 anni al momento dell'ingresso, anche se, misteriosamente, ci sono stati alcuni bambini di età compresa tra uno e tre anni. Le età non sono gli unici errori evidenti nelle voci dei bambini. Ci sono evidenti errori di battitura, dettagli contrastanti e talvolta più ID nazionali elencati per la stessa persona. Poiché anche i bambini cambiano fisicamente più velocemente degli adulti, i loro documenti d'identità con foto sono più a rischio di essere obsoleti.

Inoltre, i sistemi di riconoscimento facciale, anche in condizioni ideali di laboratorio, sono notoriamente pessimi nel gestire i bambini perché sono addestrati e testati principalmente sugli adulti. Il sistema di Buenos Aires non è diverso. Secondo documenti ufficiali (link in spagnolo), è stato testato solo sui volti adulti dei dipendenti del governo cittadino prima dell'appalto. I precedenti test del governo degli Stati Uniti sull'algoritmo specifico che si ritiene stia utilizzando suggeriscono anche che ha prestazioni peggiori di un fattore sei sui bambini (dai 10 ai 16 anni) rispetto agli adulti (dai 24 ai 40 anni).

Tutti questi fattori mettono i bambini a rischio maggiore di essere identificati erroneamente e falsamente arrestati. Ciò potrebbe creare una fedina penale ingiustificata, con ripercussioni potenzialmente durature per le loro opportunità di istruzione e lavoro. Potrebbe anche avere un impatto sul loro comportamento.

L'argomento secondo cui il riconoscimento facciale produce un effetto agghiacciante sulla libertà di espressione è più amplificato per i bambini, afferma Han. Puoi solo immaginare che un bambino [che è stato arrestato ingiustamente] sarebbe estremamente autocensura o attento a come si comporta in pubblico. Ed è ancora presto per cercare di capire gli impatti psicologici a lungo termine, come potrebbe modellare anche la loro visione del mondo e la loro mentalità.

Sebbene Buenos Aires sia la prima città che Han ha identificato utilizzando il riconoscimento facciale in tempo reale per rintracciare i bambini, è preoccupata che molti altri esempi siano nascosti alla vista. A gennaio, Londra ha annunciato che avrebbe integrato il riconoscimento facciale in tempo reale nelle sue operazioni di polizia. In pochi giorni Mosca disse di sì ha lanciato un sistema simile in tutta la città.

Sebbene non sia ancora noto se questi sistemi stiano cercando attivamente di abbinare i bambini, i bambini sono già colpiti. Nel documentario 2020 Bias codificato , un ragazzo viene falsamente trattenuto dalla polizia di Londra dopo che il riconoscimento facciale dal vivo lo scambia per qualcun altro. Non è chiaro se la polizia stesse davvero cercando un minore o qualcuno più anziano.

Anche coloro che non sono detenuti stanno perdendo il diritto alla privacy, dice Han: Ci sono tutti i bambini che passano davanti a una telecamera abilitata al riconoscimento facciale solo per accedere al sistema della metropolitana.

Spesso è facile dimenticare nei dibattiti su questi sistemi che i bambini necessitano di una considerazione speciale . Ma questo non è l'unico motivo di preoccupazione, aggiunge Han. Il fatto che questi ragazzi sarebbero sotto quel tipo di sorveglianza invasiva: i pieni diritti umani e le implicazioni sociali di questa tecnologia sono ancora sconosciuti. In altre parole: ciò che è male per i bambini è in definitiva un male per tutti.

nascondere