L'eliminazione di set di dati non etici non è abbastanza buona

Signora Tech | Pixabay

Nel 2016, sperando di stimolare i progressi nel riconoscimento facciale, Microsoft ha rilasciato il più grande database di volti al mondo. Chiamato MS-Celeb-1M, conteneva 10 milioni di immagini di 100.000 volti di celebrità. La celebrità era definita vagamente, però.

Tre anni dopo, i ricercatori Adam Harvey e Jules LaPlace perlustrato il set di dati e ha trovato molte persone comuni, come giornalisti, artisti, attivisti e accademici, che mantengono una presenza online per tutta la loro vita professionale. Nessuno aveva dato il consenso a essere incluso, eppure i loro volti avevano trovato la loro strada nel database e oltre; la ricerca che utilizza la raccolta di volti è stata condotta da aziende tra cui Facebook, IBM, Baidu e SenseTime, uno dei più grandi colossi cinesi del riconoscimento facciale, che vende la sua tecnologia alla polizia cinese.

Poco dopo l'indagine di Harvey e LaPlace e dopo aver ricevuto critiche da parte dei giornalisti , Microsoft ha rimosso il set di dati, affermando semplicemente: la sfida della ricerca è finita. Ma i problemi di privacy che ha creato indugiano in una terra per sempre di Internet. E questo caso non è certo l'unico.

Raschiare il web alla ricerca di immagini e testo una volta era considerata una strategia inventiva per la raccolta di dati del mondo reale. Ora leggi come il GDPR (il regolamento europeo sulla protezione dei dati) e la crescente preoccupazione del pubblico per la privacy e la sorveglianza dei dati hanno reso la pratica legalmente rischiosa e sconveniente. Di conseguenza, i ricercatori di IA hanno sempre più ritirato i set di dati che hanno creato in questo modo.

Ma un nuovo studio mostra che ciò ha fatto ben poco per impedire la proliferazione e l'utilizzo dei dati problematici. Gli autori hanno selezionato tre dei set di dati più comunemente citati contenenti volti o persone, due dei quali erano stati ritrattati; hanno tracciato i modi in cui ciascuno era stato copiato, utilizzato e riproposto in quasi 1.000 documenti.

Nel caso di MS-Celeb-1M, le copie esistono ancora su siti di terze parti e in set di dati derivati ​​costruiti sull'originale. Anche i modelli open source pre-addestrati sui dati rimangono prontamente disponibili. Il set di dati e i suoi derivati ​​sono stati citati anche in centinaia di articoli pubblicati tra sei e 18 mesi dopo la ritrattazione.

DukeMTMC, un set di dati contenente immagini di persone che camminano nel campus della Duke University e ritirato nello stesso mese di MS-Celeb-1M, persiste in modo simile in set di dati derivati ​​e centinaia di citazioni cartacee.

L'elenco dei luoghi in cui i dati indugiano è più ampio di quanto avremmo pensato inizialmente, afferma Kenny Peng, al secondo anno a Princeton e coautore dello studio. E anche questo, dice, è probabilmente una sottostima, perché le citazioni nei documenti di ricerca non sempre spiegano i modi in cui i dati potrebbero essere utilizzati commercialmente.

Impazzito

Parte del problema, secondo il documento di Princeton, è che coloro che mettono insieme set di dati perdono rapidamente il controllo delle loro creazioni.

I set di dati rilasciati per uno scopo possono essere rapidamente cooptati per altri che non erano mai stati pensati o immaginati dai creatori originali. MS-Celeb-1M, ad esempio, aveva lo scopo di migliorare il riconoscimento facciale delle celebrità, ma da allora è stato utilizzato per il riconoscimento facciale più generale e l'analisi delle caratteristiche facciali, hanno scoperto gli autori. È stato anche rietichettato o rielaborato in set di dati derivati ​​come Racial Faces in the Wild, che raggruppa le sue immagini per razza, aprendo la porta ad applicazioni controverse.

Storia correlata

È così che abbiamo perso il controllo dei nostri volti

Il più grande studio mai condotto sui dati del riconoscimento facciale mostra quanto l'aumento del deep learning abbia alimentato una perdita di privacy.

L'analisi dei ricercatori suggerisce anche che Labeled Faces in the Wild (LFW), un set di dati introdotto nel 2007 e il primo a utilizzare immagini del viso raschiate da internet , si è trasformato più volte in quasi 15 anni di utilizzo. Mentre è iniziato come risorsa per la valutazione di modelli di riconoscimento facciale solo per la ricerca, ora viene utilizzato quasi esclusivamente per valutare i sistemi destinati all'uso nel mondo reale. Ciò nonostante un'etichetta di avvertimento sul sito Web del set di dati mette in guardia contro tale uso.

Più recentemente, il set di dati è stato riproposto in un derivato chiamato SMFRD, che ha aggiunto maschere per il viso a ciascuna delle immagini per far avanzare il riconoscimento facciale durante la pandemia. Gli autori osservano che ciò potrebbe sollevare nuove sfide etiche. I sostenitori della privacy hanno criticato tali applicazioni per alimentare la sorveglianza, ad esempio, e soprattutto per consentire l'identificazione da parte del governo di manifestanti mascherati.

Questo è un documento davvero importante, perché gli occhi delle persone non sono stati generalmente aperti alle complessità e ai potenziali danni e rischi dei set di dati, afferma Margaret Mitchell, ricercatrice di etica dell'IA e leader nelle pratiche di dati responsabili, che non è stata coinvolta in lo studio.

Per molto tempo, la cultura all'interno della comunità dell'IA è stata quella di presumere che i dati esistessero per essere utilizzati, aggiunge. Questo documento mostra come ciò può portare a problemi su tutta la linea. È davvero importante pensare ai vari valori che codifica un set di dati, nonché ai valori che codifica un set di dati disponibile, afferma.

Una soluzione

Gli autori dello studio forniscono diverse raccomandazioni per il futuro della comunità dell'IA. In primo luogo, i creatori dovrebbero comunicare in modo più chiaro l'uso previsto dei loro set di dati, sia attraverso licenze che attraverso una documentazione dettagliata. Dovrebbero anche porre limiti più rigorosi all'accesso ai propri dati, magari richiedendo ai ricercatori di firmare termini di accordo o chiedendo loro di compilare una domanda, soprattutto se intendono costruire un set di dati derivati.

In secondo luogo, le conferenze di ricerca dovrebbero stabilire norme su come i dati dovrebbero essere raccolti, etichettati e utilizzati e dovrebbero creare incentivi per la creazione responsabile di set di dati. NeurIPS, la più grande conferenza di ricerca sull'IA, include già una lista di controllo delle migliori pratiche e linee guida etiche.

Mitchell suggerisce di andare ancora oltre. Nell'ambito di il progetto Big Science , una collaborazione tra ricercatori di intelligenza artificiale per sviluppare un modello di intelligenza artificiale in grado di analizzare e generare il linguaggio naturale secondo un rigoroso standard etico, ha sperimentato l'idea di creare organizzazioni di gestione dei set di dati, team di persone che non solo gestiscono la cura, la manutenzione, e l'uso dei dati, ma collaborano anche con avvocati, attivisti e il pubblico in generale per assicurarsi che siano conformi agli standard legali, siano raccolti solo con il consenso e possono essere rimossi se qualcuno sceglie di ritirare le informazioni personali. Tali organizzazioni di gestione non sarebbero necessarie per tutti i set di dati, ma sicuramente per i dati raschiati che potrebbero contenere informazioni biometriche o di identificazione personale o proprietà intellettuale.

La raccolta e il monitoraggio dei set di dati non è un'attività una tantum per una o due persone, afferma. Se lo fai in modo responsabile, si scompone in un sacco di compiti diversi che richiedono un pensiero profondo, una profonda esperienza e una varietà di persone diverse.

Negli ultimi anni, il campo si è spostato sempre più verso la convinzione che set di dati più attentamente curati sarà la chiave per superare molte delle sfide tecniche ed etiche del settore. Ora è chiaro che la costruzione di set di dati più responsabili non è abbastanza. Coloro che lavorano nell'IA devono anche impegnarsi a lungo termine per mantenerli e utilizzarli eticamente.

nascondere