Il lavaggio della partecipazione potrebbe essere la prossima moda pericolosa nell'apprendimento automatico

Signora Tech | Getty, Unsplash

La comunità dell'IA si sta finalmente rendendo conto del fatto che l'apprendimento automatico può causare danni sproporzionati a gruppi già oppressi e svantaggiati. abbiamo attivisti e organizzatori ringraziare per questo. Ora, ricercatori e studiosi dell'apprendimento automatico stanno cercando modi per rendere l'IA più equa, responsabile e trasparente, ma anche, recentemente, più partecipativa.

Uno degli eventi più emozionanti e frequentati del Conferenza internazionale sull'apprendimento automatico a luglio è stato chiamato Approcci partecipativi all'apprendimento automatico . Questo seminario ha attinto all'aspirazione della comunità di costruire sistemi algoritmici più democratici, cooperativi ed equi incorporando metodi partecipativi nella loro progettazione. Tali metodi portano coloro che interagiscono e sono interessati da un sistema algoritmico nel processo di progettazione, ad esempio chiedendo a infermieri e medici di aiutare a sviluppare un strumento di rilevamento della sepsi .

Si tratta di un intervento tanto necessario nel campo del machine learning, che può essere eccessivamente gerarchico e omogeneo. Ma non è un proiettile d'argento: infatti, il lavaggio della partecipazione potrebbe diventare la prossima moda pericolosa del campo. Questo è ciò che sostengo io, insieme ai miei coautori Emanuel Moss, Olaitan Awomolo e Laura Forlano nel nostro recente articolo La partecipazione non è una correzione di progettazione per l'apprendimento automatico .

Ignorare i modelli di oppressione e privilegio sistemici porta a sistemi di apprendimento automatico irresponsabili che sono profondamente opachi e ingiusti. Questi modelli hanno permeato il campo negli ultimi 30 anni. Nel frattempo, il mondo ha assistito alla crescita esponenziale della disuguaglianza di ricchezza e del cambiamento climatico guidato dai combustibili fossili. Questi problemi sono radicati in una dinamica chiave del capitalismo: l'estrazione. Anche la partecipazione si basa spesso sulla stessa logica estrattiva, soprattutto quando si tratta di machine learning.

La partecipazione non è gratuita

Cominciamo con questa osservazione: la partecipazione è già una parte importante del machine learning, ma in modi problematici. Un modo è la partecipazione come lavoro.

Indipendentemente dal fatto che il loro lavoro sia riconosciuto o meno, molti partecipanti svolgono un ruolo importante nella produzione di dati che vengono utilizzati per addestrare e valutare i modelli di apprendimento automatico. Le foto che qualcuno ha scattato e pubblicato vengono eliminate dal Web e i lavoratori a basso salario su piattaforme come Amazon Mechanical Turk annotano quelle foto per trasformarle in dati di formazione. Anche gli utenti ordinari del sito Web eseguono questa annotazione quando completano un reCAPTCHA. E ci sono molti esempi di ciò che è noto come lavoro fantasma —Il termine dell'antropologa Mary Gray per tutto il lavoro dietro le quinte che serve per far funzionare sistemi apparentemente automatizzati. Gran parte di questa partecipazione non è adeguatamente compensata e in molti casi non viene nemmeno riconosciuta.

La partecipazione come consultazione, nel frattempo, è una tendenza vista in campi come il design urbano e, sempre più, anche nell'apprendimento automatico. Ma l'efficacia di questo approccio è limitata. È generalmente di breve durata, senza un piano per stabilire partnership significative a lungo termine. Le preoccupazioni relative alla proprietà intellettuale rendono difficile esaminare veramente questi strumenti. Di conseguenza, questa forma di partecipazione è troppo spesso meramente performativa.

Storia correlata

I problemi che l'IA ha oggi risalgono a secoli fa La discriminazione algoritmica e il lavoro fantasma non sono apparsi per caso. Comprendere la loro lunga e preoccupante storia è il primo passo per risolverli.

Più promettente è l'idea della partecipazione come giustizia . Qui, tutti i membri del processo di progettazione lavorano insieme in relazioni strettamente accoppiate con comunicazioni frequenti. La partecipazione come giustizia è un impegno a lungo termine che si concentra sulla progettazione di prodotti guidati da persone di diversa estrazione e comunità, inclusa la comunità dei disabili, che da tempo gioca un ruolo ruolo di primo piano qui. Questo concetto ha un'importanza sociale e politica, ma le strutture del mercato capitalista lo rendono quasi impossibile da implementare bene.

L'apprendimento automatico estende le priorità più ampie del settore tecnologico, incentrate su scala ed estrazione. Ciò significa che l'apprendimento automatico partecipativo è, per ora, un ossimoro. Per impostazione predefinita, la maggior parte dei sistemi di apprendimento automatico ha la capacità di sorvegliare, opprimere e costringere (incluso nel posto di lavoro ). Questi sistemi hanno anche modi per produrre il consenso, ad esempio richiedendo agli utenti di aderire ai sistemi di sorveglianza per utilizzare determinate tecnologie o implementando impostazioni predefinite che li dissuadano dall'esercitare il loro diritto alla privacy.

Detto questo, non sorprende che l'apprendimento automatico non tenga conto delle dinamiche di alimentazione esistenti e adotti un approccio estrattivo alla collaborazione. Se non stiamo attenti, l'apprendimento automatico partecipativo potrebbe seguire il percorso dell'etica dell'IA e diventare solo un'altra moda passeggera usata per legittimare in giustizia.

Un modo migliore

Come possiamo evitare questi pericoli? Non esiste una risposta semplice. Ma ecco quattro suggerimenti:

Riconosci la partecipazione come lavoro. Molte persone usano già i sistemi di apprendimento automatico durante la loro giornata. Gran parte di questo lavoro mantiene e migliora questi sistemi ed è quindi prezioso per i proprietari dei sistemi. Per riconoscere ciò, a tutti gli utenti dovrebbe essere chiesto il consenso e dovrebbero essere fornite le modalità per rinunciare a qualsiasi sistema. Se hanno scelto di partecipare, dovrebbe essere offerto loro un compenso. Ciò potrebbe significare chiarire quando e come i dati generati dal comportamento di un utente verranno utilizzati a fini di formazione (ad esempio tramite un banner in Google Maps o una notifica di opt-in). Significherebbe anche fornire un supporto adeguato per moderatori dei contenuti , compensando equamente i lavoratori fantasma e sviluppando sistemi di ricompensa monetari o non monetari per compensare gli utenti per i loro dati e lavoro.

Rendi specifico il contesto di partecipazione . Piuttosto che cercare di utilizzare un approccio valido per tutti, i tecnologi devono essere consapevoli dei contesti specifici in cui operano. Ad esempio, quando si progetta un sistema per prevedere la violenza tra i giovani e le bande , i tecnologi dovrebbero rivalutare continuamente i modi in cui si basano sull'esperienza vissuta e sull'esperienza nel settore e collaborare con le persone per cui progettano. Ciò è particolarmente importante poiché il contesto di un progetto cambia nel tempo. Documentare anche piccoli cambiamenti nel processo e nel contesto può formare una base di conoscenze per una partecipazione efficace a lungo termine. Ad esempio, nella progettazione di un sistema di apprendimento automatico per l'assistenza clinica dovrebbero essere consultati solo i medici o dovrebbero essere inclusi anche infermieri e pazienti? Rendere chiaro il motivo e il modo in cui alcune comunità sono state coinvolte rende tali decisioni e relazioni trasparenti, responsabili e perseguibili.

Pianificare una partecipazione a lungo termine fin dall'inizio. È più probabile che le persone rimangano coinvolte nei processi nel tempo se sono in grado di condividere e acquisire conoscenze, invece di vederle estratte da loro. Questo può essere difficile da ottenere nell'apprendimento automatico, in particolare per i casi di progettazione proprietaria. In questo caso, vale la pena riconoscere le tensioni che complicano la partecipazione a lungo termine all'apprendimento automatico e riconoscere che la cooperazione e la giustizia non si adattano senza attriti. Questi valori richiedono un mantenimento costante e devono essere articolati più e più volte in nuovi contesti.

Impara dagli errori del passato. Si possono fare più danni replicando i modi di pensare che originariamente hanno prodotto una tecnologia dannosa. Noi ricercatori dobbiamo migliorare la nostra capacità di pensiero laterale attraverso applicazioni e professioni. Per facilitare ciò, la comunità dell'apprendimento automatico e del design potrebbe sviluppare un database ricercabile per evidenziare i fallimenti della partecipazione al design (come Progetto sul lungomare di Sidewalk Labs a Toronto ). Questi fallimenti potrebbero essere incrociati con concetti socio-strutturali (come questioni relative alla disuguaglianza razziale). Questo database dovrebbe coprire progetti di design in tutti i settori e domini, non solo quelli nell'apprendimento automatico, e riconoscere esplicitamente assenze e valori anomali. Questi casi limite sono spesso quelli da cui possiamo imparare di più.

È emozionante vedere la comunità di apprendimento automatico abbracciare questioni di giustizia ed equità. Ma le risposte non dovrebbero basarsi solo sulla partecipazione. Il desiderio di una pallottola d'argento ha afflitto la comunità tecnologica per troppo tempo. È tempo di abbracciare la complessità che deriva dalla sfida alla logica capitalista estrattiva dell'apprendimento automatico.

Mona Sloane è un sociologo con sede alla New York University. Lavora sulla disuguaglianza di progettazione nel contesto della progettazione e della politica dell'IA.

nascondere