L'IA ha esacerbato i pregiudizi razziali negli alloggi. Potrebbe invece aiutare ad eliminarlo?

Una discussione sul fatto che le macchine possano mai essere più giuste degli esseri umani. Di

• Charlton McIlwain pagina di archivio

20 ottobre 2020

Andrea Daquino

Il nostro prossimo numero della rivista è dedicato ai problemi a lungo termine. Pochi problemi sono a lungo termine o più intrattabili della disuguaglianza razziale sistemica americana. E una sua forma particolarmente radicata è la discriminazione abitativa.

Una lunga storia di politiche da parte di banche, compagnie assicurative e agenti immobiliari ha negato alle persone di colore una giusta possibilità di proprietà della casa, concentrato ricchezza e proprietà nelle mani dei bianchi e delle comunità e ha perpetuato la segregazione de facto. Sebbene queste politiche, con nomi come redlining, blockbuster, zonizzazione razziale, patti restrittivi e governo razziale, non siano più legali, le loro conseguenze persistono e talvolta sono ancora praticate di nascosto o inavvertitamente.

Questa storia faceva parte del nostro numero di novembre 2020

• Vedi il resto del problema
• sottoscrivi

La tecnologia ha in alcuni casi esacerbato il pregiudizio razziale sistemico dell'America. Ad esempio, è stato dimostrato che il riconoscimento facciale basato su algoritmi, la polizia predittiva e le decisioni di condanna e cauzione producono risultati peggiori per i neri. Anche per quanto riguarda le abitazioni, una recente ricerca dell'Università della California, a Berkeley, ha mostrato che un sistema di prestito ipotecario basato sull'intelligenza artificiale addebitava ai mutuatari neri e ispanici tassi più elevati rispetto ai bianchi per gli stessi prestiti.

La tecnologia potrebbe invece essere utilizzata per aiutare a mitigare il pregiudizio negli alloggi? Abbiamo riunito alcuni esperti per discutere le possibilità. Sono:

Lisa Riso

Presidente e CEO della National Fair Housing Alliance, il più grande consorzio di organizzazioni dedicate alla fine della discriminazione abitativa.

Bobby Bartlett

Professore di diritto alla UC Berkeley che ha condotto la ricerca fornendo alcune delle prime prove su larga scala di come l'intelligenza artificiale crea discriminazione nei prestiti ipotecari.

Charlton McIlwain

Professore di media, cultura e comunicazione alla New York University e autore di Black Software: Internet e giustizia razziale, da Afronet a Black Lives Matter .

---

Questa discussione è stata modificata e condensata per chiarezza.

McIlwain: Quando ho testimoniato davanti al Congresso lo scorso dicembre sull'impatto dell'automazione e dell'intelligenza artificiale nel settore dei servizi finanziari, ho citato un recente studio che ha rilevato che, a differenza degli agenti di prestito umano, i sistemi automatizzati di prestito ipotecario approvavano in modo equo i prestiti per la casa, senza discriminazioni in base alla razza. Tuttavia, i sistemi automatizzati addebitano ancora ai mutuatari neri e ispanici prezzi significativamente più alti per quei prestiti.

Questo mi rende scettico sul fatto che l'IA possa o farà meglio degli umani. Bobby, questo era il tuo studio. Hai tratto le stesse conclusioni?

Bartlett: Abbiamo avuto accesso a un set di dati che ci ha permesso di identificare il prestatore registrato e se tale prestatore utilizzasse un sistema totalmente automatizzato, senza alcun intervento umano, almeno in termini di approvazione e sottoscrizione. Avevamo informazioni sulla razza e l'etnia del mutuatario registrato e siamo stati in grado di identificare se il prezzo dei prestiti approvati differiva o meno in base alla razza. In effetti, lo ha fatto, di circa $ 800 milioni all'anno.

Perché è il caso che questi algoritmi, che sono ciechi alla razza o all'etnia del mutuatario, discriminano in questo modo? La nostra ipotesi di lavoro è che gli algoritmi spesso cercano semplicemente di massimizzare il prezzo. Presumibilmente, chiunque stia progettando l'algoritmo non è a conoscenza delle conseguenze razziali di questa concentrazione univoca sulla redditività. Ma hanno bisogno di capire che c'è questa dinamica razziale, che le variabili proxy che stanno usando, con ogni probabilità, è lì che sta la discriminazione. In un certo senso, c'è effettivamente una redlining del tipo più rosso che passa attraverso il codice. Assomiglia a ciò che accade generalmente nel mercato dei mutui. Sappiamo che i broker citeranno prezzi più alti per i mutuatari di minoranza, sapendo che alcuni lo respingeranno, ma altri saranno più propensi ad accettarlo per tutta una serie di ragioni.

McIlwain: Ho una teoria secondo cui uno dei motivi per cui finiamo con sistemi distorti, anche quando sono stati costruiti per essere meno discriminatori, è perché le persone che li progettano non capiscono davvero la complessità alla base del problema. Mi sembra che ci sia una certa ingenuità nel pensare che un sistema sarebbe privo di pregiudizi solo perché è cieco di razza.

Riso: Sai, Charlton, avevamo la stessa prospettiva che avevi tu negli anni '90 e nei primi anni 2000. Abbiamo vietato alle istituzioni finanziarie di utilizzare sistemi di punteggio assicurativo, tariffazione basata sul rischio o sistema di punteggio del credito, proprio per questo scopo. Ci siamo resi conto che i sistemi stessi stavano manifestando pregiudizi. Ma poi abbiamo iniziato a dire che puoi usarli solo se aiutano le persone, ampliano l'accesso o generano prezzi più equi.

McIlwain: Le persone che progettano questi sistemi sbagliano perché davvero non capiscono fondamentalmente il problema alla base della discriminazione abitativa? E la tua fonte di ottimismo deriva dal fatto che tu e le organizzazioni come la vostra capite questa complessità?

Riso: Siamo un'organizzazione per i diritti civili. Questo è quello che siamo. Facciamo tutto il nostro lavoro attraverso un obiettivo di equità razziale. Siamo un'organizzazione antirazzista.

Nel corso della risoluzione dei casi di redlining e reverse redlining, abbiamo incoraggiato le istituzioni finanziarie e le agenzie assicurative a ripensare i loro modelli di business, a ripensare al modo in cui commercializzavano, a ripensare le loro linee guida di sottoscrizione, a ripensare i prodotti che stavano sviluppando. E penso che il motivo per cui siamo stati in grado di farlo è perché siamo un'agenzia per i diritti civili.

Storia correlata

Naturalmente la tecnologia perpetua il razzismo. È stato progettato in questo modo. I neri americani hanno visto la tecnologia usata per prenderli di mira ancora e ancora. Fermarlo significa guardare il problema in modo diverso.

Iniziamo aiutando le aziende a comprendere la storia dell'edilizia abitativa e della finanza negli Stati Uniti e come tutte le nostre politiche abitative e finanziarie sono state esatte attraverso una lente razziale. Non puoi iniziare da zero in termini di sviluppo di un sistema e pensare che il sistema sarà equo. Devi svilupparlo in un modo che utilizzi tecnologie e metodologie antirazziste.

McIlwain: Possiamo ancora realisticamente intaccare questo problema utilizzando gli strumenti tecnologici a nostra disposizione? Se sì, da dove iniziamo?

Riso: Sì, una volta che la crisi finanziaria del 2008 è passata un po' e abbiamo alzato lo sguardo, è stato come se la tecnologia ci avesse sopraffatti. E così abbiamo deciso, forse se non riusciamo a batterlo, forse ci uniamo. Quindi abbiamo passato molto tempo a cercare di imparare come funzionano i sistemi basati su algoritmi, come funziona l'IA, e siamo effettivamente arrivati ​​al punto in cui pensiamo di poter ora utilizzare la tecnologia per ridurre i risultati discriminatori.

Se comprendiamo come questi sistemi manifestano pregiudizi, possiamo entrare nelle viscere, si spera, e quindi de-biasizzare quei sistemi e costruire nuovi sistemi che infondono le tecniche di de-biasing al loro interno.

Non abbiamo davvero agenzie di regolamentazione che capiscano come condurre un esame di un istituto di credito per scoprire se il suo sistema è o meno parziale.

Ma quando pensi a quanto siamo indietro rispetto alla curva, è davvero scoraggiante pensare a tutto il lavoro che deve essere fatto, a tutta la ricerca che deve essere fatta. Abbiamo bisogno di più Bobby del mondo. Ma anche tutta la formazione necessaria affinché i data scientist comprendano questi problemi.

Riso: Stiamo cercando di convincere le autorità di regolamentazione a capire come i sistemi manifestano pregiudizi. Sai, non abbiamo davvero un corpo di esaminatori presso le agenzie di regolamentazione che capiscano come condurre un esame di un istituto di credito per scoprire se il suo sistema - il suo sistema di sottoscrizione automatizzato, il suo sistema di marketing, il suo sistema di assistenza - sia o meno parziale. Ma le istituzioni stesse sviluppano le proprie politiche organizzative che possono aiutare.

L'altra cosa che dobbiamo fare è davvero aumentare la diversità nello spazio tecnologico. Dobbiamo portare più studenti di varia estrazione nei campi STEM e nello spazio tecnologico per aiutare ad attuare il cambiamento. Mi vengono in mente una serie di esempi in cui il solo fatto di avere una persona di colore nel team ha fatto una profonda differenza in termini di aumento dell'equità della tecnologia che veniva sviluppata.

McIlwain: Che ruolo gioca la politica? Ho la sensazione che, allo stesso modo in cui le organizzazioni per i diritti civili erano dietro l'industria in termini di comprensione di come funzionano i sistemi algoritmici, molti dei nostri politici sono dietro la curva. Non so quanta fiducia riporrei nella loro capacità di fungere realisticamente da un controllo efficace sul sistema, o sui nuovi sistemi di intelligenza artificiale che si stanno rapidamente facendo strada nell'arena dei mutui.

McIlwain: Rimango scettico. Per ora, per me, l'entità del problema supera ancora di gran lunga sia la nostra volontà umana collettiva che le capacità della nostra tecnologia. Bobby, pensi che la tecnologia possa mai aiutare
questo problema?

Bartlett: Devo rispondere che con l'avvocato Dipende. Quello che vediamo, almeno nel contesto del prestito, è che puoi eliminare la fonte di pregiudizi e discriminazioni che hai osservato con le interazioni faccia a faccia attraverso una sorta di processo decisionale algoritmico. Il rovescio della medaglia è che se implementato in modo improprio, potresti finire con un apparato decisionale che è pessimo come un regime redlining. Quindi dipende davvero dall'esecuzione, dal tipo di tecnologia e dalla cura con cui viene implementata. Ma un regime di prestito equo reso operativo attraverso un processo decisionale automatizzato? Penso che sia una proposta davvero impegnativa. E penso che la giuria sia ancora fuori.

nascondere