C'è un modo semplice per rendere più equo il prestito per le donne. Il problema è che è illegale.

Punteggi di credito sovrapposti a simboli maschili e femminili.

Punteggi di credito sovrapposti a simboli maschili e femminili. Disegno Selman





All'inizio di questa settimana, il Dipartimento dei servizi finanziari di New York ha avviato un'indagine su Goldman Sachs per potenziale discriminazione del credito in base al genere. L'indagine è arrivata dopo che l'imprenditore web David Heinemeier Hansson ha twittato che la Apple Card, gestita da Goldman, gli aveva concesso un limite di credito 20 volte quello esteso a sua moglie, sebbene i due avessero presentato dichiarazioni dei redditi congiunte e lei avesse il punteggio di credito migliore.

In risposta, Goldman ha pubblicato una dichiarazione in cui affermava di non considerare il genere nel determinare l'affidabilità creditizia. La logica doveva probabilmente essere una difesa: come puoi discriminare le donne quando non sai nemmeno che qualcuno è una donna? Ma in effetti, non tenere conto del genere è proprio il problema. La ricerca sull'equità algoritmica ha precedentemente dimostrato che considerare il genere aiuta davvero mitigare discriminazione di genere. Ironia della sorte, però, farlo negli Stati Uniti è illegale.



Ora i risultati preliminari di uno studio in corso finanziato dalla Fondazione delle Nazioni Unite e dalla Banca Mondiale stanno ancora una volta sfidando l'equità del prestito di credito gender-blind. Lo studio ha rilevato che la creazione di modelli di solvibilità completamente separati per uomini e donne ha concesso più credito alla maggior parte delle donne.

Quindi: la legge va aggiornata?

Il sessismo dell'essere ciechi rispetto al genere

Se non vuoi discriminare per genere, perché non rimuovere semplicemente il genere dall'equazione? Questa era la premessa del Legge sulle pari opportunità di credito (ECOA), emanato negli Stati Uniti nel 1974, in un periodo in cui alle donne veniva regolarmente negato il credito. Ha reso illegale per qualsiasi creditore discriminare in base al sesso o considerare il sesso nella valutazione dell'affidabilità creditizia. (Nel 1976 è stato aggiornato per vietare la discriminazione per razza, origine nazionale e altre caratteristiche protette dal governo federale.)



Ma nell'apprendimento automatico, il problema può essere la cecità di genere. Anche quando il sesso non è specificato, può essere facilmente dedotto da altre variabili che hanno una forte correlazione con esso. Di conseguenza, i modelli formati su dati storici spogliati del genere amplificano ancora le disuguaglianze passate. Lo stesso vale per la razza e altre caratteristiche. Questo è probabilmente quello che è successo nel caso della Apple Card: poiché alle donne veniva storicamente concesso meno credito, l'algoritmo ha imparato a perpetuare quel modello.

In uno studio del 2018 , una collaborazione tra informatici ed economisti ha scoperto che il modo migliore per mitigare questi problemi era in effetti reintrodurre nel modello caratteristiche come il genere e la razza. Ciò consente un maggiore controllo per misurare e invertire eventuali pregiudizi manifestati, con conseguente maggiore equità nel complesso.

Prestito differenziato per genere

L'ultimo studio sta testando una nuova ipotesi: modelli separati per uomini e donne ridurrebbero ulteriormente i pregiudizi di genere? In un evento ospitato martedì dalla Fondazione delle Nazioni Unite, Sean Higgins, un assistente professore alla Northwestern University e ricercatore dello studio, ha presentato risultati preliminari che suggeriscono che lo farebbero.



In collaborazione con una banca commerciale della Repubblica Dominicana, i ricercatori hanno condotto due analisi separate su 20.000 individui a basso reddito, la metà delle quali donne. Nella prima analisi, i ricercatori hanno utilizzato le storie di rimborso del prestito e il sesso degli individui per addestrare un unico modello di apprendimento automatico per prevedere l'affidabilità creditizia. Nella seconda analisi, i ricercatori hanno addestrato un modello con solo i dati di rimborso del prestito delle donne. Hanno scoperto che il 93% delle donne ha ottenuto più credito in questo modello rispetto a quello in cui uomini e donne erano mescolati insieme.

Ciò accade, afferma Higgins, perché donne e uomini hanno storie di credito diverse e comportamenti di rimborso del prestito diversi, sia per motivi storici, culturali o di altro tipo. Le donne, ad esempio, hanno maggiori probabilità di rimborsare i loro prestiti, dice. Ma queste differenze non vengono prese in considerazione nel modello combinato, che impara a prevedere l'affidabilità creditizia sulla base delle medie tra donne e uomini. Di conseguenza, tali modelli sottovalutano la probabilità che le donne ripaghino i loro prestiti e finiscono per concedere loro meno credito di quanto meritino.

Mentre Higgins e i suoi collaboratori hanno testato questa ipotesi specificamente per le donne a basso reddito nella Repubblica Dominicana, i risultati qualitativi dovrebbero valere indipendentemente dal contesto. Dovrebbero applicarsi anche a caratteristiche diverse dal genere e in ambiti diversi dalla finanza.



Cosa fare con la legge

Il problema è che questo tipo di modello single-genere è illegale. La domanda è se i responsabili politici debbano quindi aggiornare l'ECOA.

Higgins è favorevole. La recente ricerca sull'equità algoritmica ha raggiunto una conclusione abbastanza chiara che dovremmo usare cose come razza e genere negli algoritmi, dice. Se le banche non hanno accesso a queste variabili e non possono nemmeno costruire i controlli di sicurezza per assicurarsi che i loro algoritmi non siano distorti, l'unico modo per scoprire questi pregiudizi è quando le persone twittano sulle disparità che stai incontrando in natura.

Ma Andrew Selbst, un assistente professore di diritto all'UCLA specializzato nell'intersezione tra intelligenza artificiale e diritto, mette in guardia dal muoversi troppo velocemente. Riscrivere la legge in questo modo apre la strada ai cattivi attori per iniziare a includere variabili razziali e di genere e discriminare selvaggiamente in un modo che è molto difficile da controllare, dice. Si preoccupa anche che questa soluzione non spiegherebbe le persone non binarie o trans e non causerebbe loro danni involontariamente.

Per ricevere più storie come questa direttamente nella tua casella di posta, iscriviti alla nostra newsletter AI nominata da Webby The Algorithm. È gratis.

nascondere