La distorsione non è l'unico problema con i punteggi di credito e no, l'IA non può aiutare

Signora Tech | Cindy Tang/Unsplash

Sapevamo già che dati distorti e algoritmi distorti distorcono il processo decisionale automatizzato in modo da svantaggiare i gruppi a basso reddito e le minoranze. Per esempio, software utilizzato dalle banche prevedere se qualcuno ripagherà o meno il debito della carta di credito in genere favorisce i candidati bianchi più ricchi. Molti ricercatori e una sfilza di start-up stanno cercando di risolvere il problema rendendo questi algoritmi più equi .

Storia correlata

L'imminente guerra agli algoritmi nascosti che intrappolano le persone nella povertà Un gruppo crescente di avvocati sta scoprendo, navigando e combattendo i sistemi automatizzati che negano ai poveri alloggi, posti di lavoro e servizi di base.

Ma nel il più grande studio mai condotto sui dati sui mutui nel mondo reale , gli economisti Laura Blattner della Stanford University e Scott Nelson dell'Università di Chicago mostrano che le differenze nell'approvazione dei mutui tra i gruppi di minoranza e di maggioranza non sono dovute solo a pregiudizi, ma al fatto che i gruppi di minoranza e a basso reddito hanno meno dati nel loro credito storie.

Ciò significa che quando questi dati vengono utilizzati per calcolare un punteggio di credito e questo punteggio di credito utilizzato per fare una previsione sull'insolvenza del prestito, tale previsione sarà meno precisa. È questa mancanza di precisione che porta alla disuguaglianza, non solo al pregiudizio.

Le implicazioni sono evidenti: algoritmi più equi non risolveranno il problema.

È un risultato davvero sorprendente, afferma Ashesh Rambachan, che studia apprendimento automatico ed economia all'Università di Harvard, ma non è stato coinvolto nello studio. Distorsioni e record di credito irregolari sono stati problemi caldi per un po' di tempo, ma questo è il primo esperimento su larga scala che esamina le richieste di prestito di milioni di persone reali.

I punteggi di credito comprimono una serie di dati socioeconomici, come la storia lavorativa, i dati finanziari e le abitudini di acquisto, in un unico numero. Oltre a decidere le domande di prestito, i punteggi di credito vengono ora utilizzati per prendere molte decisioni che cambiano la vita, comprese le decisioni su assicurazioni, assunzioni e alloggio.

Per capire perché i gruppi di minoranza e di maggioranza sono stati trattati in modo diverso dagli istituti di credito ipotecario, Blattner e Nelson hanno raccolto rapporti di credito per 50 milioni di consumatori statunitensi anonimi e hanno legato ciascuno di quei consumatori ai loro dettagli socioeconomici presi da un set di dati di marketing, ai loro atti di proprietà e transazioni ipotecarie e dati sugli istituti di credito ipotecario che hanno fornito loro prestiti.

Uno dei motivi per cui questo è il primo studio di questo tipo è che questi set di dati sono spesso proprietari e non pubblicamente disponibili per i ricercatori. Siamo andati a un'agenzia di credito e in pratica abbiamo dovuto pagare loro un sacco di soldi per farlo, dice Blattner.

Dati rumorosi

Hanno quindi sperimentato diversi algoritmi predittivi per dimostrare che i punteggi di credito non erano semplicemente distorti ma rumorosi, un termine statistico per dati che non possono essere utilizzati per fare previsioni accurate. Prendi un richiedente di minoranza con un punteggio di credito di 620. In un sistema parziale, potremmo aspettarci che questo punteggio sopravvaluti sempre il rischio di quel richiedente e che un punteggio più accurato sarebbe 625, ad esempio. In teoria, questa distorsione potrebbe quindi essere spiegata tramite una qualche forma di azione affermativa algoritmica, come l'abbassamento della soglia di approvazione per le domande di minoranza.

Storia correlata

Podcast: l'IA può riparare il tuo credito?

Gli effetti a catena dell'automazione nel punteggio di credito si estendono oltre le finanze

Ma Blattner e Nelson mostrano che l'adeguamento per i pregiudizi non ha avuto alcun effetto. Hanno scoperto che il punteggio di 620 di una richiedente di minoranza era davvero una scarsa proxy per la sua solvibilità, ma che ciò era dovuto al fatto che l'errore poteva andare in entrambe le direzioni: un 620 potrebbe essere 625 o potrebbe essere 615.

Questa differenza può sembrare sottile, ma è importante. Poiché l'imprecisione deriva dal rumore nei dati piuttosto che dalla distorsione nel modo in cui i dati vengono utilizzati, non può essere risolta creando algoritmi migliori.

È un ciclo che si autoalimenta, dice Blattner. Diamo prestiti alle persone sbagliate e una fetta della popolazione non ha mai la possibilità di accumulare i dati necessari per concedere loro un prestito in futuro.

Blattner e Nelson hanno quindi cercato di misurare quanto fosse grande il problema. Hanno costruito la propria simulazione dello strumento di previsione di un prestatore di mutui ipotecari e hanno stimato cosa sarebbe successo se i candidati borderline che erano stati accettati o rifiutati a causa di punteggi imprecisi avessero annullato le loro decisioni. Per fare ciò hanno utilizzato una varietà di tecniche, come confrontare i richiedenti rifiutati con quelli simili che erano stati accettati, o guardare altre linee di credito che avevano ricevuto i richiedenti rifiutati, come i prestiti auto.

Mettendo tutto questo insieme, hanno inserito queste ipotetiche decisioni di prestito accurate nella loro simulazione e hanno misurato di nuovo la differenza tra i gruppi. Hanno scoperto che quando si presumeva che le decisioni sui candidati appartenenti a minoranze ea basso reddito fossero accurate quanto quelle per i bianchi più ricchi, la disparità tra i gruppi è diminuita del 50%. Per i candidati di minoranza, quasi la metà di questo guadagno derivava dalla rimozione di errori in cui il richiedente avrebbe dovuto essere approvato ma non lo era. I candidati a basso reddito hanno visto un guadagno minore perché è stato compensato dalla rimozione di errori che andavano dall'altra parte: candidati che avrebbero dovuto essere respinti ma non lo sono stati.

Blattner sottolinea che affrontare questa imprecisione andrebbe a vantaggio dei prestatori e dei richiedenti svantaggiati. L'approccio economico ci consente di quantificare i costi degli algoritmi rumorosi in modo significativo, afferma. Possiamo stimare quanta cattiva allocazione del credito si verifica a causa di ciò.

Correggere i torti

Ma risolvere il problema non sarà facile. Ci sono molte ragioni per cui i gruppi minoritari hanno dati di credito rumorosi, afferma Rashida Richardson, avvocato e ricercatore che studia tecnologia e razza alla Northeastern University. Ci sono conseguenze sociali aggravate in cui alcune comunità potrebbero non cercare il credito tradizionale a causa della sfiducia negli istituti bancari, afferma. Qualsiasi correzione dovrà affrontare il cause sottostanti . Invertire generazioni di danni richiederà una miriade di soluzioni, comprese nuove normative bancarie e investimenti nelle comunità di minoranze: le soluzioni non sono semplici perché devono affrontare così tante diverse cattive politiche e pratiche.

Storia correlata

Gli algoritmi di polizia predittiva sono razzisti. Devono essere smantellati. La mancanza di trasparenza e dati di formazione distorti significano che questi strumenti non sono adatti allo scopo. Se non riusciamo a risolverli, dovremmo abbandonarli.

Un'opzione a breve termine potrebbe essere che il governo spinga semplicemente i finanziatori ad accettare il rischio di emettere prestiti a richiedenti di minoranza che vengono rifiutati dai loro algoritmi. Ciò consentirebbe ai prestatori di iniziare a raccogliere per la prima volta dati accurati su questi gruppi, il che a lungo termine andrebbe a vantaggio sia dei richiedenti che dei prestatori.

Alcuni istituti di credito più piccoli stanno già iniziando a farlo, afferma Blattner: se i dati esistenti non ti dicono molto, esci e fai un sacco di prestiti e impara a conoscere le persone. Anche Rambachan e Richardson vedono questo come un primo passo necessario. Ma Rambachan pensa che ci vorrà un cambiamento culturale per gli istituti di credito più grandi. L'idea ha molto senso per la folla della scienza dei dati, dice. Eppure, quando parla con quei team all'interno delle banche, ammettono che non è una visione tradizionale. Sospirano e dicono che non c'è modo di spiegarlo al team aziendale, dice. E non sono sicuro di quale sia la soluzione.

Blattner pensa anche che i punteggi di credito dovrebbero essere integrati con altri dati sui candidati, come le transazioni bancarie. Accoglie con favore il recente annuncio di una manciata di banche, tra cui JPMorgan Chase, che inizieranno a condividere i dati sui conti bancari dei loro clienti come ulteriore fonte di informazioni per le persone con storie di credito scarse. Ma saranno necessarie ulteriori ricerche per vedere quale differenza farà nella pratica. E i cani da guardia dovranno garantire che un maggiore accesso al credito non vada di pari passo con comportamenti predatori di prestito, afferma Richardson.

Molte persone ora sono consapevoli dei problemi con gli algoritmi distorti, afferma Blattner. Vuole che le persone inizino a parlare anche di algoritmi rumorosi. L'attenzione al pregiudizio - e la convinzione che abbia una soluzione tecnica - significa che i ricercatori potrebbero trascurare il problema più ampio.

Richardson teme che i politici saranno persuasi che la tecnologia ha le risposte quando non le ha. I dati incompleti sono preoccupanti perché rilevarli richiederà ai ricercatori una comprensione abbastanza sfumata delle disuguaglianze sociali, afferma. Se vogliamo vivere in una società equa in cui tutti si sentano appartenenti e siano trattati con dignità e rispetto, allora dobbiamo iniziare a essere realistici riguardo alla gravità e alla portata dei problemi che dobbiamo affrontare.

nascondere