Podcast: l'IA può riparare il tuo credito?

Signora Tech | Pexel

I punteggi di credito sono stati utilizzati per decenni per valutare l'affidabilità creditizia dei consumatori, ma la loro portata è molto più ampia ora che sono alimentati da algoritmi. Non solo prendono in considerazione molti più dati, sia in termini di volume che di tipo, ma influiscono sempre più sulla possibilità di acquistare un'auto, affittare un appartamento o ottenere un lavoro a tempo pieno. In questo secondo di una serie sull'automazione e sui nostri portafogli, esploriamo quanto le macchine che determinano la nostra solvibilità siano arrivate a influenzare molto più delle nostre vite finanziarie.

Ci incontriamo:

• Chi Chi Wu, avvocato del personale presso il National Consumer Law Center
• Michele Gilman, professore di diritto all'Università di Baltimora
• Mike de Vere, CEO di Zest AI

Crediti:

Questo episodio è stato prodotto da Jennifer Strong, Karen Hao, Emma Cillekens e Anthony Green. Siamo a cura di Michael Reilly.

Trascrizione:

[ID REVISIONE TECNICA]

Miriam : Non era raro essere rinchiusi fuori dalla nostra camera d'albergo o avere una chiave che non funzionava e lui doveva andare alla reception e occuparsene. E non era raro pagare un conto al ristorante e poi farsi restituire l'assegno.

Jennifer: Chiameremo questa donna Miriam per proteggere la sua privacy. Aveva 21 anni quando ha incontrato l'uomo che avrebbe sposato... e... nel giro di pochi anni... ha stravolto la sua vita... e la sua posizione finanziaria.

Miriam: Ma aveva sempre un motivo ed era sempre colpa di qualcun altro.

Jennifer: Quando si sono incontrati per la prima volta, Miram stava facendo due lavori, stava scrivendo bilanci su una lavagna e stava intaccando il suo debito studentesco.

Il suo credito era pulito.

Miriam: Mi ha portato fuori a cena e mi ha portato a fare dei piccoli viaggi, sai, due o tre notti in vacanza al mare o, sai, roba locale. E ha sempre pagato per tutto e ho pensato che fosse così divertente.

Miriam: E poi ha iniziato a chiedermi se poteva usare le mie carte di credito vuote per una delle sue attività. E avrebbe addebitato l'intero importo, circa 5.000 e poi l'avrebbe ripagato entro, voglio dire, due o tre giorni ogni volta. E l'ha appena chiamato flipping. Questo è successo per un po'. E durante questo, è diventata una cosa normale. E così ho smesso di prestargli attenzione.

Jennifer: Finché un giorno... il suo intero mondo crollò.

Miriam: Ho avuto, vediamo una bambina di sei anni, una di due e una di quattro ed è la mattina di Halloween e siamo in sala da pranzo a prepararci per portarla all'asilo. E, ehm, l'FBI è venuto ad arrestare mio marito e tipo, è proprio come nei film, sai, esaminano tutte le tue cose e mandano un gruppo di uomini con stivali infangati e pistole in casa tua.

Jennifer: Un giudice federale ha condannato il marito per aver commesso un quarto di milione di dollari di frode telematica... e Miriam ha scoperto decine di migliaia di dollari di debiti a suo nome.

È stata lasciata a raccogliere i pezzi... e le finanze.

Miriam : Voglio dire che il mio punteggio di credito era inferiore a 500 a un certo punto. Voglio dire, è semplicemente precipitato e ci vuole molto tempo per tirarlo fuori, ma ho imparato che è una cosa un po' alla volta... su cui ho dovuto educarmi. Voglio dire, da quando tutta questa debacle qui, um, non mi sono mai perso niente. È come... più importante per me della maggior parte delle cose... è mantenere il mio punteggio di credito dorato.

Jennifer: È una sopravvissuta a ciò che è noto come debito forzato. È una forma di abuso economico... di solito da parte di un partner o di un familiare.

Miriam: Non ci sono ferite fisiche. Destra. E c'è, questo, non è qualcosa che puoi semplicemente chiamare la polizia su qualcuno. E, inoltre, di solito non è una situazione ostile. Di solito è carino, è una conversazione tranquilla in cui si fa strada e poi ottiene ciò che vuole.

Jennifer: L'abuso economico non è nuovo... ma come il furto di identità, è diventato molto più semplice in un mondo digitale di moduli online e decisioni automatizzate.

Miriam: So cos'è un algoritmo. Lo capisco. Ma tipo, cosa intendi con il mio algoritmo di credito?

Jennifer: Si è ripresa in piedi... ma molti no... e poiché gli algoritmi continuano a prendere il controllo del nostro sistema di credito finanziario... alcuni sostengono che questo potrebbe peggiorare molto.

Gilman: Abbiamo un sistema che fa sembrare le persone che stanno attraversando difficoltà fuori dal loro controllo, il che a sua volta ha un impatto sulla loro capacità di ottenere le opportunità necessarie per sfuggire alla povertà e ottenere stabilità economica.

Jennifer: Ma altri sostengono il Giusto gli algoritmi di credit scoring... potrebbero essere la porta verso un futuro migliore... dove i pregiudizi possono essere sradicati... e il sistema reso più equo.

Da Vero: Quindi, dal mio punto di vista, credito equivale a opportunità. È davvero importante come società che lo facciamo bene. Crediamo che possa esserci una versione 2.0 di questo, sfruttando l'apprendimento automatico.

Jennifer: Sono Jennifer Strong e in questo secondo di una serie sull'automazione e sui nostri portafogli... esploriamo quanto le macchine che determinano la nostra solvibilità... abbiano influenzato molto più delle nostre vite finanziarie.

[ID IMWT]

Jennifer: Una volta qualcuno voleva un prestito... stringeva relazioni con persone in una banca o in un'unione di credito che prendevano decisioni su quanto fosse sicuro, o rischioso, quell'investimento.

Come questa scena del classico di Natale degli anni '40, È una vita meravigliosa... in cui il personaggio principale del film decide di prestare i propri soldi ai clienti per mantenere a galla la sua attività... dopo un tentativo di fuga in banca.

Giorgio: Ho ricevuto $ 2.000! Ecco $ 2000 che ci legheranno fino alla riapertura della banca. Va bene, Tom, quanto ti serve?

Tom: $ 242.

Giorgio: Oh Tom. Quanto basta per tirarti su fino alla ripresa della banca.

Tom: Prendo $ 242!

Giorgio: Eccoti.

Tom: Questo chiuderà il mio account.

Giorgio: Il tuo account è ancora qui. Questo è un prestito!

Jennifer: Al giorno d'oggi le banche concedono prestiti senza mai incontrare molti dei loro clienti... Spesso queste decisioni sono automatizzate... in base ai dati del tuo rapporto di credito... che tiene traccia di cose come saldi delle carte di credito, prestiti auto, debito degli studenti... e include un mix di altri dati personali…

Negli anni '50 l'industria voleva un modo per standardizzare questi rapporti... così i data scientist hanno trovato un modo per prendere quelle informazioni... eseguirle attraverso un modello computerizzato e sputare un numero...

Questo è il tuo punteggio di credito... e non sono solo le banche a usarli per prendere decisioni. A seconda di dove vivi, tutti i tipi di gruppi si riferiscono a questo numero... compresi i proprietari... le compagnie di assicurazione... persino i datori di lavoro.

Wu: I consumatori non sono i clienti delle agenzie di credito. Noi siamo, o i nostri dati sono la merce. Non siamo i clienti, siamo il pollo. Noi siamo la cosa che viene venduta...

Jennifer: Chi Chi Wu è un difensore dei consumatori e avvocato presso il National Consumer Law Center.

Wu: E così, di conseguenza, gli incentivi in ​​questo mercato sono un po' incasinati. Gli incentivi servono a soddisfare le esigenze dei creditori e degli altri utenti delle segnalazioni e non dei consumatori.

Jennifer: Quando si tratta di rapporti di credito, ci sono tre custodi delle chiavi…. Equifax, Experian e Transunion.

Ma questi rapporti sono tutt'altro che completi... e possono essere imprecisi.

Wu: Ci sono livelli inaccettabilmente elevati di errori nei rapporti di credito. Ehm, ora i dati dello studio definitivo della commissione federale per il commercio hanno rilevato che, uh, un consumatore su cinque aveva un errore verificato sul suo rapporto di credito. E uno su 20 o 5% ha avuto un errore così grave che gli sarebbe stato negato il credito o avrebbe dovuto pagare di più.

Jennifer: Le denunce al governo federale su questi rapporti sono esplose negli ultimi anni... e l'anno scorso durante la pandemia? I reclami per errori sono raddoppiati.

Questi costituiscono più della metà di tutti i reclami presentati al C-F-P-B o al Consumer Financial Protection Bureau del governo degli Stati Uniti.

Ma Wu crede che anche senza errori, il modo in cui vengono utilizzati i punteggi di credito... sia un problema.

Wu: Quindi il problema sono i datori di lavoro... i proprietari. Cominciano a guardare ai rapporti di credito e ai punteggi di credito come una sorta di riflesso della responsabilità sottostante di una persona, del suo valore come persona, del suo carattere. E questo è completamente sbagliato. Quello che vediamo è che le persone finiscono con informazioni negative sul loro rapporto di credito perché hanno lottato finanziariamente perché è successo loro qualcosa di brutto. Quindi persone che hanno perso il lavoro, che si sono ammalate. Uhm, non possono pagare le bollette. E questa pandemia ne è l'esempio perfetto e puoi davvero vederlo nelle disparità razziali nel punteggio di credito. I punteggi di credito per le comunità nere sono molto più bassi che per le comunità bianche e per le comunità latine X, è una via di mezzo. E non ha nulla a che fare con il carattere. Ha tutto a che fare con la disuguaglianza.

Jennifer: E poiché l'industria sostituisce i vecchi metodi di assegnazione del punteggio con l'apprendimento automatico, teme che questo possa radicare il problema.

Wu: E se lasciati deselezionati, se non c'è un controllo intenzionale per questo, se non ne siamo diffidenti, la stessa cosa accadrà a quegli algoritmi che sono capitati al credit scoring, che saranno, ostacoleranno il progresso delle comunità storicamente emarginate .

Jennifer: È particolarmente preoccupata per le aziende che promettono che i loro algoritmi di valutazione del credito sono più equi perché utilizzano dati alternativi ... dati che presumibilmente sono meno inclini a pregiudizi razziali ...

Wu: Come la bolletta del cellulare, o l'affitto, um, ai big data più eccentrici e friabili. Cosa c'è nel tuo feed sui social media per il primo tipo di dati alternativi che è una sorta di convenzionale o finanziario, ehm, il mio mantra è stato il diavolo nei dettagli. Alcuni di questi dati sembrano promettenti. Altri tipi di dati possono essere molto rischiosi. Quindi questa è la mia preoccupazione per l'intelligenza artificiale e l'apprendimento automatico. Non che non dovremmo mai usarli. Devi solo usarli, giusto? Devi usarli con intenzionalità. Potrebbero essere la soluzione. Se gli viene detto che uno dei tuoi obiettivi è ridurre al minimo le disparità per i gruppi emarginati. Sai che il tuo obiettivo è essere predittivo o più predittivo con meno disparità.

Jennifer: Il Congresso sta valutando la possibilità di limitare l'uso dei rapporti di credito da parte dei datori di lavoro... e alcuni stati si sono mossi per vietarli nella fissazione delle tariffe assicurative... o nell'accesso a alloggi a prezzi accessibili.

Ma anche la consapevolezza è un problema.

Gilman: Ci sono molti danni di segnalazione di credito che stanno colpendo le persone a loro insaputa. E se non sai di essere stato danneggiato, non puoi ottenere assistenza o rimedi,

Jennifer: Michelle Gilman è una professoressa di diritto clinico presso l'Università di Baltimora...

Gilman: Non mi è stato insegnato il processo decisionale algoritmico alla facoltà di giurisprudenza e la maggior parte degli studenti di giurisprudenza ancora non lo sono. E possono essere molto intimiditi dal pensiero di dover sfidare un algoritmo.

Jennifer: Non è sicura quando ha notato per la prima volta che gli algoritmi prendevano decisioni per i suoi clienti. Ma spicca un caso... di un cliente anziano e disabile il cui orario di assistenza sanitaria a domicilio nell'ambito del programma Medicaid è stato drasticamente ridotto... anche se il cliente stava peggiorando...

Gilman: E fu solo quando ci trovammo davanti a un giudice di diritto amministrativo in un'udienza impugnata che divenne chiaro che il taglio delle ore era dovuto a un algoritmo. Eppure il testimone dello stato, che era un'infermiera, non poteva spiegare nulla dell'algoritmo. Continuava a ripetere più e più volte che era convalidato a livello internazionale e statisticamente, ma non poteva dirci come funzionava, quali dati venivano inseriti, quali fattori pesava, come venivano pesati i fattori. E così il mio studente avvocato mi guarda e ci guardiamo pensando, come esaminiamo un algoritmo?

Jennifer: Si è messa in contatto con altri avvocati in tutto il paese che stavano vivendo la stessa cosa. E si rese conto che il problema era molto più grande...

Gilman: E quando si tratta di algoritmi, operano in quasi ogni aspetto della vita dei nostri clienti.

Jennifer: E gli algoritmi di segnalazione del credito sono i più pervasivi.

La sua azienda vede vittime che vengono gravate da debiti imprevisti... a volte a causa di difficoltà... altre volte per spese mediche... o... per furto di identità, dove qualcun altro prende prestiti a tuo nome...

Ma l'impatto è lo stesso... appesantisce i punteggi di credito... e anche quando il debito viene cancellato, può avere effetti a lungo termine.

Gilman: Da buon avvocato dei consumatori, dobbiamo sapere che a volte risolvere il vero contenzioso davanti a te non è abbastanza. Devi anche uscire e ripulire gli effetti a catena di questi sistemi algoritmici. Molti avvocati della povertà condividono gli stessi pregiudizi che la popolazione generale ha in termini di vedere un risultato generato dal computer e pensare che sia neutrale, obiettivo, corretto. È in qualche modo magico. È come una calcolatrice. E nessuno di questi presupposti è vero, ma abbiamo bisogno della formazione e delle risorse per capire come funzionano questi sistemi. E poi, come comunità, abbiamo bisogno di sviluppare strumenti migliori in modo da poter interrogare quei sistemi in modo da poter sfidarli.

Jennifer: Dopo la pausa... Esaminiamo lo sforzo per automatizzare l'equità nella rendicontazione del credito.

[midroll]

Da Vero: L'intelligenza artificiale aiuta in due modi: più dati e matematica migliore. E quindi se pensi ai limiti della matematica attuale, sai, possono inserire un paio di dozzine di variabili. E, uh, se provassi a descriverti Jennifer, uh, con due dozzine di variabili, sai, potrei probabilmente arrivare a una descrizione abbastanza buona, ma immagina se potessi inserire più dati e ti descrivessi con 300 a mille variabili che segnalano e la risoluzione si traducono in una previsione molto più accurata della tua solvibilità come mutuatario.

Jennifer: Mike de Vere è il CEO di Zest AI. È una delle numerose aziende che cercano di aggiungere trasparenza al processo di approvazione del credito e del prestito... con un software progettato per tenere conto di alcuni dei problemi attuali con i punteggi di credito... inclusi razziali, di genere e altri potenziali pregiudizi.

Per capire come funziona... abbiamo bisogno prima di tutto di un po' di contesto. Negli Stati Uniti è illegale per i prestatori (diversi dai prestatori di mutui) raccogliere dati sulla razza. Questo era originariamente destinato prevenire discriminazione.

Ma la razza di una persona ha una forte correlazione con il suo nome... dove vive... dove è andata a scuola... e quanto viene pagata. Ciò significa... anche senza dati di gara... un algoritmo di apprendimento automatico può imparare a discriminare comunque... semplicemente perché è integrato.

Quindi, gli istituti di credito cercano di verificarlo ed eliminare la discriminazione nei loro modelli di prestito. L'unico problema? Per verificare come stai, devi conoscere la razza dei mutuatari... senza che... i creditori sono costretti a fare un'ipotesi plausibile.

Da Vero: Quindi l'approccio accettato è un acronimo BISG e utilizza fondamentalmente due variabili, il tuo codice postale e il tuo cognome. E quindi mi chiamo Mike De Vere e la parte della California da cui vengo, con un nome del genere dichiarerei ispanico o latino X, ma sono irlandese.

Jennifer: In altre parole... lo standard del settore su come farlo è spesso completamente sbagliato. Quindi la sua azienda adotta un approccio diverso.

Da Vero: Crediamo che possa esistere una versione 2.0 di questo, sfruttando l'apprendimento automatico.

Jennifer: Invece di prevedere la razza su due sole variabili... ne usa molte di più... come il nome e il secondo nome della persona... e altri dati geografici - come il loro censimento... o il distretto scolastico.

Dice in un recente test in Florida, questo metodo ha superato il modello standard del 60%.

Da Vero: Perché importa? Questo è importante perché è il tuo metro a come stai.

Jennifer: Quindi, adotta un approccio chiamato contraddittorio de biasing.

L'idea di base è questo . L'azienda inizia con un modello di machine learning addestrato per prevedere quanto sia rischioso un determinato mutuatario.

Da Vero: Diciamo che ha da 300 a 500 punti dati per assegnare il rischio a un individuo.

Jennifer: Ha poi un secondo modello di apprendimento automatico che cerca di indovinare la razza di quel mutuatario... (basato sui risultati del primo).

Se le previsioni del secondo modello corrispondono ai risultati del predittore della corsa... dice che significa che il sistema sta codificando il bias... e dovrebbe essere regolato... modificando quanto pesa ciascuno dei punti dati.

Da Vero: Quindi quei 300-500 segnali possiamo aumentare o diminuire se diventa un proxy per la razza. E quindi ciò che si ottiene non è solo un modello performante che offre una buona economia, ma allo stesso tempo hai un modello che è quasi daltonico in quel processo.

Jennifer: Dice che ha portato a pratiche di prestito più inclusive.

Da Vero: Lavoriamo con una delle più grandi cooperative di credito negli Stati Uniti al di fuori della Florida. E quindi ciò che significa per la nostra unione di credito è più sì per più membri. Ma ciò di cui erano davvero entusiasti è stato un aumento del 26% dell'approvazione per le donne. Venticinque per cento di aumento dell'approvazione per i membri di colore.

Jennifer: Anche se è incoraggiante... Chiunque affermi di avere una soluzione per decenni di danni causati dal processo decisionale algoritmico... avrà molto da superare per conquistare la fiducia delle persone.

È un compito reso ancora più difficile quando la soluzione proposta per un algoritmo errato... è un altro algoritmo.

Il Dipartimento del Tesoro ha recentemente pubblicato una guida - evidenziando l'uso della sottoscrizione di crediti AI come un rischio chiave per le banche... avvertendo dei costi che derivano dalla loro natura opaca... e aggiungendo una nota che, preventivo, la direzione della banca?... dovrebbe essere in grado di spiegare e difendere le decisioni di sottoscrizione e modellazione.

Il che... anche con gli strumenti più trasparenti... sembra comunque un compito arduo.

E senza una regolamentazione moderna non è nemmeno chiaro chi controlla questi monitor del punteggio di credito... e chi decide se cose come i dati del telefono o le informazioni dai social media sono fair play?

Soprattutto mentre i risultati finali continuano a essere utilizzati per scopi non creditizi... come l'occupazione o l'assicurazione.

[CREDITI]

Questo episodio è stato prodotto da me, Karen Hao, Emma Cillekens e Anthony Green. Siamo a cura di Michael Reilly.

Grazie per l'ascolto, sono Jennifer Strong.

[ID REVISIONE TECNICA]

nascondere