L'imminente guerra agli algoritmi nascosti che intrappolano le persone nella povertà

Daniel Zender

Miriam aveva solo 21 anni quando ha incontrato Nick. Era una fotografa, appena uscita dal college, addetta ai tavoli. Aveva 16 anni più di lei e un imprenditore locale che aveva lavorato nel settore finanziario. Era affascinante e carismatico; la portava fuori con appuntamenti stravaganti e pagava tutto. Cadde rapidamente nella sua orbita.

È iniziato con una carta di credito. All'epoca era l'unico che aveva. Nick lo massimizzerebbe con $ 5.000 di acquisti aziendali e li ripagherebbe prontamente il giorno successivo. Miriam, che mi ha chiesto di non usare i loro veri nomi per paura di interferire con le loro procedure di divorzio in corso, ha scoperto che questo stava aumentando il suo punteggio di credito. Essendo cresciuta con un padre single in una famiglia a basso reddito, si è fidata del know-how di Nick al di sopra del proprio. Ha prontamente incoraggiato la dinamica, dicendole che non capiva la finanza. Ha aperto altre carte di credito per lui a suo nome.

I guai sono iniziati tre anni dopo. Nick le ha chiesto di lasciare il lavoro per dare una mano con i suoi affari. L'ha fatto. Le disse di andare alla scuola di specializzazione e di non preoccuparsi di aumentare il suo debito studentesco esistente. L'ha fatto. Ha promesso di prendersi cura di tutto, e lei gli ha creduto. Poco dopo, ha smesso di saldare i saldi della sua carta di credito. Il suo punteggio iniziò a peggiorare.

Tuttavia, Miriam rimase con lui. Si sono sposati. Avevano tre figli. Poi un giorno, l'FBI è venuto a casa loro e lo ha arrestato. Nella corte federale, il giudice lo ha condannato per quasi $ 250.000 di frode telematica. Miriam ha scoperto l'intera portata delle decine di migliaia di dollari di debiti che aveva accumulato a suo nome. Il giorno in cui è andato in prigione, avevo 250 dollari in contanti, una casa pignorata, un'auto per sequestro, tre bambini, dice. Sono passato entro un mese dall'avere una tata e vivere in una bella casa e tutto a una povertà davvero abietta.

Miriam è una sopravvissuta a quello che è noto come debito forzato, una forma di abuso solitamente perpetrata da un partner intimo o da un familiare. Sebbene gli abusi economici siano un problema di vecchia data, il digital banking ha semplificato l'apertura di conti e l'assunzione di prestiti a nome di una vittima, afferma Carla Sanchez-Adams, avvocato del Texas RioGrande Legal Aid. Nell'era degli algoritmi automatizzati di credit scoring, le ripercussioni possono anche essere molto più devastanti.

I punteggi di credito sono stati utilizzati per decenni per valutare l'affidabilità creditizia dei consumatori, ma la loro portata è molto più ampia ora che sono alimentati da algoritmi: non solo considerano una quantità enorme di dati, sia in volume che in tipo, ma influiscono sempre più sulla possibilità di acquistare un macchina, affittare un appartamento o trovare un lavoro a tempo pieno. La loro influenza globale significa che se il tuo punteggio è rovinato, può essere quasi impossibile recuperare. Peggio ancora, gli algoritmi sono di proprietà di società private che non rivelano come prendono le loro decisioni. Le vittime possono essere inviate in una spirale discendente che a volte si conclude con il senzatetto o con il ritorno al loro aguzzino.

Gli algoritmi di credit scoring non sono gli unici a influenzare il benessere economico delle persone e l'accesso ai servizi di base. Gli algoritmi ora decidono quali bambini ricevono l'affidamento, quali pazienti ricevono cure mediche, quali famiglie hanno accesso a un alloggio stabile. Quelli di noi con i mezzi possono passare la vita ignari di tutto ciò. Ma per le persone a basso reddito, la rapida crescita e l'adozione di sistemi decisionali automatizzati ha creato una rete nascosta di trappole ad incastro.

Fortunatamente, un gruppo crescente di avvocati civilisti sta iniziando a organizzarsi attorno a questo problema. Prendendo in prestito un playbook dal respingimento del mondo della difesa criminale contro gli algoritmi di valutazione del rischio, stanno cercando di istruirsi su questi sistemi, costruire una comunità e sviluppare strategie di contenzioso. Fondamentalmente ogni avvocato civile sta iniziando a occuparsi di queste cose, perché tutti i nostri clienti sono in un modo o nell'altro toccati da questi sistemi, afferma Michele Gilman, professore di diritto clinico all'Università di Baltimora. Dobbiamo svegliarci, allenarci. Se vogliamo essere davvero bravi avvocati olistici, dobbiamo esserne consapevoli.

Ho intenzione di esaminare un algoritmo?

Gilman esercita da 20 anni a Baltimora. Nel suo lavoro come avvocato civile e avvocato per la povertà, i suoi casi si sono sempre ridotti alle stesse cose: rappresentare persone che hanno perso l'accesso ai bisogni di base, come alloggio, cibo, istruzione, lavoro o assistenza sanitaria. A volte questo significa confrontarsi con un'agenzia governativa. Altre volte è con un'agenzia di segnalazione del credito o un proprietario. Sempre più spesso, la lotta per l'idoneità di un cliente ora coinvolge una sorta di algoritmo.

Questo sta accadendo su tutta la linea ai nostri clienti, dice. Sono invischiati in così tanti algoritmi diversi che li stanno escludendo dai servizi di base. E i clienti potrebbero non esserne consapevoli, perché molti di questi sistemi sono invisibili.

Per le persone a basso reddito, una temporanea difficoltà economica può portare a un circolo vizioso che a volte si conclude con il fallimento o il senzatetto.

JON TYSON / UNSPLASH

Non ricorda esattamente quando si è resa conto che alcune decisioni di ammissibilità venivano prese da algoritmi. Ma quando quella transizione è iniziata per la prima volta, raramente era evidente. Una volta, rappresentava un'anziana cliente disabile che era stata inspiegabilmente tagliata fuori dalla sua assistenza sanitaria domiciliare finanziata da Medicaid. Non siamo riusciti a scoprire perché, ricorda Gilman. Stava diventando sempre più malata, e normalmente se ti ammali, hai più ore, non meno.

Solo quando si trovavano in aula nel bel mezzo di un'udienza il testimone che rappresentava lo stato ha rivelato che il governo aveva appena adottato un nuovo algoritmo. Il testimone, un'infermiera, non poteva spiegare nulla al riguardo. Certo che no: l'hanno comprato subito, dice Gilman. È un'infermiera, non un'informatica. Non poteva rispondere a quali fattori ci fossero dentro. Come viene pesato? Quali sono i risultati che stai cercando? Quindi eccomi con il mio studente avvocato, che è nella mia clinica con me, ed è come, 'Oh, esaminerò un algoritmo?'

Per Kevin De Liban, un avvocato di Legal Aid of Arkansas, il cambiamento è stato altrettanto insidioso. Nel 2014, il suo stato ha anche istituito un nuovo sistema per la distribuzione dell'assistenza domiciliare finanziata da Medicaid, tagliando fuori tutta una serie di persone che in precedenza erano ammissibili. A quel tempo, lui e i suoi colleghi non riuscivano a identificare il problema alla radice. Sapevano solo che qualcosa era diverso. Potremmo riconoscere che c'è stato un cambiamento nei sistemi di valutazione da un questionario cartaceo di 20 domande a un questionario elettronico di 283 domande, dice.

Sono passati due anni dopo, quando un errore nell'algoritmo lo ha portato ancora una volta sotto il controllo legale, che De Liban è finalmente arrivato a fondo della questione. Si è reso conto che le infermiere dicevano ai pazienti, beh, è ​​stato il computer a farlo, non sono io. Questo è ciò che ci ha avvisato, dice. Se avessi saputo quello che sapevo nel 2016, probabilmente avrei fatto un lavoro migliore nel 2014, aggiunge.

Una persona cammina attraverso così tanti sistemi su base giornaliera

Da allora Gilman è diventato molto più esperto. Dal suo punto di vista privilegiato che rappresenta i clienti con una serie di problemi, ha osservato l'ascesa e la collisione di due reti algoritmiche. Il primo consiste in algoritmi di rendicontazione del credito, come quelli che hanno intrappolato Miriam, che influiscono sull'accesso a beni e servizi privati ​​come automobili, case e lavoro. Il secondo comprende algoritmi adottati dalle agenzie governative, che influiscono sull'accesso ai benefici pubblici come l'assistenza sanitaria, la disoccupazione e i servizi di sostegno all'infanzia.

Sul versante della rendicontazione creditizia, la crescita degli algoritmi è stata trainata dalla proliferazione dei dati, più facile che mai da raccogliere e condividere. I rapporti di credito non sono nuovi, ma in questi giorni la loro impronta è molto più ampia. Le agenzie di segnalazione dei consumatori, comprese le agenzie di credito, le società di screening degli inquilini o i servizi di verifica degli assegni, raccolgono queste informazioni da un'ampia gamma di fonti: registri pubblici, social media, navigazione sul Web, attività bancaria, utilizzo delle app e altro ancora. Gli algoritmi quindi assegnano punteggi di dignità alle persone, che sono molto importanti nei controlli dei precedenti eseguiti da istituti di credito, datori di lavoro, proprietari e persino scuole.

Le agenzie governative, d'altra parte, sono spinte ad adottare algoritmi quando vogliono modernizzare i loro sistemi. La spinta all'adozione di app e strumenti digitali basati sul Web è iniziata nei primi anni 2000 ed è proseguita con il passaggio a sistemi automatizzati e IA più basati sui dati. Ci sono buone ragioni per cercare questi cambiamenti. Durante la pandemia, molti sistemi di sussidi di disoccupazione hanno faticato a gestire l'enorme volume di nuove richieste, causando ritardi significativi. La modernizzazione di questi sistemi legacy promette risultati più rapidi e affidabili.

Ma il processo di approvvigionamento del software è raramente trasparente e quindi privo di responsabilità. Le agenzie pubbliche spesso acquistano strumenti decisionali automatizzati direttamente da fornitori privati. Il risultato è che quando i sistemi vanno male, le persone colpite — — ei loro avvocati — restano all'oscuro. Non lo pubblicizzano da nessuna parte, dice Julia Simon-Mishel, un avvocato di Philadelphia Legal Assistance. Spesso non è scritto in nessun tipo di guida alle politiche o manuali di politica. Siamo in svantaggio.

La mancanza di controllo pubblico rende anche i sistemi più inclini all'errore. Uno dei malfunzionamenti più eclatanti si è verificato nel Michigan nel 2013. Dopo un grande sforzo per automatizzare il sistema statale dei sussidi di disoccupazione, l'algoritmo segnalato erroneamente oltre 34.000 persone per frode . Ha causato un'enorme perdita di benefici, afferma Simon-Mishel. C'erano bancarotte; ci sono stati purtroppo suicidi. Era tutto un casino.

Gilman teme che i debiti e gli sfratti legati al coronavirus vengano codificati in punteggi di credito, rendendo permanentemente più difficile per le persone ottenere lavoro, appartamenti e prestiti.

SCOTT HEINS/GETTY IMMAGINI

Gli individui a basso reddito sopportano il peso maggiore del passaggio agli algoritmi. Sono le persone più vulnerabili alle difficoltà economiche temporanee che vengono codificate nelle relazioni dei consumatori e quelle che hanno bisogno e cercano benefici pubblici. Nel corso degli anni, Gilman ha visto sempre più casi in cui i clienti rischiano di entrare in un circolo vizioso. Una persona attraversa così tanti sistemi ogni giorno, dice. Voglio dire, lo facciamo tutti. Ma le conseguenze sono molto più dure per i poveri e le minoranze.

A titolo di esempio, solleva un caso attuale nella sua clinica. Un membro della famiglia ha perso il lavoro a causa della pandemia e gli è stato negato il sussidio di disoccupazione a causa di un guasto del sistema automatizzato. La famiglia è rimasta indietro con i pagamenti dell'affitto, il che ha portato il padrone di casa a citarli in giudizio per lo sfratto. Anche se lo sfratto non sarà legale a causa di la moratoria del CDC , la causa sarà ancora registrata nei registri pubblici. Tali record potrebbero quindi essere inseriti negli algoritmi di screening degli inquilini, il che potrebbe rendere più difficile per la famiglia trovare un alloggio stabile in futuro. Il mancato pagamento dell'affitto e delle utenze potrebbe anche incidere sul loro punteggio di credito, che ancora una volta ha delle ripercussioni. Se stanno cercando di impostare un servizio di telefonia cellulare o prendere un prestito o acquistare un'auto o fare domanda per un lavoro, ha solo questi effetti a cascata, dice Gilman.

Ogni caso si trasformerà in un caso di algoritmo

A settembre, Gilman, che è attualmente un faculty fellow presso l'istituto di ricerca Data and Society, ha pubblicato un rapporto documentando tutti i vari algoritmi che potrebbero incontrare gli avvocati della povertà. Chiamato Legislazione sulla povertà , vuole essere una guida per i suoi colleghi sul campo. Diviso in aree di pratica specifiche come diritto dei consumatori, diritto di famiglia, alloggio e benefici pubblici, spiega come affrontare le questioni sollevate da algoritmi e altre tecnologie basate sui dati nell'ambito delle leggi esistenti.

Se a un cliente viene negato un appartamento a causa di uno scarso punteggio di credito, ad esempio, il rapporto raccomanda a un avvocato di verificare prima se i dati inseriti nel sistema di punteggio sono accurati. Ai sensi del Fair Credit Reporting Act, le agenzie di segnalazione sono tenute a garantire la validità delle loro informazioni, ma ciò non sempre accade. Contestare eventuali reclami difettosi potrebbe aiutare a ripristinare il credito del cliente e, quindi, l'accesso all'alloggio. Il rapporto riconosce, tuttavia, che le leggi esistenti possono arrivare solo fino a questo punto. Ci sono ancora lacune normative da colmare, afferma Gilman.

Gilman spera che il rapporto sia un campanello d'allarme. Molti dei suoi colleghi ancora non si rendono conto che tutto questo sta succedendo e non sono in grado di porre le domande giuste per scoprire gli algoritmi. Coloro che sono consapevoli del problema sono sparsi per gli Stati Uniti, imparano, navigano e combattono questi sistemi in isolamento. Vede un'opportunità per metterli in contatto e creare una comunità più ampia di persone che possono aiutarsi a vicenda. Abbiamo tutti bisogno di più formazione, più conoscenza, non solo nella legge, ma in questi sistemi, dice. Alla fine è come se ogni caso si trasformasse in un caso di algoritmo.

Storia correlata

Accedere per essere espulsi: la crisi degli sfratti virtuali all'interno dell'America Migliaia di affittuari vengono cacciati dalle loro case per telefono e videochiamata.

A lungo termine, cerca ispirazione nel mondo del diritto penale. Gli avvocati penalisti sono stati all'avanguardia, dice, nell'organizzarsi come comunità e nel respingere gli algoritmi di valutazione del rischio che determinano la condanna. Vuole vedere gli avvocati civili fare la stessa cosa: creare un movimento per portare più controllo pubblico e regolamentazione nella rete nascosta di algoritmi che i loro clienti devono affrontare. In alcuni casi, probabilmente dovrebbe essere chiuso perché non c'è modo di renderlo equo, dice.

Quanto a Miriam, dopo la condanna di Nick, se ne è andata per sempre. Si è trasferita con i suoi tre figli in un nuovo stato e si è collegata a un'organizzazione no profit che sostiene i sopravvissuti a debiti forzati e violenze domestiche. Attraverso di loro, ha seguito una serie di lezioni che le hanno insegnato come gestire le sue finanze. L'organizzazione l'ha aiutata a liquidare molti dei suoi debiti forzati ea saperne di più sugli algoritmi di credito. Quando è andata a comprare un'auto, il suo punteggio di credito ha appena superato il minimo con suo padre come co-firmatario. Da allora, i suoi pagamenti costanti sulla sua auto e il suo debito studentesco hanno lentamente reintegrato il suo punteggio di credito.

Miriam deve ancora rimanere vigile. Nick ha il suo numero di previdenza sociale e non sono ancora divorziati. Si preoccupa costantemente che possa aprire più conti, prendere più prestiti a suo nome. Per un po', ha controllato quotidianamente il suo rapporto di credito per attività fraudolenta. Ma in questi giorni, ha anche qualcosa da aspettarsi. Suo padre, sulla sessantina, vuole andare in pensione e trasferirsi. I due sono ora concentrati sulla preparazione per l'acquisto di una casa. Sono piuttosto entusiasta di questo. Il mio obiettivo è di arrivare entro la fine dell'anno a 700, dice del suo punteggio, e quindi sono decisamente pronto per l'acquisto di casa.

Non ho mai vissuto in una casa che ho posseduto, mai, aggiunge. Lui ed io stiamo lavorando insieme per salvare per una casa per sempre.

nascondere