211service.com
Una nuova ricerca mira a risolvere il problema della distorsione dell'IA negli algoritmi della scatola nera
Siobhan Gallagher
Dalla raccolta di azioni all'esame dei raggi X, l'intelligenza artificiale viene sempre più utilizzata per prendere decisioni che in precedenza spettavano agli esseri umani. Ma l'IA è valida solo quanto i dati su cui è stata addestrata e in molti casi finiamo per trasformare i nostri pregiudizi troppo umani in algoritmi che hanno il potenziale per avere un enorme impatto sulla vita delle persone.
In un nuovo articolo pubblicato su arXiv , i ricercatori affermano che potrebbero aver escogitato un modo per mitigare il problema degli algoritmi difficili da esaminare per gli estranei, i cosiddetti sistemi a scatola nera.
Un'area particolarmente preoccupante per la comparsa di pregiudizi è nella modellizzazione della valutazione del rischio, che può decidere, ad esempio, le possibilità di una persona di ottenere la cauzione o l'approvazione per un prestito. In genere è illegale considerare fattori come la razza in questi casi, ma gli algoritmi possono imparare a riconoscere e sfruttare il fatto che il livello di istruzione o l'indirizzo di casa di una persona possono essere correlati con altre informazioni demografiche, che possono infonderle efficacemente con pregiudizi razziali e di altro tipo.
Ciò che rende questo problema ancora più complicato è che molte delle IA utilizzate per fare queste scelte sono scatole nere: o sono troppo complicate per essere facilmente comprensibili, o sono algoritmi proprietari che le aziende si rifiutano di spiegare. I ricercatori hanno lavorato su strumenti per dare un'occhiata a cosa sta succedendo sotto il cappuccio , ma il problema è diffuso e in crescita (vedi Algoritmi distorti sono ovunque e Nessuno sembra preoccuparsene).
Nel documento, Sarah Tan (che all'epoca lavorava in Microsoft) e colleghi hanno provato il loro metodo su due modelli di valutazione del rischio a scatola nera: uno sui rischi di prestito e sui tassi di insolvenza della società peer-to-peer LendingClub e uno di Northpointe , una società che fornisce servizi basati su algoritmi ai tribunali di tutto il paese, prevedendo il rischio di recidiva per gli imputati.
I ricercatori hanno utilizzato un duplice approccio per far luce su come funzionano questi algoritmi potenzialmente distorti. In primo luogo, hanno creato un modello che imita l'algoritmo della scatola nera in esame e fornisce un punteggio di rischio basato su una serie iniziale di dati, proprio come farebbero LendingClub e Northpointe. Quindi hanno costruito un secondo modello che hanno addestrato sui risultati del mondo reale, utilizzandolo per determinare quali variabili dal set di dati iniziale erano importanti nei risultati finali.
Nel caso di LendingClub, i ricercatori hanno analizzato i dati su una serie di prestiti maturati dal 2007 al 2011. Il database di LendingClub conteneva numerosi campi diversi, ma i ricercatori hanno scoperto che il modello di prestito della società probabilmente ignorava sia il reddito annuo del richiedente sia lo scopo del prestito . Potrebbe avere senso ignorare il reddito, dal momento che è autodichiarato e può essere falsificato. Ma lo scopo del prestito è fortemente correlato al rischio: i prestiti per le piccole imprese sono molto più rischiosi di quelli usati per pagare i matrimoni, per esempio. Quindi LendingClub sembrava ignorare una variabile importante.
Northpointe, nel frattempo, afferma che il suo algoritmo COMPAS non include la razza come variabile quando formula raccomandazioni sulla condanna. Tuttavia, in un'indagine di ProPublica , i giornalisti hanno raccolto informazioni razziali sugli imputati che sono stati condannati con l'aiuto di COMPAS e hanno trovato prove di pregiudizi razziali. Nel loro modello mimico, i ricercatori hanno utilizzato i dati raccolti da ProPublica, nonché le informazioni sull'età, il sesso, il grado di accusa degli imputati, il numero di condanne precedenti e la durata di qualsiasi precedente degenza in carcere. Il metodo concordava con i risultati di ProPublica, suggerendo che COMPAS era probabilmente prevenuto per alcune età e gruppi razziali.
I critici potrebbero sottolineare che queste non sono repliche esatte: per necessità, i ricercatori stavano facendo molte ipotesi plausibili. Ma se l'azienda dietro un algoritmo non è disposta a rilasciare informazioni su come funziona il suo sistema, i modelli di approssimazione come quelli di questa ricerca sono un modo ragionevole per ottenere informazioni, afferma Brendan O'Connor, assistente professore all'Università del Massachusetts , Amherst, che ha pubblicato un articolo sui pregiudizi nell'elaborazione del linguaggio naturale.
Dobbiamo essere consapevoli che ciò sta accadendo e non chiudere gli occhi e comportarci come se non stesse accadendo, dice O'Connor.