Un algoritmo medico parziale ha favorito i bianchi per i programmi di assistenza sanitaria

Categoria: Intelligenza artificiale Inserito 25 ottobre

Uno studio ha evidenziato i rischi inerenti all'utilizzo dei dati storici per addestrare algoritmi di apprendimento automatico per fare previsioni.

Le notizie: Un algoritmo che molti operatori sanitari statunitensi utilizzano per prevedere quali pazienti avranno più bisogno di cure mediche extra ha privilegiato i pazienti bianchi rispetto ai pazienti neri, secondo i ricercatori dell'UC Berkeley, il cui studio è stato pubblicato su Scienza . In effetti, ha messo i bianchi in coda per trattamenti speciali per condizioni complesse come problemi renali o diabete.

Lo studio: I ricercatori hanno scavato attraverso quasi 50.000 documenti da un grande ospedale accademico non divulgato. Hanno scoperto che ai pazienti bianchi venivano assegnati punteggi di rischio più elevati ed erano quindi più propensi a essere selezionati per cure extra (come più infermieri o appuntamenti dedicati), rispetto ai pazienti neri che in realtà erano ugualmente malati. I ricercatori hanno calcolato che il pregiudizio ha ridotto di oltre la metà la percentuale di pazienti neri che hanno ricevuto un aiuto extra.

Che software era questo? I ricercatori non l'hanno detto, ma il Washington Post lo identifica come Optum, di proprietà dell'assicuratore UnitedHealth. Dice che il suo prodotto è utilizzato per gestire più di 70 milioni di vite. Sebbene i ricercatori si siano concentrati solo su uno strumento particolare, hanno identificato lo stesso difetto nei 10 algoritmi più utilizzati nel settore. Ogni anno, questi strumenti vengono applicati collettivamente a circa 150-200 milioni di persone negli Stati Uniti.

Come si è insinuato il pregiudizio: La razza non era un fattore nel processo decisionale dell'algoritmo (che sarebbe illegale); ha utilizzato la storia medica dei pazienti per prevedere quanto avrebbero probabilmente costato al sistema sanitario. Ma il costo non è una metrica razzista: per ragioni socioeconomiche e di altro tipo, i pazienti neri hanno storicamente sostenuto costi sanitari inferiori rispetto ai pazienti bianchi con le stesse condizioni. Di conseguenza, l'algoritmo ha assegnato ai pazienti bianchi gli stessi punteggi dei pazienti neri che erano significativamente più malati.

Una piccola grazia salvifica: I ricercatori hanno lavorato con Optum per correggere il problema. Hanno ridotto la disparità di oltre l'80% creando una versione che prevede sia i costi futuri di un paziente sia il numero di volte in cui una condizione cronica potrebbe infiammarsi nel prossimo anno. Quindi il pregiudizio algoritmico può essere corretto, se, e purtroppo, è un grande se, puoi prenderlo.

Perchè importa: Lo studio è l'ultimo a mostrare le insidie ​​dell'allocazione di risorse importanti secondo la raccomandazione degli algoritmi. Questo tipo di sfide si sta manifestando non solo nell'assistenza sanitaria, ma anche nelle assunzioni, nel credit scoring, nelle assicurazioni e nella giustizia penale.

Leggi il prossimo: la nostra spiegazione interattiva su come il pregiudizio dell'IA influisce sul sistema legale penale e perché è così difficile da eliminare.