211service.com
L'IA non può prevedere come andrà a finire la vita di un bambino anche con una tonnellata di dati
SHARON MCCUTCHEON / UNSPLASH
I responsabili politici spesso attingono al lavoro degli scienziati sociali per prevedere in che modo politiche specifiche potrebbero influenzare i risultati sociali come l'occupazione oi tassi di criminalità. L'idea è che se riescono a capire come diversi fattori potrebbero cambiare la traiettoria della vita di qualcuno, possono proporre interventi per promuovere i migliori risultati.
Negli ultimi anni, tuttavia, si sono affidati sempre più all'apprendimento automatico, che promette di produrre previsioni molto più precise elaborando quantità di dati molto maggiori. Tali modelli sono ora utilizzati per prevedere la probabilità che un imputato possa essere arrestato per un secondo crimine, o quello un bambino è a rischio per abuso e abbandono in casa. Il presupposto è che un algoritmo alimentato con dati sufficienti su una determinata situazione farà previsioni più accurate rispetto a un'analisi statistica umana o più elementare.
Ora un nuovo studio pubblicato negli Atti della National Academy of Sciences mette in dubbio l'efficacia di questo approccio. Tre sociologi dell'Università di Princeton hanno chiesto a centinaia di ricercatori di prevedere sei risultati di vita per bambini, genitori e famiglie utilizzando quasi 13.000 punti dati su oltre 4.000 famiglie. Nessuno dei ricercatori si è nemmeno avvicinato a un livello ragionevole di accuratezza, indipendentemente dal fatto che utilizzassero statistiche semplici o apprendimento automatico all'avanguardia.
Lo studio mette davvero in evidenza questa idea che, in fin dei conti, gli strumenti di apprendimento automatico non sono magici, afferma Alice Xiang, responsabile della ricerca sull'equità e la responsabilità presso la Partnership senza scopo di lucro sull'IA.
I ricercatori hanno utilizzato i dati di uno studio di sociologia di 15 anni chiamato the Studio sulle famiglie fragili e sul benessere dei bambini , guidato da Sara McLanahan, professoressa di sociologia e affari pubblici a Princeton e uno degli autori principali del nuovo articolo. Lo studio originale ha cercato di capire come potrebbe essere la vita dei bambini nati da genitori non sposati nel tempo. Le famiglie sono state selezionate casualmente da bambini nati negli ospedali delle grandi città degli Stati Uniti durante l'anno 2000. Sono state seguite per la raccolta dei dati quando i bambini avevano 1, 3, 5, 9 e 15 anni.
McLanahan e i suoi colleghi Matthew Salganik e Ian Lundberg hanno quindi progettato una sfida per raccogliere previsioni su sei risultati nella fase finale che hanno ritenuto sociologicamente importanti. Questi includevano la media dei voti dei bambini a scuola; il loro livello di grinta, o perseveranza autodichiarata a scuola; e il livello generale di povertà nella loro famiglia. Ai partecipanti alla sfida di varie università è stata fornita solo una parte dei dati per addestrare i loro algoritmi, mentre gli organizzatori ne hanno trattenuti alcuni per le valutazioni finali. Nel corso di cinque mesi, centinaia di ricercatori, inclusi informatici, statistici e sociologi computazionali, hanno poi presentato le loro migliori tecniche per la previsione.
Il fatto che nessuna presentazione sia stata in grado di ottenere un'elevata precisione su nessuno dei risultati ha confermato che i risultati non erano un colpo di fortuna. Non puoi spiegarlo in base al fallimento di un particolare ricercatore o di una particolare tecnica di apprendimento automatico o intelligenza artificiale, afferma Salganik, professore di sociologia. Anche le tecniche di apprendimento automatico più complicate non erano molto più accurate di metodi molto più semplici.
Per gli esperti che studiano l'uso dell'IA nella società, i risultati non sono poi così sorprendenti. Anche gli algoritmi di valutazione del rischio più accurati nel sistema di giustizia penale, ad esempio, raggiungono un massimo del 60% o del 70%, afferma Xiang. Forse in astratto suona abbastanza bene, aggiunge, ma i tassi di recidiva possono comunque essere inferiori al 40%. Ciò significa che prevedere l'assenza di recidive ti consentirà già di ottenere un tasso di precisione superiore al 60%.
Allo stesso modo, la ricerca ha ripetutamente dimostrato che in contesti in cui un algoritmo sta valutando il rischio o scegliendo dove indirizzare le risorse, algoritmi semplici e spiegabili spesso hanno quasi lo stesso potere di previsione delle tecniche black-box come il deep learning. Il vantaggio aggiuntivo delle tecniche black-box, quindi, non vale i grandi costi di interpretabilità.
I risultati non significano necessariamente che gli algoritmi predittivi, basati o meno sull'apprendimento automatico, non saranno mai strumenti utili nel mondo delle politiche. Alcuni ricercatori sottolineano, ad esempio, che i dati raccolti ai fini della ricerca sociologica sono diversi dai dati tipicamente analizzati nel processo decisionale.
Anche Rashida Richardson, direttrice delle politiche presso l'istituto AI Now, che studia l'impatto sociale dell'IA, rileva preoccupazioni nel modo in cui è stato inquadrato il problema delle previsioni. Se un bambino ha grinta, ad esempio, è un giudizio intrinsecamente soggettivo che la ricerca ha dimostrato essere un costrutto razzista per misurare il successo e le prestazioni, dice. Il dettaglio l'ha immediatamente portata a pensare, oh non c'è modo che funzioni.
Salganik riconosce anche i limiti dello studio.
Ma sottolinea che mostra perché i responsabili politici dovrebbero prestare maggiore attenzione nel valutare l'accuratezza degli strumenti algoritmici in modo trasparente. Avere una grande quantità di dati e avere un apprendimento automatico complicato non garantisce una previsione accurata, aggiunge. I responsabili politici che non hanno molta esperienza di lavoro con l'apprendimento automatico potrebbero avere aspettative non realistiche al riguardo.
Per ricevere più storie come questa direttamente nella tua casella di posta, iscriviti alla nostra newsletter AI nominata da Webby The Algorithm. È gratis.