211service.com
Come ritenere responsabili gli algoritmi
Gli algoritmi sono ora utilizzati in tutti i settori pubblico e privato, informando le decisioni su qualsiasi cosa, dall'istruzione e dall'occupazione alla giustizia penale. Ma nonostante il potenziale aumento di efficienza, lo possono fare anche gli algoritmi alimentati dai big data amplificare la discriminazione strutturale , produrre errori che negare servizi a privati , o addirittura sedurre un elettorato in un falso senso di sicurezza. In effetti, c'è consapevolezza crescente che il pubblico dovrebbe diffidare del rischi per la società poste dall'eccessivo affidamento su questi sistemi e dal lavoro tienili responsabile .
Vari sforzi del settore, tra cui a consorzio dei colossi della Silicon Valley, stanno iniziando a cimentarsi con l'etica dell'implementazione di algoritmi che possono avere effetti imprevisti sulla società. Gli sviluppatori di algoritmi e i product manager hanno bisogno di nuovi modi per pensare, progettare e implementare sistemi algoritmici in modi pubblicamente responsabili. Negli ultimi mesi, noi e alcuni colleghi hanno cercato di affrontare questi obiettivi creando un insieme di principi per algoritmi responsabili .
Consideriamo un caso in cui la responsabilità algoritmica è assolutamente necessaria: il punteggi di valutazione del rischio che informano le decisioni di giustizia penale nel sistema legale statunitense. Questi punteggi vengono calcolati ponendo una serie di domande relative a cose come l'età dell'imputato, la storia criminale e altre caratteristiche. I dati vengono inseriti in un algoritmo per calcolare un punteggio che può quindi essere utilizzato nelle decisioni sulla custodia cautelare, la libertà vigilata, la libertà condizionale o persino la condanna. E questi modelli sono spesso addestrati utilizzando algoritmi proprietari di apprendimento automatico e dati sui precedenti imputati.
Lo dimostrano le recenti indagini che gli algoritmi di valutazione del rischio possono essere di parte razziale, generando punteggi che, quando sbagliati, più spesso classificano erroneamente gli imputati neri come ad alto rischio. Questi risultati hanno generato notevoli polemiche. Data la natura che letteralmente altera la vita di queste decisioni algoritmiche, dovrebbero ricevere un'attenzione particolare ed essere ritenute responsabili delle conseguenze negative.
Gli algoritmi e i dati che li guidano sono progettati e creati dalle persone. Anche per tecniche come algoritmi genetici che si evolvono da soli, o algoritmi di apprendimento automatico dove il modello risultante non è stato realizzato a mano da una persona, i risultati sono modellati da decisioni di progettazione fatte dall'uomo, regole su cosa ottimizzare e scelte su quali dati di addestramento utilizzare. L'algoritmo non è una scusa accettabile se i sistemi algoritmici commettono errori o hanno conseguenze indesiderate.
La responsabilità implica l'obbligo di segnalare e giustificare il processo decisionale algoritmico e di mitigare eventuali impatti sociali negativi o potenziali danni. Considereremo la responsabilità attraverso la lente di cinque principi fondamentali: responsabilità, spiegabilità, accuratezza, verificabilità ed equità.
Responsabilità . Per qualsiasi sistema algoritmico, è necessario che ci sia una persona con l'autorità per affrontare i suoi effetti negativi sull'individuo o sulla società in modo tempestivo. Questa non è una dichiarazione sulla responsabilità legale, ma piuttosto un focus su vie di ricorso, dialogo pubblico e autorità interna per il cambiamento. Questo potrebbe essere semplice come dare a qualcuno del tuo team tecnico il potere interno e le risorse per cambiare il sistema, assicurandoti che le informazioni di contatto di quella persona siano pubblicamente disponibili.
Spiegabilità . Qualsiasi decisione prodotta da un sistema algoritmico dovrebbe essere spiegabile alle persone interessate da tali decisioni. Queste spiegazioni devono essere accessibili e comprensibili al pubblico di destinazione; le descrizioni puramente tecniche non sono appropriate per il pubblico in generale. Spiegare i punteggi della valutazione del rischio agli imputati e al loro consulente legale promuoverebbe una maggiore comprensione e li aiuterebbe a contestare errori apparenti o dati errati. Alcuni modelli di apprendimento automatico lo sono più spiegabile rispetto ad altri, ma solo perché è coinvolta una rete neurale di fantasia non significa che abbia significato spiegazione non può essere prodotto.
Precisione . Gli algoritmi commettono errori, a causa di errori di dati nei loro input (garbage in, garbage out) o per incertezza statistica nei loro output. Il principio di precisione suggerisce che le fonti di errore e incertezza in un algoritmo e le sue fonti di dati devono essere identificate, registrate e confrontate. Comprendere la natura degli errori prodotti da un sistema algoritmico può informare le procedure di mitigazione.
Verificabilità . Il principio di verificabilità afferma che dovrebbero essere sviluppati algoritmi per consentire a terzi di sondare e rivedere il comportamento di un algoritmo. Consentire agli algoritmi di essere monitorati, controllati e criticati porterebbe a una progettazione più consapevole e a una correzione della rotta in caso di guasto. Mentre ci può essere sfide tecniche nel consentire l'audit pubblico proteggendo le informazioni proprietarie, l'audit privato (come nella contabilità) potrebbe fornire alcune garanzie pubbliche. Ove possibile, anche un accesso limitato (ad esempio tramite un'API) darebbe al pubblico una preziosa opportunità controllare questi socialmente significativi algoritmi.
Equità . Poiché gli algoritmi prendono sempre più decisioni basate su dati storici e sociali, i pregiudizi esistenti e le decisioni umane storicamente discriminatorie rischiano di essere trasformati in decisioni automatizzate. Tutti gli algoritmi che prendono decisioni sugli individui dovrebbero essere valutati per gli effetti discriminatori. I risultati della valutazione ei criteri utilizzati dovrebbero essere resi pubblici e spiegati.
C'è molto spazio per adattare e interpretare questi principi al proprio contesto e, naturalmente, interverranno questioni politiche, proprietarie o commerciali. Ma pensiamo che considerare queste idee durante i cicli di progettazione, implementazione e rilascio di sviluppo porterà a un'implementazione socialmente più responsabile degli algoritmi nella società.
Come si inizia? Descriviamo alcune domande pragmatiche che il team di sviluppo e prodotto può elaborare per formare a dichiarazione di impatto sociale che affronta questi principi .
Nicholas Diakopoulos è un assistente professore presso l'Università del Maryland, College Park. Sorelle Friedler è a n assistente professore all'Haverford College e affiliato al Data & Society Research Institute.