211service.com
È così che si verifica davvero la distorsione dell'IA e perché è così difficile da correggere
la signora Tech; Foto: STUDIO PIXOLOGIC/BIBLIOTECA FOTOGRAFICA SCIENTIFICA
Negli ultimi mesi abbiamo documentato come la stragrande maggioranza delle applicazioni dell'IA oggi si basi sulla categoria di algoritmi nota come deep learning e come gli algoritmi di deep learning trovino modelli nei dati. Abbiamo anche spiegato come queste tecnologie influiscono sulla vita delle persone: come possono perpetuare l'ingiustizia nelle assunzioni, nella vendita al dettaglio e nella sicurezza e potrebbero già farlo nel sistema legale penale.
Ma non basta sapere che questo pregiudizio esiste. Se vogliamo essere in grado di risolverlo, dobbiamo innanzitutto capire i meccanismi di come si presenta.
Come si verifica la distorsione dell'IA
Spesso abbreviamo la nostra spiegazione della distorsione dell'IA incolpandola di dati di addestramento distorti. La realtà è più sfumata: i pregiudizi possono insinuarsi molto prima dei dati è raccolto così come a molte altre fasi del processo di deep learning. Ai fini di questa discussione, ci concentreremo su tre fasi chiave.
Inquadrare il problema. La prima cosa che fanno gli informatici quando creano un modello di deep learning è decidere cosa vogliono effettivamente che ottenga. Una società di carte di credito, ad esempio, potrebbe voler prevedere l'affidabilità creditizia di un cliente, ma l'affidabilità creditizia è un concetto piuttosto nebuloso. Per tradurlo in qualcosa che può essere calcolato, l'azienda deve decidere se vuole, ad esempio, massimizzare i suoi margini di profitto o massimizzare il numero di prestiti che vengono rimborsati. Potrebbe quindi definire il merito di credito nel contesto di tale obiettivo. Il problema è che queste decisioni vengono prese per vari motivi aziendali diversi dall'equità o dalla discriminazione, spiega Solon Barocas, un assistente professore alla Cornell University specializzato in equità nell'apprendimento automatico. Se l'algoritmo scoprisse che concedere prestiti subprime era un modo efficace per massimizzare il profitto, finirebbe per assumere comportamenti predatori anche se non era nelle intenzioni dell'azienda.
Raccolta dei dati. Esistono due modi principali in cui la distorsione si manifesta nei dati di addestramento: o i dati raccolti non sono rappresentativi della realtà o riflettono pregiudizi esistenti. Il primo caso potrebbe verificarsi, ad esempio, se un algoritmo di deep learning riceve più foto di volti dalla pelle chiara rispetto a quelli dalla pelle scura. Il sistema di riconoscimento facciale risultante sarebbe inevitabilmente peggiore nel riconoscere i volti dalla pelle più scura. Il secondo caso è esattamente quello che è successo quando Amazon ha scoperto che il suo strumento di reclutamento interno lo era licenziare le candidate donne . Poiché è stato formato sulle decisioni di assunzione storiche, che hanno favorito gli uomini rispetto alle donne, ha imparato a fare lo stesso.
Preparazione dei dati. Infine, è possibile introdurre bias durante la fase di preparazione dei dati, che prevede la selezione di quali attributi si desidera che l'algoritmo consideri. (Questo non deve essere confuso con la fase di inquadramento del problema. È possibile utilizzare gli stessi attributi per addestrare un modello per obiettivi molto diversi o utilizzare attributi molto diversi per addestrare un modello per lo stesso obiettivo.) Nel caso della modellazione dell'affidabilità creditizia, un attributo potrebbe essere l'età, il reddito o il numero di prestiti estinti del cliente. Nel caso dello strumento di reclutamento di Amazon, un attributo potrebbe essere il sesso, il livello di istruzione o gli anni di esperienza del candidato. Questo è ciò che le persone spesso chiamano l'arte del deep learning: scegliere quali attributi considerare o ignorare può influenzare in modo significativo l'accuratezza della previsione del tuo modello. Ma mentre il suo impatto sull'accuratezza è facile da misurare, il suo impatto sulla distorsione del modello non lo è.
Perché la distorsione dell'IA è difficile da correggere
Dato quel contesto, alcune delle sfide dell'attenuazione dei pregiudizi potrebbero già esservi evidenti. Qui ne evidenziamo quattro principali.
Incognite sconosciute. L'introduzione della distorsione non è sempre ovvia durante la costruzione di un modello perché potresti non renderti conto dell'impatto a valle dei tuoi dati e delle tue scelte molto più tardi. Una volta che lo fai, è difficile identificare retroattivamente da dove provenga quel pregiudizio e poi capire come sbarazzartene. Nel caso di Amazon, quando gli ingegneri hanno scoperto inizialmente che il suo strumento stava penalizzando le candidate donne, lo hanno riprogrammato per ignorare parole esplicitamente di genere come quelle delle donne. Presto scoprirono che il sistema rivisto stava ancora riprendendo implicitamente parole di genere —verbi che erano altamente correlati con gli uomini rispetto alle donne, come giustiziati e catturati — e che usavano quelli per prendere le sue decisioni.
Processi imperfetti. In primo luogo, molte delle pratiche standard nell'apprendimento profondo non sono progettate pensando al rilevamento dei pregiudizi. I modelli di deep learning vengono testati per le prestazioni prima di essere implementati, creando quella che sembrerebbe un'opportunità perfetta per cogliere i pregiudizi. Ma in pratica, i test di solito si presentano così: gli informatici dividono casualmente i loro dati prima di formazione in un gruppo effettivamente utilizzato per l'allenamento e un altro riservato alla convalida una volta terminato l'allenamento. Ciò significa che i dati che utilizzi per testare le prestazioni del tuo modello hanno gli stessi bias dei dati che hai utilizzato per addestrarlo. Pertanto, non riuscirà a contrassegnare i risultati distorti o prevenuti.
Mancanza di contesto sociale. Allo stesso modo, il modo in cui viene insegnato agli informatici a inquadrare i problemi spesso non è compatibile con il modo migliore di pensare ai problemi sociali. Ad esempio, nel una nuova carta , Andrew Selbst, un postdoc presso il Data & Society Research Institute, identifica quella che chiama la trappola della portabilità. All'interno dell'informatica, è considerata buona pratica progettare un sistema che può essere utilizzato per compiti diversi in contesti diversi. Ma ciò che fa è ignorare molto contesto sociale, dice Selbst. Non puoi avere un sistema progettato nello Utah e poi applicato direttamente nel Kentucky perché comunità diverse hanno versioni diverse di equità. Oppure non puoi avere un sistema che richieda risultati di giustizia penale 'equi' e poi applicato all'occupazione. Il modo in cui pensiamo all'equità in quei contesti è completamente diverso.
Le definizioni di equità. Inoltre, non è chiaro come dovrebbe essere l'assenza di pregiudizi. Questo non è vero solo nell'informatica: questa domanda ha una lunga storia di dibattiti in filosofia, scienze sociali e diritto. La differenza dell'informatica è che il concetto di equità deve essere definito in termini matematici, come bilanciare i tassi di falsi positivi e falsi negativi di un sistema di previsione. Ma come hanno scoperto i ricercatori, esistono molte definizioni matematiche di equità che si escludono a vicenda. L'equità significa, ad esempio, che il stessa proporzione degli individui in bianco e nero dovrebbe ottenere punteggi di valutazione del rischio elevato? O che il stesso livello di rischio dovrebbe portare allo stesso punteggio indipendentemente dalla razza? È impossibile soddisfare entrambe le definizioni contemporaneamente ( ecco uno sguardo più approfondito al perché), quindi a un certo punto devi sceglierne uno. Ma mentre in altri campi questa decisione è intesa come qualcosa che può cambiare nel tempo, il campo dell'informatica ha l'idea che dovrebbe essere aggiustata. Fissando la risposta, stai risolvendo un problema che sembra molto diverso da come la società tende a pensare a questi problemi, afferma Selbst.
Dove andiamo da qui
Se ti stai riprendendo dal nostro vorticoso tour dell'intera portata del problema del bias dell'IA, lo sono anch'io. Ma fortunatamente un forte contingente di ricercatori dell'IA sta lavorando duramente per affrontare il problema. Hanno adottato una varietà di approcci: algoritmi che aiutano rilevare e mitigare pregiudizi nascosti all'interno dei dati di addestramento o che mitigano il pregiudizi appreso dal modello indipendentemente dalla qualità dei dati; processi che detengono società responsabile a risultati più equi e discussioni che elimina le diverse definizioni di equità.
La 'correzione' della discriminazione nei sistemi algoritmici non è qualcosa che può essere risolta facilmente, afferma Selbst. È un processo in corso, proprio come la discriminazione in qualsiasi altro aspetto della società.
Questo è apparso originariamente nella nostra newsletter AI The Algorithm. Per riceverlo direttamente nella tua casella di posta, registrati qui gratuitamente.