I revisori dei conti stanno testando gli algoritmi di assunzione per individuare eventuali pregiudizi, ma non esiste una soluzione facile

Gli audit dell'IA possono trascurare alcuni tipi di pregiudizi e non verificano necessariamente che uno strumento di assunzione scelga i migliori candidati per un lavoro.

Simone Simard

di

• Hilke Schellmann pagina di archivio

11 febbraio 2021

Sono a casa a giocare a un videogioco sul mio computer. Il mio lavoro è gonfiare un palloncino alla volta e guadagnare più soldi possibile. Ogni volta che clicco su Pompa, il fumetto si espande e ricevo cinque centesimi virtuali. Ma se il fumetto si apre prima che premo Raccogli, tutti i miei guadagni digitali scompaiono.

Dopo aver riempito 39 palloncini, ho guadagnato $ 14,40. Sullo schermo viene visualizzato un messaggio: mantieni un approccio coerente in situazioni ad alto rischio. Caratteristica misurata: Rischio.

Questo gioco fa parte di una serie realizzata da una società chiamata Pymetrics, che molte grandi aziende statunitensi assumono per selezionare i candidati al lavoro. Se ti candidi a McDonald's, Boston Consulting Group, Kraft Heinz o Colgate-Palmolive, ti potrebbe essere chiesto di giocare ai giochi di Pymetrics.

Mentre gioco, un sistema di intelligenza artificiale misura i tratti tra cui la generosità, l'equità e l'attenzione. Se stavo effettivamente facendo domanda per una posizione, il sistema confronterebbe i miei punteggi con quelli dei dipendenti che già lavorano in quel lavoro. Se il mio profilo di personalità riflettesse i tratti più specifici delle persone che hanno successo nel ruolo, passerei alla fase di assunzione successiva.

Sempre più aziende utilizzano strumenti di assunzione basati sull'intelligenza artificiale come questi per gestire la marea di domande che ricevono, soprattutto ora che negli Stati Uniti ci sono circa il doppio dei lavoratori senza lavoro rispetto a prima della pandemia. Un sondaggio degli oltre 7.300 gestori di risorse umane in tutto il mondo di Mercer, una società di gestione patrimoniale, ha rilevato che la percentuale di coloro che affermano che il proprio dipartimento utilizza l'analisi predittiva è balzata dal 10% nel 2016 al 39% nel 2020.

Immagini del prodotto principale di Pymetrics, una suite di 12 giochi basati sull'intelligenza artificiale che secondo l'azienda possono discernere gli attributi sociali, cognitivi ed emotivi di un candidato.

PIMETRIA

Come con altre applicazioni di intelligenza artificiale, tuttavia, i ricercatori hanno scoperto che alcuni strumenti di assunzione producono risultati distorti —favorendo inavvertitamente uomini o persone provenienti da determinati contesti socioeconomici, per esempio. Molti ora stanno sostenendo una maggiore trasparenza e una maggiore regolamentazione. Una soluzione in particolare viene proposta più e più volte: gli audit dell'IA.

L'anno scorso, Pymetrics ha pagato un team di informatici della Northeastern University per controllare il suo algoritmo di assunzione. È stata una delle prime volte in cui un'azienda del genere ha richiesto un audit di terze parti del proprio strumento. L'amministratore delegato Frida Polli mi ha detto che pensava che l'esperienza potesse essere un modello per il rispetto di una proposta di legge che richiede tali audit per le aziende di New York City, dove ha sede Pymetrics.

Pymetrics commercializza il suo software come completamente privo di bias.

Quello che sta facendo Pymetrics, che sta coinvolgendo una terza parte neutrale per l'audit, è davvero una buona direzione in cui muoversi, afferma Pauline Kim, professore di diritto alla Washington University di St. Louis, che ha esperienza in diritto del lavoro e artificiale intelligenza. Se riescono a spingere il settore a essere più trasparente, è un passo avanti davvero positivo.

Nonostante tutta l'attenzione che gli audit dell'IA hanno ricevuto, tuttavia, la loro capacità di rilevare e proteggere effettivamente dai pregiudizi rimane non dimostrata. Il termine audit AI può significare molte cose diverse, il che rende difficile fidarsi dei risultati degli audit in generale. Gli audit più rigorosi possono ancora avere una portata limitata. E anche con l'accesso illimitato alle viscere di un algoritmo, può essere sorprendentemente difficile dire con certezza se tratta i candidati in modo equo. Nel migliore dei casi, gli audit forniscono un quadro incompleto e, nel peggiore dei casi, potrebbero aiutare le aziende a nascondere pratiche problematiche o controverse dietro il timbro di approvazione di un revisore dei conti.

All'interno di un audit AI

Molti tipi di strumenti di assunzione dell'IA sono già in uso oggi. Includono software che analizza le espressioni facciali, il tono e il linguaggio di un candidato durante le interviste video, nonché programmi che scansionano i curriculum, predicono la personalità o indagano sull'attività sui social media di un candidato.

Indipendentemente dal tipo di strumento che stanno vendendo, i fornitori di assunzione di intelligenza artificiale generalmente promettono che queste tecnologie troveranno candidati più qualificati e più diversificati a costi inferiori e in meno tempo rispetto ai tradizionali dipartimenti delle risorse umane. Tuttavia, ci sono pochissime prove che lo facciano, e in ogni caso non è ciò per cui l'audit AI dell'algoritmo di Pymetrics ha testato. Invece, mirava a determinare se un particolare strumento di assunzione discrimina gravemente i candidati sulla base della razza o del sesso.

Christo Wilson della Northeastern aveva già esaminato gli algoritmi, compresi quelli che guidare l'aumento dei prezzi di Uber e il motore di ricerca di Google . Ma fino a quando Pymetrics non ha chiamato, non aveva mai lavorato direttamente con un'azienda su cui stava indagando.

Il team di Wilson, che comprendeva il suo collega Alan Mislove e due studenti laureati, si basava sui dati di Pymetrics e aveva accesso ai data scientist dell'azienda. I revisori erano indipendenti dal punto di vista editoriale, ma hanno deciso di notificare a Pymetrics eventuali risultati negativi prima della pubblicazione. La società ha pagato a Northeastern $ 104.465 tramite una concessione , inclusi $ 64.813 destinati agli stipendi di Wilson e del suo team.

Storia correlata

Il porno deepfake sta rovinando la vita delle donne. Ora la legge potrebbe finalmente vietarlo.

Dopo anni di attivisti che lottano per proteggere le vittime della violenza sessuale basata sulle immagini, i deepfake stanno finalmente costringendo i legislatori a prestare attenzione.

Il prodotto principale di Pymetrics è una suite di 12 giochi su cui si dice siano principalmente basati esperimenti di scienze cognitive . Le partite non sono fatte per essere vinte o perse; sono progettati per discernere gli attributi cognitivi, sociali ed emotivi di un candidato, inclusa la tolleranza al rischio e la capacità di apprendimento. Pymetrics commercializza il suo software come del tutto privo di pregiudizi . Pymetrics e Wilson hanno deciso che i revisori dei conti si sarebbero concentrati strettamente su una domanda specifica: i modelli dell'azienda sono equi?

Hanno basato la definizione di equità su quella che è colloquialmente nota come la regola dei quattro quinti, che è diventata uno standard di assunzione informale negli Stati Uniti. Pubblicata la Commissione per le Pari Opportunità di Lavoro (EEOC). linee guida nel 1978 affermando che le procedure di assunzione dovrebbero selezionare all'incirca la stessa proporzione di uomini e donne e di persone di diversi gruppi razziali. Secondo la regola dei quattro quinti, spiega Kim, se gli uomini passano il 100% delle volte alla fase successiva del processo di assunzione, le donne devono passare almeno l'80% delle volte.

Se gli strumenti di assunzione di un'azienda violano la regola dei quattro quinti, l'EEOC potrebbe dare un'occhiata più da vicino alle sue pratiche. Per un datore di lavoro, non è un cattivo assegno, dice Kim. Se i datori di lavoro si assicurano che questi strumenti non siano gravemente discriminatori, con ogni probabilità non attireranno l'attenzione delle autorità di regolamentazione federali.

Per capire se il software di Pymetrics ha cancellato questa barra, il team di Northeastern ha dovuto prima cercare di capire come funziona lo strumento.

Quando un nuovo cliente si iscrive a Pymetrics, deve selezionare almeno 50 dipendenti che hanno avuto successo nel ruolo che desidera ricoprire. Questi dipendenti giocano ai giochi di Pymetrics per generare dati di formazione. Successivamente, il sistema di Pymetrics confronta i dati di quei 50 dipendenti con i dati di gioco di oltre 10.000 persone selezionate casualmente tra oltre due milioni. Il sistema costruisce quindi un modello che identifica e classifica le competenze più specifiche per i dipendenti di successo del cliente.

Per verificare la presenza di pregiudizi, Pymetrics esegue questo modello rispetto a un altro set di dati di circa 12.000 persone (selezionate casualmente tra oltre 500.000) che non solo hanno giocato ai giochi, ma hanno anche rivelato i propri dati demografici in un sondaggio. L'idea è di determinare se il modello supererebbe il test dei quattro quinti se valutasse queste 12.000 persone.

Se il sistema rileva eventuali pregiudizi, costruisce e testa più modelli finché non ne trova uno che preveda il successo e produca all'incirca le stesse percentuali di superamento per uomini e donne e per membri di tutti i gruppi razziali. In teoria, quindi, anche se la maggior parte dei dipendenti di successo di un cliente sono uomini bianchi, Pymetrics può correggere i pregiudizi confrontando i dati di gioco di quegli uomini con i dati di donne e persone di altri gruppi razziali. Quello che sta cercando sono punti dati che predicono tratti che non sono correlati alla razza o al sesso ma distinguono i dipendenti di successo.

Christo Wilson della Northeastern University

SIMONE SIMARD

Wilson e il suo team di revisori dei conti volevano capire se il meccanismo anti-bias di Pymetrics previene effettivamente i pregiudizi e se può essere ingannato. Per fare ciò, hanno sostanzialmente provato a giocare con il sistema, ad esempio, duplicando i dati di gioco dello stesso uomo bianco molte volte e cercando di usarli per costruire un modello. Il risultato è sempre stato lo stesso: il modo in cui il loro codice è strutturato e il modo in cui gli scienziati dei dati utilizzano lo strumento, non c'era un modo ovvio per indurli essenzialmente a produrre qualcosa di parziale e chiarirlo, afferma Wilson.

Lo scorso autunno, i revisori hanno condiviso i loro risultati con l'azienda: il sistema di Pymetrics soddisfa la regola dei quattro quinti. Il team nord-orientale ha recentemente pubblicato lo studio dell'algoritmo online e presenterà una relazione sul lavoro a marzo alla conferenza sulla responsabilità algoritmica FAccT.

Il grande vantaggio è che Pymetrics sta effettivamente facendo un ottimo lavoro, afferma Wilson.

Una soluzione imperfetta

Ma sebbene il software di Pymetrics soddisfi la regola dei quattro quinti, l'audit non ha dimostrato che lo strumento sia esente da pregiudizi di sorta, né che scelga effettivamente i candidati più qualificati per qualsiasi lavoro.

In effetti, sembrava che la domanda posta fosse più 'Pymetrics sta facendo quello che dicono di fare?' piuttosto che 'Stanno facendo la cosa giusta o corretta?', afferma Manish Raghavan, uno studente di dottorato in informatica alla Cornell University, che ha pubblicato ampiamente sull'intelligenza artificiale e sulle assunzioni.

Sembrava effettivamente che la domanda posta fosse più 'Pymetrics sta facendo quello che dicono di fare?' anziché 'Stanno facendo la cosa giusta o corretta?'

Ad esempio, la regola dei quattro quinti richiede solo che persone di generi e gruppi razziali diversi passino al round successivo del processo di assunzione all'incirca alle stesse tariffe. Uno strumento di assunzione di intelligenza artificiale potrebbe soddisfare tale requisito ed essere ancora estremamente incoerente nel prevedere quanto bene persone di gruppi diversi abbiano effettivamente successo nel lavoro una volta assunte. E se uno strumento prevede il successo più accuratamente per gli uomini rispetto alle donne, ad esempio, ciò significherebbe che in realtà non sta identificando le donne più qualificate, quindi le donne che vengono assunte potrebbero non avere lo stesso successo sul lavoro, afferma Kim.

Un altro problema che né la regola dei quattro quinti né l'audit di Pymetrics affrontano è l'intersezionalità. La regola confronta gli uomini con le donne e un gruppo razziale con un altro per vedere se superano gli stessi tassi, ma non confronta, diciamo, uomini bianchi con uomini asiatici o donne nere. Potresti avere qualcosa che soddisfi la regola dei quattro quinti [per] uomini contro donne, neri contro bianchi, ma potrebbe mascherare un pregiudizio contro le donne nere, dice Kim.

Pymetrics non è l'unica azienda che ha controllato la sua IA. HireVue, un altro grande fornitore di software per l'assunzione di intelligenza artificiale, ha fatto valutare uno dei suoi algoritmi a una società chiamata O'Neil Risk Consulting and Algorithmic Auditing (ORCAA). Quell'azienda è di proprietà di Cathy O'Neil, una scienziata di dati e autrice di armi di distruzione matematica, uno dei libri popolari seminali sul pregiudizio dell'IA, che ha sostenuto per anni gli audit dell'IA.

ORCAA e HireVue hanno concentrato il loro audit su un prodotto: le valutazioni delle assunzioni di HireVue, che molte aziende utilizzano per valutare i neolaureati. In questo caso, ORCAA non ha valutato il progetto tecnico dello strumento stesso. Invece, l'azienda ha intervistato le parti interessate (tra cui un candidato di lavoro, un esperto di etica dell'intelligenza artificiale e diverse organizzazioni non profit) sui potenziali problemi con gli strumenti e ha fornito raccomandazioni a HireVue per migliorarli. Il rapporto finale è pubblicato sul sito web di HireVue ma può essere letto solo dopo aver firmato un accordo di riservatezza.

Alex Engler, un collega della Brookings Institution che ha studiato gli strumenti di assunzione dell'IA e che ha familiarità con entrambi gli audit, ritiene che quello di Pymetrics sia il migliore: c'è una grande differenza nella profondità dell'analisi che è stata abilitata, dice. Ma ancora una volta, nessuno dei due audit ha esaminato se i prodotti aiutano davvero le aziende a fare scelte di assunzione migliori. Ed entrambi sono stati finanziati dalle società sottoposte a revisione, il che crea un piccolo rischio che il revisore sia influenzato dal fatto che si tratta di un cliente, afferma Kim.

Per questi motivi, affermano i critici, gli audit volontari non sono sufficienti. I data scientist e gli esperti di responsabilità stanno ora spingendo per una regolamentazione più ampia degli strumenti di assunzione dell'IA, nonché standard per il loro controllo.

Colmare le lacune

Alcune di queste misure stanno iniziando a comparire negli Stati Uniti. Nel 2019, i senatori Cory Booker e Ron Wyden e il rappresentante Yvette Clarke hanno introdotto il Legge sulla responsabilità algoritmica rendere obbligatori gli audit di bias per tutte le grandi aziende che utilizzano l'IA, sebbene il disegno di legge non sia stato ratificato.

Nel frattempo, c'è qualche movimento a livello statale. Il Legge sulle interviste video AI in Illinois, che è entrato in vigore nel gennaio 2020, richiede alle aziende di dire ai candidati quando utilizzano l'IA nelle interviste video. Anche le città stanno prendendo provvedimenti: a Los Angeles, ha proposto il membro del consiglio comunale Joe Buscaino una giusta mozione di assunzione per i sistemi automatizzati nel mese di novembre.

Il Bolletta di New York in particolare potrebbe servire da modello per città e stati a livello nazionale. Renderebbe obbligatori gli audit annuali per i fornitori di strumenti di assunzione automatizzati. Richiederebbe inoltre alle aziende che utilizzano gli strumenti di dire ai candidati quali caratteristiche sono state utilizzate dal loro sistema per prendere una decisione.

Ma la questione di come sarebbero effettivamente quegli audit annuali rimane aperta. Per molti esperti, un audit sulla falsariga di ciò che ha fatto Pymetrics non andrebbe molto lontano nel determinare se questi sistemi discriminano, dal momento che tale audit non ha verificato l'intersezionalità o valutato la capacità dello strumento di misurare accuratamente i tratti che afferma di misurare per persone di diverse razze e generi.

E molti critici vorrebbero vedere l'audit svolto dal governo invece che da società private, per evitare conflitti di interesse. Ci dovrebbe essere una regolamentazione preventiva in modo che prima di utilizzare uno di questi sistemi, la Commissione per le pari opportunità di lavoro dovrebbe esaminarlo e quindi concederlo in licenza, afferma Frank Pasquale, professore alla Brooklyn Law School ed esperto di responsabilità algoritmica. Ha in mente un processo di pre-approvazione per strumenti di assunzione algoritmici simili a quelli che la Food and Drug Administration usa con i farmaci.

Finora, l'EEOC non ha nemmeno emesso linee guida chiare sugli algoritmi di assunzione che sono già in uso. Ma le cose potrebbero iniziare a cambiare presto. In dicembre, 10 senatori ha inviato una lettera all'EEOC chiedendo se ha l'autorità per iniziare a controllare i sistemi di assunzione dell'IA per prevenire la discriminazione nei confronti delle persone di colore, che sono già state colpite in modo sproporzionato dalla perdita di posti di lavoro durante la pandemia.