Abbiamo testato gli strumenti di intervista AI. Ecco cosa abbiamo trovato.

Dopo più di un anno dalla pandemia di covid-19, milioni di persone cercano lavoro negli Stati Uniti. Il software per interviste basato sull'intelligenza artificiale afferma di aiutare i datori di lavoro a setacciare le domande per trovare le persone migliori per il lavoro. Le aziende specializzate in questa tecnologia hanno segnalato un'impennata negli affari durante la pandemia.

Ma con l'aumento della domanda di queste tecnologie, aumenta anche la domanda domande sulla loro accuratezza e affidabilità . Nell'ultimo episodio del podcast In Machines We Trust del MIT Technology Review, abbiamo testato il software di due aziende specializzate in colloqui di lavoro con intelligenza artificiale, La mia intervista e Cosa curiosa . E abbiamo riscontrato variazioni nelle previsioni e nei punteggi di corrispondenza del lavoro che sollevano preoccupazioni su cosa stanno valutando esattamente questi algoritmi.

Conoscerti, riuscire a conoscerti

MyInterview misura i tratti considerati nel Big Five Personality Test, una valutazione psicometrica spesso utilizzata nel processo di assunzione. Questi tratti includono apertura, coscienziosità, estroversione, gradevolezza e stabilità emotiva. Curious Thing misura anche i tratti legati alla personalità, ma invece dei Big Five, i candidati vengono valutati su altre metriche, come l'umiltà e la resilienza.

Questa schermata mostra il punteggio di corrispondenza e l'analisi della personalità del nostro candidato su MyInterview dopo aver risposto a tutte le domande del colloquio in tedesco anziché in inglese.

HELKE SCHELLMANN

Gli algoritmi analizzano le risposte dei candidati per determinare i tratti della personalità. MyInterview compila anche i punteggi che indicano quanto un candidato corrisponda alle caratteristiche identificate dai responsabili delle assunzioni come ideali per la posizione.

Per completare i nostri test, abbiamo prima impostato il software. Abbiamo caricato un falso annuncio di lavoro per un amministratore/ricercatore di ufficio sia su MyInterview che Curious Thing. Quindi abbiamo costruito il nostro candidato ideale scegliendo i tratti legati alla personalità quando richiesto dal sistema.

Su MyInterview, abbiamo selezionato caratteristiche come l'attenzione ai dettagli e le abbiamo classificate in base al livello di importanza. Abbiamo anche selezionato le domande del colloquio, che vengono visualizzate sullo schermo mentre il candidato registra le risposte video. In Curious Thing, abbiamo selezionato caratteristiche come umiltà, adattabilità e resilienza.

Uno di noi, Hilke, ha quindi presentato domanda per la posizione e ha completato le interviste per il ruolo sia in MyInterview che Curious Thing.

Il nostro candidato ha completato un colloquio telefonico con Curious Thing. Per prima cosa ha fatto un regolare colloquio di lavoro e ha ricevuto un 8,5 su 9 per la competenza in inglese. In un secondo tentativo, l'intervistatrice automatizzata ha posto le stesse domande e ha risposto a ciascuna leggendo la voce di Wikipedia per la psicometria in tedesco.

Eppure Curious Thing le ha assegnato un 6 su 9 per la competenza in inglese. Ha completato di nuovo l'intervista e ha ricevuto lo stesso punteggio.

Uno screenshot mostra il punteggio di competenza in inglese del nostro candidato nel software di Curious Thing dopo che ha risposto a tutte le domande in tedesco.

HELKE SCHELLMANN

Il nostro candidato si è rivolto a MyInterview e ha ripetuto l'esperimento. Ha letto la stessa voce di Wikipedia ad alta voce in tedesco. L'algoritmo non solo ha restituito una valutazione della personalità, ma ha anche previsto che la nostra candidata corrispondesse al 73% per il lavoro falso, mettendola nella metà superiore di tutti i candidati a cui avevamo chiesto di candidarsi.

MyInterview fornisce ai responsabili delle assunzioni una trascrizione delle loro interviste. Quando abbiamo esaminato la trascrizione della nostra candidata, abbiamo scoperto che il sistema interpretava le sue parole tedesche come parole inglesi. Ma la trascrizione non aveva alcun senso. Le prime righe, che corrispondono alla risposta fornita sopra, recitano:

|_+_|

Non corrispondenti

Invece di valutare la nostra candidata in base al contenuto delle sue risposte, l'algoritmo ha estratto i tratti della personalità dalla sua voce, dice Clayton Donnelly , uno psicologo industriale e organizzativo che lavora con MyInterview.

Ma l'intonazione non è un indicatore affidabile dei tratti della personalità, dice Fred Osvaldo , professore di psicologia organizzativa industriale presso Università del Riso . Non possiamo davvero usare l'intonazione come dati per l'assunzione, dice. Questo non sembra giusto, affidabile o valido.

Anche l'uso di domande aperte per determinare i tratti della personalità pone sfide significative, anche quando, o forse soprattutto quando, quel processo è automatizzato. Ecco perché molti test della personalità, come i Big Five, offrono alle persone opzioni tra cui scegliere.

Il punto di fondo è che la personalità è difficile da scovare in questo senso aperto, dice Oswald. Ci sono opportunità per l'IA o gli algoritmi e il modo in cui le domande vengono poste per essere più strutturate e standardizzate. Ma non penso che siamo necessariamente lì in termini di dati, in termini di design che ci forniscono i dati.

Il cofondatore e chief technology officer di Curious Thing, Han Xu , ha risposto ai nostri risultati in un'e-mail, dicendo: Questa è la prima volta in assoluto che il nostro sistema viene testato in tedesco, quindi un punto dati estremamente prezioso per noi su cui ricercare e vedere se rivela qualcosa nel nostro sistema.

Il paradosso del pregiudizio

Le prestazioni nei colloqui basati sull'intelligenza artificiale spesso non sono l'unica metrica utilizzata dai potenziali datori di lavoro per valutare un candidato. E questi sistemi possono effettivamente ridurre i pregiudizi e trovare candidati migliori rispetto agli intervistatori umani. Ma molti di questi strumenti non sono testati in modo indipendente e le aziende che li hanno creati sono riluttanti a condividere i dettagli su come funzionano, rendendo difficile per i candidati o per i datori di lavoro sapere se gli algoritmi sono accurati o quale influenza dovrebbero avere sulle assunzioni decisioni.

Marco Grey , che lavora presso una piattaforma di gestione della proprietà danese chiamata Corretto , ha iniziato a utilizzare le interviste video AI durante il suo precedente ruolo nelle risorse umane presso l'azienda di elettronica Airtame . Dice di aver originariamente incorporato il software, prodotto da una società tedesca chiamata Retorica , in colloqui per aiutare a ridurre il pregiudizio umano che spesso si sviluppa quando i responsabili delle assunzioni fanno chiacchiere con i candidati.

Sebbene Gray non basi le decisioni di assunzione esclusivamente sulla valutazione di Retorio, che si basa anche sui tratti dei Big Five, ne tiene conto come uno dei tanti punti dati nella scelta dei candidati. Non penso che sia un proiettile d'argento per capire come assumere la persona giusta, dice.

Il consueto processo di assunzione di Gray include una telefonata di screening e un colloquio di Retorio, a cui invita la maggior parte dei candidati a partecipare indipendentemente dall'impressione che hanno fatto durante la proiezione. I candidati prescelti passeranno quindi a un test delle capacità lavorative, seguito da un colloquio dal vivo con altri membri del team.

Storia correlata

L'intelligenza artificiale di LinkedIn per la corrispondenza del lavoro era parziale. La soluzione dell'azienda? Più IA.

ZipRecruiter, CareerBuilder, LinkedIn: la maggior parte dei più grandi siti di ricerca di lavoro del mondo utilizza l'intelligenza artificiale per abbinare le persone alle opportunità di lavoro. Ma gli algoritmi non funzionano sempre in modo equo.

Col tempo, prodotti come Retorio e Retorio stesso, ogni azienda dovrebbe usarlo perché ti dà così tante informazioni, dice Gray. Mentre ci sono alcuni punti interrogativi e controversie nella sfera dell'IA in generale, penso che la domanda più grande sia: siamo un giudice del personaggio migliore o peggiore?

Gray riconosce le critiche relative agli strumenti di intervista dell'IA. Un indagine pubblicato a febbraio dall'emittente pubblica bavarese ha scoperto che l'algoritmo di Retorio valutava i candidati in modo diverso quando utilizzavano sfondi video e accessori diversi, come gli occhiali, durante il colloquio.

Il co-fondatore e amministratore delegato di Retorio, Christopher Hohenberger , afferma che, sebbene non sia a conoscenza delle specifiche dietro i metodi di test dei giornalisti, l'azienda non intende che il suo software sia il fattore decisivo nell'assunzione dei candidati. Siamo uno strumento di assistenza e viene utilizzato nella pratica anche insieme alle persone umane dall'altra parte. Non è un filtro automatico, dice.

Tuttavia, la posta in gioco è così alta per le persone in cerca di lavoro che tentano di navigare in questi strumenti che sicuramente è necessaria più cautela. Per la maggior parte, dopo tutto, garantire un lavoro non riguarda solo una nuova sfida o un nuovo ambiente: trovare un lavoro è fondamentale per la loro sopravvivenza economica.

nascondere