La debacle degli esami nel Regno Unito ci ricorda che gli algoritmi non possono riparare i sistemi danneggiati

Signora Tech | AP, Getty

Quando il Regno Unito ha deciso per la prima volta di trovare un'alternativa alle qualifiche di fine scuola, la premessa sembrava perfettamente ragionevole. Il Covid-19 aveva fatto deragliare ogni opportunità per gli studenti di sostenere gli esami di persona, ma il governo voleva ancora un modo per valutarli per le decisioni di ammissione all'università.

La principale tra le sue preoccupazioni era una questione di equità. Gli insegnanti avevano già fatto previsioni sui punteggi degli esami dei loro studenti, ma studi precedenti aveva dimostrato che questi potevano essere prevenuti sulla base di età, sesso ed etnia. Dopo una serie di panel di esperti e consultazioni , Ofqual, il regolamento dell'Ufficio per le qualifiche e gli esami, si è rivolto a un algoritmo. Da lì, le cose sono andate terribilmente male.

Quasi il 40% degli studenti hanno finito per ricevere i punteggi degli esami declassati dalle previsioni dei loro insegnanti, minacciando di costare loro i posti universitari. Analisi dell'algoritmo ha anche rivelato che aveva danneggiato in modo sproporzionato gli studenti della classe operaia e delle comunità svantaggiate e gonfiato i punteggi degli studenti delle scuole private. Il 16 agosto centinaia di cantanti Fanculo l'algoritmo di fronte all'edificio del Dipartimento dell'Istruzione del Regno Unito a Londra per protestare contro i risultati. Il giorno successivo, Ofqual aveva ha annullato la sua decisione . Agli studenti verranno ora assegnati i punteggi previsti dal loro insegnante o quelli dell'algoritmo, a seconda di quale sia il più alto.

La debacle sembra un esempio da manuale di discriminazione algoritmica . Quelli che hanno da allora sezionato l'algoritmo hanno fatto notare quanto fosse prevedibile che le cose andassero storte; è stato formato, in parte, non solo sul rendimento scolastico passato di ogni studente, ma anche sul rendimento dell'esame di ammissione passato della scuola dello studente. L'approccio avrebbe potuto portare solo alla punizione di valori anomali eccezionali a favore di una media coerente.

Ma la radice del problema è più profonda di dati errati o progettazione algoritmica scadente. Gli errori più fondamentali sono stati commessi prima di Ofqual ha persino scelto di perseguire un algoritmo. In fondo, il regolatore ha perso di vista l'obiettivo finale: aiutare gli studenti a passare all'università durante i periodi di ansia. In questa situazione senza precedenti, il sistema degli esami avrebbe dovuto essere completamente ripensato.

C'è stato solo uno spettacolare fallimento dell'immaginazione, afferma Hye Jung Han, ricercatore di Human Rights Watch negli Stati Uniti, che si concentra sui diritti dei bambini e sulla tecnologia. Semplicemente non hanno messo in discussione la premessa stessa di così tanti dei loro processi anche quando avrebbero dovuto.

A livello di base, Ofqual ha dovuto affrontare due potenziali obiettivi dopo l'annullamento degli esami. Il primo era evitare l'inflazione dei voti e standardizzare i punteggi; il secondo era valutare gli studenti nel modo più accurato possibile in modo utile per l'ammissione all'università. Sotto una direttiva del segretario di Stato, ha dato la priorità al primo obiettivo. Penso che sia stato davvero quello il momento in cui il problema, dice Hannah Fry, docente senior presso l'University College di Londra e autrice di Hello World: come essere umani nell'era della macchina . Stavano ottimizzando per la cosa sbagliata. Quindi sostanzialmente non importa quale sia l'algoritmo: non sarebbe mai stato perfetto.

C'è stato solo uno spettacolare fallimento dell'immaginazione.

Hye Jung Han

L'obiettivo ha completamente plasmato il modo in cui Ofqual ha affrontato il problema. La necessità di standardizzazione ha prevalso su tutto il resto. L'autorità di regolamentazione ha quindi scelto logicamente uno dei migliori strumenti di standardizzazione, un modello statistico, per prevedere una distribuzione dei punteggi degli esami di ammissione per il 2020 che corrispondesse alla distribuzione del 2019.

Se Ofqual avesse scelto l'altro obiettivo, le cose sarebbero andate molto diversamente. Probabilmente avrebbe scartato l'algoritmo e lavorato con le università per cambiare il modo in cui i voti degli esami vengono ponderati nei loro processi di ammissione. Se si limitassero a guardare un passo oltre il loro problema immediato e a considerare quale sia lo scopo dei voti - andare all'università, essere in grado di trovare lavoro - avrebbero potuto lavorare in modo flessibile con le università e con i luoghi di lavoro per dire: 'Ehi, quest'anno i voti avranno un aspetto diverso, il che significa che anche tutte le decisioni importanti che tradizionalmente sono state prese in base ai voti devono essere flessibili e devono essere modificate, afferma Han.

Fissando l'equità percepita di una soluzione algoritmica, Ofqual si è cieca davanti alle evidenti disuguaglianze del sistema generale. C'è un'ingiustizia intrinseca nel definire il problema per prevedere i voti degli studenti come se non fosse avvenuta una pandemia, dice Han. In realtà ignora ciò che già sappiamo, ovvero che la pandemia ha messo in luce tutti questi divari digitali nell'istruzione.

I fallimenti di Ofqual non sono unici. In un rapporto pubblicato la scorsa settimana dall'Oxford Internet Institute, i ricercatori hanno scoperto che una delle trappole più comuni in cui cadono le organizzazioni quando implementano algoritmi è la convinzione che risolveranno problemi strutturali davvero complessi. Questi progetti si prestano a una sorta di pensiero magico, afferma Gina Neff, professoressa associata presso l'istituto, coautrice del rapporto. In qualche modo l'algoritmo laverà semplicemente via ogni pregiudizio dell'insegnante, laverà via ogni tentativo di imbrogliare o giocare con il sistema.

Penso che sia la prima volta che un'intera nazione ha subito l'ingiustizia di un algoritmo contemporaneamente.

Hanna Fritto

Ma la verità è che gli algoritmi non possono riparare i sistemi danneggiati. Ereditano i difetti dei sistemi in cui sono inseriti. In questo caso, gli studenti e il loro futuro alla fine hanno subito il peso maggiore del danno. Penso che sia la prima volta che un'intera nazione ha subito l'ingiustizia di un algoritmo contemporaneamente, dice Fry.

Fry, Neff e Han temono tutti che questa non sarà la fine delle gaffe algoritmiche. Nonostante la nuova consapevolezza pubblica dei problemi, progettare e implementare algoritmi equi e vantaggiosi è francamente davvero difficile.

Tuttavia, esortano le organizzazioni a sfruttare al meglio le lezioni apprese da questa esperienza. Per prima cosa, torna all'obiettivo e pensa in modo critico se è quello giusto. In secondo luogo, valutare i problemi strutturali che devono essere risolti per raggiungere l'obiettivo. (Quando il governo ha annullato l'esame a marzo, quello avrebbe dovuto essere il segnale per elaborare un'altra strategia per consentire a un'ecologia molto più ampia dei responsabili delle decisioni di valutare equamente le prestazioni degli studenti, afferma Neff.)

Infine, scegli una soluzione facile da capire, implementare e contestare, soprattutto in tempi di incertezza. In questo caso, dice Fry, significa rinunciare all'algoritmo a favore dei punteggi previsti dall'insegnante: non dico che sia perfetto, dice, ma almeno è un sistema semplice e trasparente.

nascondere