Il software che monitora gli studenti durante i test perpetua la disuguaglianza e viola la loro privacy

Foto di Iris Wang su Unsplash

La pandemia di coronavirus è stata una manna per l'industria del monitoraggio dei test. Circa una mezza dozzina di aziende negli Stati Uniti affermano che il loro software è in grado di rilevare e prevenire accuratamente gli imbrogli nei test online. Esame , Honor Lock , Proctorio , Proctor U , Risposta e altri sono cresciuti rapidamente da quando i college e le università sono passati alle classi remote.

Sebbene non ci sia un conteggio ufficiale, è ragionevole affermare che milioni di test controllati da algoritmi si verificano ogni mese in tutto il mondo. Proctorio ha detto al New York Times a maggio quell'attività era aumentata del 900% durante i primi mesi della pandemia, al punto che l'azienda ha effettuato 2,5 milioni di test in tutto il mondo nel solo mese di aprile.

Sono un bibliotecario universitario e ho visto da vicino l'impatto di questi sistemi. Il mio datore di lavoro, l'Università del Colorado Denver, ha un contratto con Proctorio.

È diventato chiaro per me che la supervisione algoritmica è una moderna tecnologia di sorveglianza che rafforza la supremazia bianca, il sessismo, l'abilità e la transfobia. L'uso di questi strumenti è un'invasione della privacy degli studenti e, spesso, una violazione dei diritti civili.

Se sei uno studente che fa un test controllato da un algoritmo, ecco come funziona: quando inizi, il software inizia a registrare la fotocamera del tuo computer, l'audio e i siti web che visiti. Misura il tuo corpo e ti osserva per tutta la durata dell'esame, monitorando i tuoi movimenti per identificare quelli che considera comportamenti imbroglioni. Se fai qualcosa che il software ritiene sospetto, avviserà il tuo professore di visualizzare la registrazione e fornirà loro una probabilità codificata per colore della tua cattiva condotta accademica.

A seconda dell'azienda che ha realizzato il software, utilizzerà una combinazione di apprendimento automatico, intelligenza artificiale e biometria (incluso riconoscimento facciale, rilevamento facciale o rilevamento degli occhi) per fare tutto ciò. Il problema è che il riconoscimento facciale e il rilevamento si sono rivelati razzistA , sessista , e transfobico Sopra , e Sopra , e Sopra ancora.

In generale, la tecnologia ha a modello di rafforzamento dell'oppressione strutturale Piace razzismo e sessismo . Ora questi stessi pregiudizi si stanno manifestando nei software di supervisione dei test che danneggiano in modo sproporzionato gli studenti emarginati.

Una donna di colore della mia università una volta mi ha detto che ogni volta che usava il software di monitoraggio dei test di Proctorio, la spingeva sempre a brillare più luce sul suo viso. Il software non poteva convalidare la sua identità e le veniva negato l'accesso ai test così spesso che doveva andare dal suo professore per prendere altre disposizioni. I suoi coetanei bianchi non hanno mai avuto questo problema.

Tipi simili di discriminazione possono verificarsi se uno studente è trans o non binario. Ma se sei un uomo bianco cis (come la maggior parte degli sviluppatori che producono software di riconoscimento facciale), probabilmente starai bene.

Anche gli studenti con figli sono penalizzati da questi sistemi. Se hai mai provato a rispondere alle e-mail mentre ti prendi cura dei bambini, sai quanto può essere impossibile avere anche solo pochi minuti ininterrotti davanti al computer. Ma diversi programmi di sorveglianza segnaleranno i rumori nella stanza o chiunque lasci la visuale della telecamera come nefasto. Ciò significa che gli studenti con condizioni mediche che devono usare il bagno o somministrare frequentemente farmaci sarebbero considerati altrettanto sospetti.

Al di là di tutti i modi in cui il software di supervisione può discriminare gli studenti, la supervisione algoritmica è anche una significativa invasione della privacy. Questi prodotti filmano gli studenti nelle loro case e spesso richiedono loro di completare le scansioni della stanza, che implicano l'uso della loro fotocamera per mostrare l'ambiente circostante. In molti casi, i professori possono accedere alle registrazioni dei loro studenti in qualsiasi momento e persino scaricare queste registrazioni sui loro computer personali. Possono anche vedere la posizione di ogni studente in base al loro indirizzo IP.

La privacy è fondamentale per i bibliotecari come me perché i clienti si fidano di noi con i loro dati. Dopo l'11 settembre, quando il Patriot Act ha autorizzato il Dipartimento per la sicurezza interna degli Stati Uniti a accedere ai registri degli utenti della biblioteca nella loro ricerca di terroristi, molti bibliotecari hanno iniziato a utilizzare un software che cancellava il record di un cliente una volta restituito un libro. I prodotti che violano la privacy delle persone e le discriminano vanno contro my etica professionale , ed è profondamente preoccupante vedere tali prodotti adottati con entusiasmo dagli istituti di istruzione superiore.

Questo zelo sarebbe leggermente più comprensibile se ci fosse qualche prova che questi programmi hanno effettivamente fatto ciò che affermano. A mia conoscenza, non esiste un singolo studio sottoposto a revisione paritaria o controllato che dimostri che il software di supervisione rilevi o prevenga efficacemente gli imbrogli. Dato che le università sono orgogliose di prendere decisioni basate sull'evidenza, questa è una svista lampante.

Fortunatamente, ci sono movimenti in corso per vietare il software di monitoraggio e vietare le tecnologie di riconoscimento facciale nei campus , così come bollette del Congresso vietare al governo federale degli Stati Uniti di utilizzare il riconoscimento facciale. Ma anche se la tecnologia di riconoscimento facciale fosse bandita, il software di supervisione potrebbe ancora esistere come programma che tiene traccia dei movimenti degli occhi e del corpo degli studenti. Anche se potrebbe essere meno razzista, lo sarebbe discrimina ancora contro le persone con disabilità, i genitori che allattano e le persone neuroatipiche. Questi prodotti non possono essere riformati; dovrebbero essere abbandonati.

L'inganno non è la minaccia per la società che le società di controllo dei test vorrebbero farti credere. Non diluisce il valore delle lauree o degrada la reputazione delle istituzioni e gli studenti non stanno cercando di farlo imbrogliare per diventare il tuo chirurgo . La tecnologia non ha inventato le condizioni per barare e non sarà ciò che lo fermerà. La cosa migliore che possiamo fare nell'istruzione superiore è iniziare con l'idea radicale di studenti fiduciosi . Scegliamo la compassione rispetto alla sorveglianza.

Shea Swauger è un bibliotecario accademico e ricercatore presso l'Università del Colorado Denver.

nascondere