211service.com
Il data mining rivela il modo in cui gli esseri umani si valutano a vicenda
Il modo in cui valutiamo le prestazioni di altri esseri umani è uno dei più grandi misteri della psicologia cognitiva. Questo processo si verifica continuamente mentre giudichiamo la capacità delle persone di svolgere determinati compiti, valutando tutti, da elettricisti e autisti di autobus a contabili e politici.
Il problema è che abbiamo accesso solo a un insieme limitato di dati sulle prestazioni di un individuo, alcuni dei quali direttamente rilevanti, come il record di guida di un tassista, ma in gran parte irrilevanti, come il sesso del conducente. In effetti, la quantità di informazioni può essere così vasta che siamo costretti a decidere di utilizzarne un piccolo sottoinsieme. Come vengono prese queste decisioni?
Oggi riceviamo una sorta di risposta grazie al lavoro di Luca Pappalardo dell'Università di Pisa in Italia e ad alcuni amici che hanno studiato questo problema nell'arena sportiva, dove le domande sulle prestazioni sono messe in netto rilievo. Il loro lavoro fornisce una visione unica del modo in cui valutiamo le prestazioni umane e di come questo si collega a misure oggettive.
I fattori utilizzati dagli osservatori umani per valutare le prestazioni sono un piccolo sottoinsieme di misure oggettive.
Le prestazioni sportive sono un'area in cui da alcuni anni sono state raccolte registrazioni dettagliate delle prestazioni individuali. Pappalardo e soci si concentrano sul calcio, lo sport più popolare al mondo, e in particolare sulle prestazioni dei giocatori che gareggiano ai vertici dello sport nel campionato di calcio italiano di Serie A.
Per molti anni i giornali sportivi italiani hanno valutato le prestazioni dei giocatori in ogni partita su una scala da 0 a 10, dove 0 è indimenticabilmente brutto e 10 indimenticabilmente sorprendente. Questo sistema si basa sul sistema italiano dei voti scolastici, dove un 6 indica che un alunno ha ottenuto risultati adeguati. Il modo in cui vengono valutati i giocatori non è pubblicato, ma è presumibilmente fatto da un giornalista sportivo esperto.
Negli ultimi anni gli stessi giocatori sono stati valutati anche da un sistema di misurazione oggettivo che conta il numero di passaggi, tiri, contrasti, parate e così via che ogni giocatore effettua. Questa misura tecnica tiene conto di 150 diversi parametri e fornisce un resoconto completo delle prestazioni in campo di ogni giocatore.
La domanda che Pappalardo e compagni si pongono è come le valutazioni dei giornali siano correlate alle valutazioni tecniche e se sia possibile utilizzare i dati tecnici per comprendere i fattori che influenzano le valutazioni umane.
I ricercatori partono dal set di dati tecnici di 760 partite di Serie A nelle stagioni 2015-16 e 2016-17. Questo consiste in oltre un milione di punti dati che descrivono eventi sul campo con timestamp. Usano i dati per estrarre un vettore di prestazioni tecniche per ogni giocatore in ogni partita; questo funge da misura oggettiva della sua prestazione.
I ricercatori hanno anche le valutazioni per ogni giocatore in ogni partita da tre giornali sportivi: Gazzetta dello Sport , Corriere dello Sport , e Tuttosport .
Le valutazioni dei giornali hanno alcune proprietà statistiche interessanti. Solo il 3% delle valutazioni è inferiore a 5 e solo il 2% superiore a 7. Quando le valutazioni sono classificate in linea con il sistema di valutazione delle scuole, pessime se sono inferiori a 6 e buone se sono pari o superiori a 7: pessime le valutazioni risultano essere tre volte più comuni di quelle buone.
In generale, i giornali valutano una performance in modo simile, anche se occasionalmente possono esserci disaccordi fino a 6 punti. Osserviamo un buon accordo sui rating accoppiati tra i giornali, trovando che i rating (i) hanno distribuzioni identiche; (ii) sono fortemente correlati tra loro; e (iii) differiscono tipicamente di un'unità di valutazione (0,5), affermano Pappalardo e co.
Per analizzare la relazione tra le valutazioni dei giornali e le valutazioni tecniche, Pappalardo e co utilizzano il machine learning per trovare correlazioni nei set di dati. In particolare, creano un giudice artificiale che tenta di riprodurre le valutazioni dei giornali da un sottoinsieme dei dati tecnici.
Questo porta a un risultato curioso. Il giudice artificiale può abbinare le valutazioni dei giornali con un ragionevole grado di accuratezza, ma non così come i giornali corrispondono tra loro. Il disaccordo indica che le caratteristiche tecniche da sole non possono spiegare completamente il processo di valutazione [del giornale], affermano Pappalardo e co.
In altre parole, le valutazioni dei giornali devono dipendere da fattori esterni che non vengono catturati dai dati tecnici, come l'aspettativa di un certo risultato, pregiudizi personali e così via.
Per testare questa idea, Pappalardo e compagni hanno raccolto un'altra serie di dati che catturano fattori esterni. Questi includono l'età, la nazionalità e il club del giocatore, il risultato atteso della partita stimato dai bookmaker, il risultato effettivo della partita e se una partita viene giocata in casa o fuori.
Quando questi dati sono inclusi, il giudice artificiale fa molto meglio. Aggiungendo informazioni contestuali, l'accordo statistico tra il giudice artificiale e il giudice umano aumenta in modo significativo, afferma il team.
In effetti, possono vedere chiaramente esempi del modo in cui fattori esterni influenzano le valutazioni dei giornali. Nell'intero set di dati, solo due giocatori hanno mai ottenuto un 10 perfetto. Uno di questi era l'attaccante argentino Gonzalo Higuaín, che ha giocato per il Napoli. In questa occasione ha segnato tre gol in una partita e così facendo è diventato il miglior marcatore di sempre in una stagione di Serie A. Quel traguardo è stato quasi sicuramente il motivo del punteggio perfetto, ma non c'è modo di derivarlo punteggio dal set di dati tecnici.
Una domanda importante è quali fattori utilizza il giudice artificiale per abbinare le valutazioni dei giornali. Osserviamo che la maggior parte dell'attenzione di un giudice umano è dedicata a un piccolo numero di caratteristiche e la stragrande maggioranza delle caratteristiche tecniche sono scarsamente considerate o scartate durante il processo di valutazione, affermano Pappalardo e co.
Quindi, per attaccare i giocatori in attacco, i giornali tendono a valutarli utilizzando fattori facilmente osservabili come il numero di gol segnati; valutano i portieri in base al numero di gol subiti. I centrocampisti tendono ad essere valutati in base a parametri più generali come la differenza reti.
Questo ha senso: gli osservatori umani hanno una larghezza di banda limitata e sono probabilmente in grado di osservare solo una piccola parte degli indicatori di prestazione. In effetti, il team afferma che il giudice artificiale può eguagliare le valutazioni umane utilizzando meno di 20 fattori tecnici ed esterni.
Questo è un risultato affascinante che ha importanti implicazioni per il modo in cui pensiamo alle valutazioni delle prestazioni. L'obiettivo, ovviamente, è trovare modi più efficaci per valutare le prestazioni in tutti i tipi di situazioni. Pappalardo e compagni pensano che il loro lavoro abbia un impatto significativo su questo. Questo documento può essere utilizzato per consentire ai valutatori umani di acquisire comprensione sulla logica alla base delle loro decisioni, concludono.
Rif: arxiv.org/abs/1712.02224 : Percezione umana della performance