211service.com
La legge di Benford e l'arte di riuscire nei test a scelta multipla
Negli anni '30, il fisico americano Frank Benford scoprì che la prima cifra in alcuni elenchi di numeri era molto più probabile che fosse un 1 che un 9. Ha testato questa idea su una varietà di set di dati come la superficie dei fiumi, un elenco delle costanti fisiche e persino gli indirizzi delle prime 342 voci di American Men of Science.
In ogni caso, ha trovato lo stesso modello. Che il numero 1 è la prima cifra il 30 per cento delle volte, il numero 2 è la prima cifra il 18 per cento delle volte, il numero 3 è il primo 13 per cento delle volte e così via fino al numero 9 che è il primo solo il 5 per cento delle volte.
Ha continuato proponendo la legge di Benford: che la distribuzione dei primi numeri in molti, ma non tutti, i set di dati segue lo stesso schema logaritmico. Si scopre che questa proprietà è vera per molti set di dati che coinvolgono quantità fisiche, ma non è vera per i numeri generati casualmente in cui la distribuzione delle prime cifre è uniforme.
Ora, 60 anni dopo, la legge di Benford è famosa. La sua applicazione più nota è scoprire le frodi. Ciò è possibile perché la distribuzione delle prime cifre nei conti di una società risulta seguire la legge di Benford. Quindi qualsiasi deviazione da questo è una buona prova che qualcuno ha cucinato i libri. E questo ha portato alla caduta di vari truffatori.
Ma ciò solleva una domanda interessante: dove altro potrebbe essere utilizzata la legge di Benford?
Oggi, Aaron Slepkov della Trent University di Peterborough, in Canada, e un paio di amici hanno avanzato un suggerimento. Sottolineano che le risposte agli esami a scelta multipla in fisica devono seguire la legge di Benford. Ma se le risposte errate vengono scelte a caso, non seguiranno la legge di Benford.
Quindi uno studente intraprendente con una comprensione della legge di Benford, ma una scarsa conoscenza della fisica, può ottenere un vantaggio?
Per scoprirlo, Slepkov e co hanno simulato un tale esame a scelta multipla che coinvolgeva 5000 domande fittizie. Per le risposte corrette, hanno utilizzato un set di dati di numeri presi dalle risposte a domande di fisica reali. Ma hanno preso le risposte errate da un set di dati di numeri casuali in cui le prime cifre sono distribuite uniformemente (cioè la prima cifra è ugualmente probabile che sia una qualsiasi delle cifre da 1 a 9).
La migliore strategia in un test a scelta multipla di questo tipo è scegliere la risposta con la prima cifra più bassa. E quando due o più risposte hanno la stessa cifra più bassa, scegli.
Ed è quello che hanno fatto Slepkov e compagni durante i test. I risultati sono conclusivi. In un test a scelta multipla che prevedeva 3 possibili risposte, questa strategia ha prodotto un punteggio del 51%. Questo è un passaggio chiaro anche se le risposte sono state scelte senza alcuna conoscenza della fisica in fase di test.
In un certo senso, non è davvero sorprendente. La legge di Benfords implica che le probabilità che la prima cifra sia 1, 2 o 3 sono maggiori del 50% e questo produce un chiaro pregiudizio per qualcuno che lo sa.
Ma questa strategia funziona per gli esami reali? Slepkov e colleghi lo hanno testato su un set di dati di noti esami di fisica a scelta multipla e i loro risultati hanno suscitato una sorpresa.
La strategia suggerita dalla legge di Benford non dà alcun vantaggio. Hanno scoperto che era impossibile superare un esame di fisica in questo modo.
Come mai? Slepkov e compagni hanno dato un'occhiata più da vicino alle risposte corrette e anche alle risposte fittizie in questi documenti e hanno trovato qualcosa di sorprendente. Mentre le risposte vere seguono la legge di Benford, anche le risposte errate lo fanno. Quindi non c'è differenza nella distribuzione delle prime cifre che uno studente intraprendente può sfruttare.
Il motivo esatto per cui le risposte errate seguono la legge di Benford non è chiaro. Ovviamente non sono numeri casuali, quindi come possono essere scelti? Slepkov e colleghi discutono una serie di possibilità, forse la più ovvia è che sono risposte ad altre domande e quindi sono esse stesse quantità fisiche. Ma ci sono anche altre possibilità.
Sarà una delusione per le legioni di studenti di fisica che leggono questo articolo e speravano di cavarsela con poca o nessuna conoscenza della loro materia.
Per questi studenti, Slepkov e compagni offrono una scheggia di speranza. Sottolineano che le possibilità di una risposta corretta a una domanda di fisica che inizia con le cifre 1, 2 o 3 sono superiori al 50%. Ma allo stesso modo, le probabilità che la risposta inizi con un 7, 8 o 9 sono solo del 15%.
Quindi concludono con questo:
Un piccolo consiglio che possiamo dare allo studente esperto è il seguente: alla fine di un lungo esame a risposta costruita, se hai poco tempo per ricontrollare le risposte a tutte le domande, dedica del tempo a quelle domande che hanno prodotto risposte finali con le cifre iniziali più grandi; ci si aspetta che le domande abbiano risposte con le cifre iniziali 7, 8 o 9 solo il 15% delle volte.
Buona fortuna!
Rif: arxiv.org/abs/1311.4787v1 : Legge di Benford: esercizi da manuale e banchi di prova a scelta multipla