I sondaggisti hanno sbagliato alle elezioni del 2016. Ora vogliono un altro colpo.

C'è una nuova folla di aspiranti oracoli, determinati a non replicare gli errori dei loro predecessori. Di

• Rob Artù pagina di archivio

14 febbraio 2020

Karsten Petrat

La notte dell'8 novembre 2016, Charles Franklin, come milioni di altri americani, ha assistito ai risultati delle elezioni presidenziali con quella che ha descritto come una sensazione di naufragio. Ma Franklin , sondaggista del Wisconsin e professore di diritto e politiche pubbliche alla Marquette University, non era addolorato a causa delle sue preferenze politiche personali; aveva in gioco la sua reputazione. Solo una settimana prima, il suo stesso sondaggio aveva mostrato Hillary Clinton in vantaggio di sei punti in Wisconsin. Invece eccola qui, a perdere di sette decimi.

Franklin era in servizio con il Decision Desk della ABC, un membro di un team di esperti dietro le quinte responsabile di chiamare gli stati per Clinton o Donald Trump mentre arrivavano i conteggi. Mentre osservava i guadagni accumularsi fino alle quattro del mattino, divenne chiaro che il suo sondaggio era spento.

Questa storia faceva parte del nostro numero di marzo 2020

• Vedi il resto del problema
• sottoscrivi

Nessuno vuole sbagliare, dice, guardando indietro. Quindi in questo senso è stato molto deprimente.

Non è stato l'unico sondaggista a leggere male le elezioni. Secondo RealClearPolitics , ognuno degli oltre 30 sondaggi in Wisconsin nei mesi precedenti le elezioni ha visto Clinton vincere lo stato con margini che vanno da 2 a 16 punti. E questi errori sono stati ulteriormente amplificati perché sono stati poi utilizzati come carburante per algoritmi informatici che prevedevano una vittoria complessiva di Clinton.

Dopo che Donald Trump ha pronunciato il suo discorso di vittoria e la polvere si è schiarita, tutti hanno iniziato ad ammettere i propri errori.

Mi ha sventrato rendermi conto di aver sbagliato, ha scritto Natalie Jackson, una scienziata dei dati dell'Huffington Post, che aveva dato a Clinton una probabilità del 98% di vincere.

I media, inclusi molti organi di stampa le cui previsioni avevano dato a Clinton una forte probabilità di vittoria, hanno iniziato a denunciare il fallimento degli algoritmi di previsione. Alcuni critici sono stati più cauti di altri, riconoscendo che alcuni meteorologi avevano accuratamente descritto una vittoria di Trump come semplicemente improbabile. Ma molti mettono in dubbio l'idea di prevedere le elezioni. Alcuni hanno persino usato le elezioni come munizioni per attaccare l'intero campo della scienza dei dati.

Eppure, quasi quattro anni dopo, e con un altro concorso incombente, i meteorologi stanno iniziando a fare previsioni anticipate per il 2020. Il contraccolpo del 2016 non li ha dissuasi, infatti ora c'è una folla completamente nuova di aspiranti oracoli, determinata a non replicare gli errori dei loro predecessori.

Che cosa è andato storto

Un cocktail di problemi ha portato ai mancati sondaggi del 2016. Alcuni sondaggi non sono riusciti a contattare un numero sufficiente di elettori bianchi meno istruiti, mentre alcuni sostenitori di Trump hanno rifiutato di ammettere in che modo avrebbero votato. La strategia non convenzionale di Trump ha anche rivelato più cittadini nelle contee rurali fortemente repubblicane. I sondaggisti presumevano erroneamente che queste persone sarebbero rimaste alla larga come avevano fatto nelle elezioni precedenti, il che faceva sembrare la base di Trump più piccola di quanto non fosse in realtà.

Ma mentre i sondaggisti hanno ricevuto la maggior parte della colpa, forse una condanna maggiore sarebbe dovuta cadere sui meteorologi, che trasformano i dati dei sondaggisti in previsioni.

Due importanti meteorologi avevano Hillary Clinton al 99% per vincere, afferma G. Elliott Morris, giornalista di dati presso l'Economist che si occupa di previsioni elettorali. Quando non l'ha fatto, molti di loro hanno semplicemente incolpato i sondaggisti, perché per loro è facile.

Ci sono stati almeno due errori principali commessi da alcuni dei data scientist che hanno contribuito a progettare gli algoritmi di previsione. In primo luogo, presumevano che se le probabilità di essere staccati di quasi sette punti in Wisconsin fossero basse, le probabilità di un errore comparabile in altri stati critici come il Michigan e la Pennsylvania fossero minime. In effetti, i problemi relativi ai sondaggi in uno stato erano correlati agli errori in altri stati simili. Assumere che i sondaggi fossero completamente indipendenti l'uno dall'altro, piuttosto che riflettere le stesse reazioni agli stessi problemi, ha prodotto un'eccessiva fiducia nella guida di Clinton.

In secondo luogo, gli algoritmi di previsione non sono riusciti a registrare il numero record di elettori indecisi come segnale di avvertimento. Poiché così tanti elettori erano indecisi fino al giorno delle elezioni - e avrebbero finito per rompere fortemente per Trump - i margini di Clinton erano molto meno sicuri di quanto sembravano.

Karsten Petrat

Ci stava fissando dritto in faccia, dice Rachel Bitecofer , professore di scienze politiche alla Christopher Newport University. Se ci fossero stati più sondaggi negli stati molto contesi appena prima del giorno delle elezioni, suggerisce, gli analisti avrebbero potuto cogliere il numero insolitamente alto di elettori che hanno deciso di presentarsi all'ultimo momento.

Non è stata solo colpa dei meteorologi, però. Anche quando le loro probabilità per ciascun candidato erano accurate, il pubblico sembrava avere difficoltà a comprendere il significato di quei numeri.

Durante gli ultimi giorni della campagna elettorale, stavo lavorando a FiveThirtyEight, una delle testate più importanti che fanno previsioni. Il mio lavoro non prevedeva la corsa presidenziale: mi occupavo invece delle World Series di baseball. Quando i Chicago Cubs erano sotto di tre partite a una nella serie di sette partite contro i Cleveland Indians, ho notato che le loro probabilità di vincita, circa una su sei, erano un pelo al di sotto delle possibilità di Trump di conquistare la Casa Bianca. Sei squadre l'avevano già fatto nei 113 anni di storia delle World Series e altre sette lo avevano fatto in altri round di playoff, quindi era sicuramente possibile, ma non era tipico. In seguito, quando sia i Cubs che Trump hanno vinto contro ogni pronostico, ho ricevuto una valanga di tweet di odio che mi incolpavano di aver creato in qualche modo due possibili svolte del destino.

Se senti che ci sarà una probabilità del 20% di pioggia, non portare l'ombrello. E poi piove e ti arrabbi e probabilmente è colpa tua, dice Steven Shepard, editore e meteorologo elettorale di Politico. Ma quel 20% di occorrenza non è necessariamente così improbabile.

Molte persone sembravano guardare quale candidato avrebbe vinto (di solito Clinton) senza considerare quanto fossero certi i meteorologi. Una probabilità del 70% di vittoria della Clinton ha certamente favorito il democratico, ma avrebbe dovuto essere vista in modo molto diverso da una probabilità del 99%.

Tuttavia, alcuni hanno detto il 99% ed erano senza dubbio troppo aggressivi. Sam Wang del Princeton Election Consortium ha stimato che le possibilità di Trump sono inferiori all'1% e si è persino impegnato a mangiare un insetto se Trump avesse ottenuto più di 240 voti elettorali.

Quando il risultato elettorale è arrivato, Wang è rimasto fedele alla sua parola. Una settimana dopo il giorno delle elezioni, lui apparso sulla CNN con un barattolo di grilli gourmet (gourmet dal punto di vista di un animale domestico, chiarì) e denunciò lo spettacolo che aveva causato la sua scommessa. Spero che possiamo tornare ai dati e, pensando attentamente alla politica e ai problemi, ha detto prima di intingere un grillo nel miele e, con un'espressione addolorata, ingoiare l'insetto.

Tripla minaccia

Non tutte le previsioni erano così lontane come quelle di Wang. Alcuni addirittura prevedevano una vittoria per Trump. Per capire perché sono arrivati ​​​​in modo così diverso, è utile esaminare la gamma di approcci, che si suddividono in tre grandi classi.

Le prime previsioni in ogni ciclo elettorale provengono da quelli che vengono chiamati modelli fondamentali. Questi sono in genere costruiti da valutazioni di approvazione presidenziale, statistiche economiche e indicatori demografici. Un'economia forte fa presagire la vittoria per il partito dell'incumbent, così come un alto indice di gradimento per l'incumbent. La composizione demografica di uno stato può anche essere utilizzata per prevedere il risultato: ad esempio, gli elettori bianchi senza istruzione universitaria tendevano a votare per Trump nel 2016, quindi è più probabile che gli stati con molti di loro seguano la loro strada nel 2020 poiché bene.

Poiché questi fattori sono relativamente stabili, è possibile effettuare previsioni affidabili sui fondamentali molto prima della maggior parte degli altri tipi di previsione. Modelli come questo sembrano troppo semplici per catturare tutte le stranezze e gli scandali della moderna campagna biennale. Ma nel 2016 si sono comportati incredibilmente bene: sei su 10 hanno previsto il voto popolare finale entro un punto percentuale.

Tuttavia, la presidenza non viene scelta dal voto popolare nazionale diretto, e questo è un limite chiave degli approcci fondamentali: pochi prevedono i risultati finali del Collegio Elettorale.

I modelli fondamentali hanno un altro punto debole. Se emergono notizie dell'ultima ora, come uno scandalo alla fine della corsa o un improvviso cambiamento nell'economia (la crisi finanziaria del 2008 ne è un buon esempio), allora queste previsioni stabili possono improvvisamente diventare tristemente obsolete. Per compensare ciò, circa un decennio fa gli statistici hanno iniziato a rendere popolari nuovi tipi di modelli quantitativi che non sono così vulnerabili a queste sorprese di ottobre. Elaborano i dati dei sondaggi non appena escono e producono una stima giorno per giorno di chi vincerà, in modo da poter rispondere se l'opinione pubblica cambia.

RealClearPolicies e il Il risultato del New York Times entrambi hanno modelli quantitativi ben considerati, ma nessun modello ha più fama - o, probabilmente, un track record migliore - della previsione FiveThirtyEight di Nate Silver, chiamata per il numero totale di voti nell'Electoral College. L'algoritmo di FiveThirtyEight è disponibile in diverse varianti, ma tutti si preoccupano di adattare i sondaggi in base all'affidabilità dell'organizzazione del sondaggio e se i suoi risultati tendono a tendere costantemente a democratici o repubblicani. L'attenta acquisizione dei dati dei sondaggi e l'attenzione che Silver presta all'incertezza lo hanno tradizionalmente differenziato dalle altre previsioni. FiveThirtyEight è il gold standard, mi ha detto Bitecofer.

Delle principali previsioni elettorali quantitative, FiveThirtyEight's era il più conservatore , assegnando a Clinton una probabilità del 71,4% di vincere alla vigilia delle elezioni. Sembra proprio ora in retrospettiva, dice Charles Franklin: la vittoria di Trump è stata un risultato improbabile, ma non impossibile.

Infine, ci sono predittori là fuori che evitano del tutto gli approcci matematici, basandosi invece su una combinazione di intuizione, sondaggi e output di tutti gli altri tipi di modelli messi insieme. Queste previsioni qualitative funzionano su uno dei motori di calcolo più sofisticati e tuttavia soggetti a errori che conosciamo: il cervello umano.

Piuttosto che stime numeriche precise, i previsori qualitativi in ​​genere raggruppano le gare in una delle quattro categorie su una scala che va dal sicuro al lancio.

Toss-up significa che non c'è un favorito: una specie di lancio di una moneta, dice Kyle Kondik , un meteorologo qualitativo con la newsletter di analisi politica della sfera di cristallo dell'Università della Virginia. Lean, dice, è un piccolo vantaggio da una parte o dall'altra. Probabilmente è un bordo più grande per un lato o l'altro. E al sicuro, dice, significa che saremmo scioccati se quella festa perdesse. Alcuni predittori qualitativi sostengono che questi raggruppamenti verbali aiutano i lettori a comprendere le probabilità relative meglio dei numeri più esatti offerti altrove.

Sebbene queste previsioni possano sembrare meno scientifiche di quelle basate su numeri scricchiolanti, alcune vantano un livello di accuratezza impressionante. A metà mandato 2018, secondo una valutazione di parte terza di diverse previsioni professionali , è stata la sfera di cristallo giustamente chiamata a fare meglio, non l'algoritmo statistico di FiveThirtyEight. Tuttavia, le prestazioni tendono a fluttuare da un ciclo all'altro: la migliore pratica, secondo sondaggisti e accademici, è utilizzare un'ampia varietà di previsioni: qualitative, quantitative e fondamentali.

E dopo?

Quasi tutti i meteorologi con cui ho parlato avevano ricevuto mail di odio al vetriolo dopo i risultati del 2016. Eppure decine di nuovi modellisti hanno lanciato i loro cappelli sul ring per il 2020.

Quest'anno lanceranno le loro previsioni per la prima volta e sono intenzionati a evitare gli errori dei cicli elettorali passati. Morris, il meteorologo dell'Economist, è uno di quelli che entrano in campo. Ha chiamato precedenti previsioni soggette a errori che mentono alle persone e negligenza editoriale. Dovremmo imparare da questo, dice.

The Economist costruirà il suo algoritmo utilizzando sondaggi pubblicati da organizzazioni esterne, ma condurrà anche i propri sondaggi per sostenere i risultati in stati e razze ambigui, che Morris spera possano portare a una maggiore precisione.

Anche il Washington Post sta facendo la sua prima scommessa sulle previsioni, ma sta prendendo una strada diversa. Rimarrà fuori dal gioco delle previsioni fino a quando non inizieranno ad arrivare i ritorni. Solo quando i primi distretti inizieranno ad annunciare i totali dei voti il ​​giorno delle elezioni, il Post implementerà il suo modello analitico per giudicare la probabilità che candidati specifici prendano lo stato o il distretto per cui si trovano competere. Aspettando il conteggio dei primi scrutini, i data scientist del Post intendono ridurre drasticamente l'errore nel prevedere il resto dei voti, anche se a costo di non poter rilasciare una proiezione anticipata.

Nemmeno i meteorologi e i sondaggisti esperti sono seduti con le mani in mano. I costruttori di modelli fondamentali stanno iniziando a raccogliere la sfida di prevedere il Collegio Elettorale invece del solo voto popolare. Bitecofer ha progettato un modello basato principalmente sui dati demografici che prevede già una vittoria elettorale ristretta per lo sfidante democratico, chiunque esso sia.

I progettisti di quegli algoritmi quantitativi problematici sembrano aver imparato la lezione sugli errori correlati tra gli stati. L'Huffington Post ha emesso a colpa mia per la sua previsione al 98% di una vittoria di Clinton. Wang, il professore mangiatore di insetti di Princeton, si è impegnato ad aggiornare il suo algoritmo in modo che sia molto meno sicuro nel 2020, ammettendo sul suo blog che il suo modello precedente era un errore.

SI CREDE CHE IL SONDAGGIO IPPICO AUMENTA IL CINICISMO... FA VEDERE LA POLITICA COME UN GIOCO, DOVE Escono E FANNO LE RADICI PER LA LORO SQUADRA.

I previsori qualitativi, nel frattempo, hanno preso una serie di lezioni dal 2016. Ci sono molte cose diverse su cui, col senno di poi, vorrei che forse ci fossimo concentrati un po' di più, ma direi che i modelli basati sui fondamentali erano i migliori in quell'elezione, dice Kondik dell'Università della Virginia. Vorrei che tutti noi gli dessimo maggiore attenzione.

Kondik e altri sottolineano la necessità di essere cauti su qualsiasi previsione data la storica impopolarità del presidente in carica, che dovrebbe diminuire le sue possibilità, e l'economia forte, che dovrebbe aumentarle. Questi fattori di duello significano che la gara è incerta finora dal giorno delle elezioni.

Karsten Petrat

Altrove, le organizzazioni dei media hanno anche iniziato a fornire le loro stime in modi progettati per fornire al lettore una comprensione migliore e più intuitiva di cosa significano le probabilità. Invece di scrivere che i Democratici avevano l'87,9% di possibilità di prendere la Camera durante le elezioni di medio termine del 2018, ad esempio, FiveThirtyEight ha sottolineato che avrebbero potuto aspettarsi di vincere sette volte su otto.

Gli psicologi hanno scoperto che le persone sono più brave a capire questi tipi di [numeri], ha scritto Yphtach Lelkes, professore di comunicazioni all'Università della Pennsylvania.

Infine, anche i sondaggisti stanno migliorando il loro gioco. L'American Association for Public Opinion Research (AAPOR) ha pubblicato una retrospettiva del 2016 con lezioni per future elezioni. I suggerimenti includono l'uso di trucchi statistici per garantire che i campioni di popolazione siano più rappresentativi dello stato intervistato e lo svolgimento di più sondaggi negli ultimi giorni della campagna in modo da cogliere le inclinazioni degli elettori in ritardo, che si sono rivelati così critici per la vittoria di Trump.

Franklin, il sondaggista del Wisconsin, è stato uno degli autori dell'autopsia di AAPOR. Il fallimento sistematico di dozzine di sondaggi in diversi stati suggerisce che l'errore del suo sondaggio fosse dovuto a un vero cambiamento negli ultimi giorni della gara, piuttosto che a un errore precedente e più fondamentale. Tuttavia, si chiede cosa sarebbe potuto essere: e se avessimo votato durante il fine settimana prima delle elezioni? Avremmo catturato l'oscillazione verso Trump in quei dati?

Sondaggio quantistico

Ma mentre gli errori di quattro anni fa possono essere corretti, potrebbero sorgere anche nuove difficoltà per il ciclo 2020. Alcuni possono anche essere guidati dalla previsione stessa. Alcuni esperti sostengono che le previsioni elettorali potrebbero influenzare gli stessi risultati che stanno cercando di prevedere.

GLI STUDI SUGGERONO CHE QUANDO LE PERSONE CREDONO CHE L'ESITO DI UN'ELEZIONE SIA CERTO, HANNO MENO PROBABILI A VOTARE.

Secondo a studi recenti , un pubblico straordinariamente liberale si è sintonizzato su quelle previsioni quantitative eccessivamente fiduciose nel 2016. Studi pubblicati in precedenza suggeriscono che quando le persone credono che l'esito di un'elezione sia certo, è meno probabile che votino, soprattutto se la certezza è accumulata a favore del loro eletto candidato. Quindi, in una svolta a quello che è noto come l'effetto osservatore, in cui il semplice atto di guardare qualcosa cambia il risultato, nutrire un pubblico fortemente democratico con una dieta costante di sondaggi troppo sicuri come quello di Wang avrebbe potuto ridurre significativamente l'affluenza alle urne. Dato che la corsa è stata sostanzialmente decisa da soli 107.000 voti in tre stati, qualsiasi riduzione avrebbe potuto essere importante.

Clinton ha perso per così pochi voti che è certamente possibile che le previsioni probabilistiche abbiano indotto un numero sufficiente di Democratici a rimanere a casa da influenzare il risultato, ha scritto Lelkes. La stessa Clinton ha suggerito altrettanto. Non so come faremo mai a calcolare quante persone pensavano che fosse nella borsa, perché le percentuali continuavano a essere lanciate contro le persone: 'Oh, ha l'88% di possibilità di vincere!', ha detto in un'intervista a New Rivista York.

Anche se le previsioni elettorali non hanno cambiato il risultato nel 2016, potrebbero avere un impatto maggiore sulle campagne future.

Si ritiene che i sondaggi sulle corse di cavalli aumentino il cinismo politico, influenzino l'affluenza alle urne, aumentino la polarizzazione e probabilmente sopprimano le informazioni su questioni sostanziali, ha scritto Lelkes. Fa sì che le persone vedano la politica come un gioco, in cui escono e fanno il tifo per la loro squadra, piuttosto che supportare i candidati in base alle loro posizioni politiche. E se questi effetti sono reali, è probabile che diventino più potenti man mano che si verificano più previsioni.

Alcuni meteorologi, come Silver, hanno respinto questa preoccupazione. Sostengono che non è il loro lavoro dire alle persone se votare o meno o dire ai media cosa trattare. Altri, invece, stanno prendendo più sul serio i consigli di Lelkes e dei suoi colleghi.

Stiamo sperimentando modi per trasmettere l'incertezza che non impedisca alle persone di votare, afferma Morris dell'Economist. Ma penso che sia ancora un problema che i meteorologi avranno... Non so come aggirare alcune delle implicazioni sociali del nostro lavoro.

Rob Arthur è un giornalista indipendente e consulente di data science con sede a Chicago.

nascondere