Come Obama ha usato i big data per radunare gli elettori, parte 1

Due anni dopo l'elezione di Barack Obama alla presidenza, i Democratici hanno subito la loro peggior sconfitta degli ultimi decenni. Le maggioranze congressuali che avevano dato a Obama i suoi successi legislativi, riformando l'assicurazione sanitaria e i mercati finanziari, sono state spazzate via nelle elezioni di medio termine; il controllo della Camera si capovolse e il vantaggio dei Democratici al Senato si ridusse a un margine ingovernabilmente sottile. Gli esperti hanno lottato per spiegare l'ascesa del Tea Party. La delusione degli elettori per l'agenda di Obama è stata evidente quando gli indipendenti hanno fatto irruzione e i Democratici sono rimasti a casa. Nel 2010, il Democratic National Committee ha fallito il suo primo test dell'era Obama: non aveva tenuto insieme la coalizione Obama.

Ma per i Democratici c'era una triste consolazione in tutto questo: Dan Wagner l'aveva previsto. Quando Wagner è stato assunto come direttore del targeting del DNC, nel gennaio 2009, è diventato responsabile della raccolta delle informazioni sugli elettori e dell'analisi per aiutare il comitato ad avvicinarsi ai singoli elettori tramite posta diretta e telefono. Ma apprezzava che la materia prima che stava immettendo nei suoi modelli statistici equivaleva a una serie di sondaggi sugli atteggiamenti e le preferenze degli elettori. Ha chiesto al dipartimento tecnologico del DNC di sviluppare un software in grado di trasformare quelle informazioni in tabelle e ha chiamato il Survey Manager dei risultati.

Quell'autunno, quando si tenne un'elezione speciale per riempire un seggio aperto al Congresso nello stato di New York, Wagner predisse con successo il margine finale entro 150 voti, molto prima del giorno delle elezioni. Mesi dopo, i sondaggisti prevedevano che Martha Coakley sarebbe stata certa di vincere un'altra elezione speciale, per riempire il seggio al Senato del Massachusetts lasciato vuoto dalla morte di Ted Kennedy. Ma il Survey Manager di Wagner aveva correttamente predetto che il repubblicano Scott Brown avrebbe probabilmente prevalso nello stato fortemente democratico. Una cosa è avere ragione quando si vince, dice Jeremy Bird, che è stato vicedirettore nazionale di Organizing for America, la campagna di Obama in sospeso, ospitata al DNC. Un'altra cosa è avere ragione quando stai per perdere.

Avere ragione è un'altra cosa cinque mesi prima di perdere Con l'avvicinarsi del midterm 2010, Wagner ha costruito modelli statistici per le razze selezionate del Senato e 74 distretti congressuali. A partire da giugno, ha iniziato a prevedere i risultati delle elezioni, prevedendo i margini di vittoria con quella che si è rivelata un'accuratezza improbabile. Ma non ci era arrivato con i sondaggi tradizionali. Aveva contato i voti uno per uno. Il suo primo indizio che il partito fosse nei guai proveniva da migliaia di chiamate di sondaggi individuali abbinate a ricchi profili statistici nei database del DNC. Gli elettori democratici di base stavano dicendo ai chiamanti del DNC che erano molto meno propensi a votare di quanto suggerisse la probabilità statistica. Wagner potrebbe anche calcolare quanto farebbero i programmi di mobilitazione dei Democratici per aumentare l'affluenza ai tifosi, e nella maggior parte delle gare sapeva che non sarebbe stato sufficiente a coprire il gap che si manifestava nei tavoli del Survey Manager.

Le sue previsioni del Congresso erano errate in media solo del 2,5%. Questo è stato un punto di prova per molte persone che non capiscono la matematica dietro ma capiscono il valore di ciò che la matematica produce, afferma Mitch Stewart, direttore di Organizing for America. Una volta avvenuta la prima [elezione] speciale, la sua parola era il gold standard al DNC.

Il significato del successo di Wagner è andato ben oltre la sua capacità di dichiarare vincitori mesi prima del giorno delle elezioni. Il suo approccio è stato una rottura decisiva con gli strumenti del XX secolo per tracciare l'opinione pubblica, che ruotavano attorno alla messa in quarantena di piccoli campioni che potevano essere considerati rappresentativi dell'insieme. Wagner era emerso da un gruppo di analisti che pensavano agli elettori come individui e lavoravano per aggregare proiezioni sulle loro opinioni e comportamenti fino a rivelare un'immagine composita di tutti. Le sue tecniche hanno segnato il compimento di un nuovo modo di pensare, un decennio in divenire, in cui gli elettori non erano più intrappolati in vecchie geografie politiche o legati a categorie demografiche tradizionali, come l'età o il sesso, a seconda degli attributi richiesti dai sondaggisti o come i marketer di consumo li hanno classificati per scopi commerciali. Invece, l'elettorato potrebbe essere visto come un insieme di singoli cittadini che potrebbero essere misurati e valutati ciascuno secondo le proprie condizioni. Ora toccava a un candidato che voleva guidare quelle persone a costruire una campagna che avrebbe interagito con loro allo stesso modo.

Dan Wagner, chief analytics officer di Obama 2012, ha guidato la Cave of data scientist della campagna.

Dopo che gli elettori hanno restituito Obama alla carica per un secondo mandato, la sua campagna è stata celebrata per il suo uso della tecnologia, in gran parte sviluppata da un insolito team di programmatori e ingegneri, che ha ridefinito il modo in cui gli individui possono utilizzare il Web, i social media e gli smartphone per partecipare al processo politico. Un'app mobile ha consentito a un promotore di scaricare e restituire i fogli di camminata senza mai entrare in un ufficio della campagna; una piattaforma Web chiamata Dashboard ha ludicato l'attività di volontariato classificando i sostenitori più attivi; e protocolli di condivisione mirati hanno estratto la rete Facebook di un sostenitore di Obama in cerca di amici che la campagna voleva registrare, mobilitare o persuadere.

Ma al di sotto di tutto ciò c'erano punteggi che descrivevano particolari elettori: una nuova valuta politica che prevedeva il comportamento dei singoli umani. La campagna non solo sapeva chi eri; sapeva esattamente come poteva trasformarti nel tipo di persona che voleva che tu fossi.

I punteggi

Quattro anni prima, Dan Wagner lavorava in una società di consulenza economica di Chicago, utilizzando le capacità di previsione sviluppate studiando econometria all'Università di Chicago, quando si innamorò di Barack Obama e decise di voler lavorare alla campagna presidenziale del 2008 del senatore dello stato di origine. Wagner, allora 24enne, è stato presto a Des Moines, occupandosi dell'inserimento dei dati per il file degli elettori statali che ha guidato Obama alla sua vittoria cruciale nei caucus dell'Iowa. È passato da uno stato all'altro attraverso il lungo calendario delle primarie, familiarizzando con i dati degli elettori e le modalità di utilizzo dei modelli statistici per ordinare in modo intelligente l'elettorato. Per le elezioni generali, è stato nominato il principale bersaglio per la regione dei Grandi Laghi/Valle del fiume Ohio, il campo di battaglia più intenso del paese.

Dopo la vittoria di Obama, molti dei suoi migliori consiglieri si sono trasferiti a Washington per prepararsi al governo. A Wagner è stato detto di rimanere indietro e servire in una task force post-elettorale che avrebbe esaminato una campagna che era sembrata, al mondo esterno, tecnicamente impeccabile.

Nelle elezioni presidenziali del 2008, gli obiettivi di Obama avevano assegnato a ogni elettore nel paese un paio di punteggi in base alla probabilità che l'individuo eseguisse due azioni distinte importanti per la campagna: votare e sostenere Obama. Questi punteggi sono stati ricavati da un volume senza precedenti di lavori di indagine in corso. Per ogni stato del campo di battaglia ogni settimana, i call center della campagna hanno condotto da 5.000 a 10.000 cosiddette interviste in forma breve che hanno rapidamente misurato le preferenze di un elettore e 1.000 interviste in una versione lunga che era più simile a un sondaggio tradizionale. Per derivare previsioni a livello individuale, gli algoritmi hanno cercato schemi tra queste opinioni e i punti dati che la campagna aveva raccolto per ogni elettore, fino a mille variabili ciascuna, tratte dai record di registrazione degli elettori, dai data warehouse dei consumatori e dai contatti passati della campagna.

Questa innovazione è stata più apprezzata nel campo. Lì, un ciclo quasi perfetto di modelli di microtargeting indirizzava i volontari a conversazioni programmate con elettori specifici alla porta o al telefono. Ognuna di queste interazioni ha prodotto dati che sono tornati ai server di Obama per perfezionare i modelli che indirizzano i volontari verso la porta accanto che vale la pena bussare. L'efficienza e la portata di quel processo hanno messo i Democratici molto avanti quando si trattava di profilare gli elettori. La campagna di John McCain, nella maggior parte degli stati, ha eseguito il suo modello statistico solo una volta, assegnando ogni elettore a uno dei suoi segmenti di microtargeting in estate. I consiglieri di McCain non sono stati in grado di ricalcolare la probabilità che quegli elettori avrebbero sostenuto il loro candidato mentre le dinamiche della gara cambiavano. I punteggi di Obama, d'altra parte, si sono adeguati settimanalmente, rispondendo a nuovi eventi come la nomina alla vicepresidenza di Sarah Palin o il crollo di Lehman Brothers.

All'interno della campagna, tuttavia, si riteneva che le operazioni sui dati di Obama avessero delle carenze. Come era tipico nell'infrastruttura dell'informazione politica, la conoscenza delle persone veniva archiviata separatamente dai dati sulle interazioni della campagna con loro, principalmente perché i database costruiti per tali scopi erano stati sviluppati da diversi consulenti che non avevano interesse a far funzionare insieme i loro sistemi.

Ma la task force sapeva che la prossima campagna non era legata a quella situazione. Obama avrebbe corso la sua ultima corsa non come un insorto contro l'establishment del partito, ma come l'establishment stesso. Per quattro anni, i membri della task force lo sapevano, la loro squadra avrebbe controllato l'apparato del Partito Democratico. Le loro richieste, non le offerte di consulenti e fornitori, avrebbero plasmato il mercato. Il loro rapporto raccomandava lo sviluppo di un sistema di gestione delle relazioni costitutive che consentisse al personale durante la campagna di cercare individui non solo come elettori o volontari o donatori o utenti del sito Web, ma come cittadini a pieno titolo. Ci siamo resi conto che c'era un problema con il modo in cui i nostri dati e la nostra infrastruttura interagivano con il resto della campagna e dovremmo essere in grado di offrirli a tutte le parti della campagna, afferma Chris Wegrzyn, uno sviluppatore di applicazioni di database che ha lavorato nella task force .

Wegrzyn è diventato lo sviluppatore principale del DNC e ha supervisionato una serie di costose acquisizioni, tutte destinate a liberare il partito dalla tradizionale dipendenza da fornitori esterni. Il comitato ha installato un'unità di composizione telefonica Siemens Enterprise System che potrebbe emettere 1,2 milioni di chiamate al giorno per sondare le opinioni degli elettori. Successivamente, i leader del partito hanno firmato una licenza da 280.000 dollari per utilizzare il software Vertica di Hewlett-Packard che consentiva ai loro server di accedere non solo al file di 180 milioni di elettori del partito, ma a tutti i dati su volontari, donatori e coloro che avevano interagito con Obama in linea.

Molti di coloro che si sono recati a Washington dopo le elezioni del 2008 per promuovere l'agenda politica del presidente sono tornati a Chicago nella primavera del 2011 per lavorare alla sua rielezione. Le perdite punitive che avevano sperimentato a Washington li separavano da coloro che avevano conosciuto solo le estasi del 2008. Le persone che hanno fatto l'08, ma non hanno fatto il '10, e sono tornate nel '11 o '12: avevano la cultura più dura scontro, dice Jeremy Bird, che è diventato direttore nazionale sul campo della campagna di rielezione. Ma coloro che andarono a Washington e tornarono a Chicago svilupparono un particolare apprezzamento per i metodi di Wagner di lavorare con l'elettorato a livello atomico. Era un modo di pensare perfettamente in linea con la loro semplice teoria di ciò che sarebbe servito per vincere la rielezione del presidente: far sì che tutti quelli che lo avevano votato nel 2008 lo facessero di nuovo. Allo stesso tempo, sapevano che avrebbero avuto bisogno di riuscire a registrare e mobilitare nuovi elettori, specialmente in alcune delle categorie demografiche in più rapida crescita, per compensare gli elettori del 2008 che hanno disertato.

La campagna di Obama iniziò l'anno elettorale sicuro di conoscere il nome di ognuno dei 69.456.897 americani i cui voti lo avevano portato alla Casa Bianca. Potrebbero aver espresso quei voti a scrutinio segreto, ma gli analisti di Obama potrebbero guardare i totali dei voti dei democratici in ogni distretto e identificare le persone che più probabilmente lo hanno sostenuto. Gli esperti hanno parlato in astratto della riorganizzazione della coalizione di Obama del 2008. Ma all'interno della campagna, l'obiettivo era letterale. Avrebbero riassemblato la coalizione, uno per uno, attraverso contatti personali.

Domani: Parte 2—Gli esperimenti

nascondere