211service.com
Le tecniche di dati di Obama domineranno le future elezioni
Questa è la terza parte del nostro profilo approfondito delle tecniche dei big data che hanno conferito a Barack Obama un secondo mandato. Leggi la parte 1 e la parte 2.
La marcia
Nell'estate del 2011, Carol Davidsen ha ricevuto un messaggio da Dan Wagner. Già la campagna di Obama era nota per le sue implacabili e-mail che imploravano i sostenitori di dare i loro soldi o il loro tempo, ma questa offriva qualcosa che intrigava Davidsen: un lavoro. Wagner aveva ordinato l'elenco dei donatori della campagna, che risale al 2008, per trovare coloro che descrivevano la propria occupazione con termini come dati e analisi e inviava loro tutti gli inviti a candidarsi per un lavoro nel suo nuovo dipartimento di analisi.
Davidsen stava lavorando presso Navic Networks, una società di proprietà di Microsoft che ha scritto il codice per decoder via cavo per creare un registro della cronologia del DVR o del sintonizzatore di un utente, quando ha ascoltato la chiamata di Wagner. Un anno prima del giorno delle elezioni, ha iniziato a lavorare nel dipartimento tecnologico della campagna per servire come product manager per Narwhal. Questo era il nome in codice, preso in prestito da una balena zanna, per uno sforzo ambizioso di abbinare i record di database precedentemente non collegati in modo che le interazioni online di un utente con la campagna potessero essere sincronizzate. Con Narwhal, le esplosioni di e-mail che chiedono alle persone di fare volontariato potrebbero prendere in considerazione la loro storia passata di donazioni e gli algoritmi che determinano quanto a un sostenitore sarebbe chiesto di contribuire potrebbero essere modellati dalla conoscenza della sua reazione alle sollecitazioni precedenti. Questa integrazione ha arricchito una tecnica, comune nello sviluppo di siti Web, che gli sforzi di raccolta fondi online di Obama avevano utilizzato con buoni risultati nel 2008: il test A/B, in cui gli utenti vengono indirizzati casualmente a diverse versioni di una cosa e le loro risposte vengono confrontate. Ora gli analisti potrebbero sfruttare i dati personali per identificare gli attributi di coloro che hanno risposto e utilizzare tale conoscenza per perfezionare i successivi ricorsi. Puoi citare altri tipi di coinvolgimento delle persone, afferma Amelia Showalter, direttore dell'analisi digitale di Obama. Abbiamo scoperto che c'erano molte cose che hanno costruito la buona volontà, come firmare il biglietto d'auguri del presidente o ottenere un adesivo per paraurti gratuito, che li ha portati a impegnarsi maggiormente con la campagna in altri modi.
Se la comunicazione online era stata l'aspetto della campagna 2008 sottoposto all'esame empirico più rigoroso - è facile assegnare casualmente le e-mail in un test A/B e confrontare le percentuali di clic o i livelli di donazione - la strategia dei mass-media era tra quelle che ha ricevuto di meno. Gli annunci televisivi e radiofonici dovevano essere acquistati per zona geografica e i dati disponibili su chi guarda quali canali o programmi, raccolti da società di ricerca come Nielsen e Scarborough, spesso includevano poco più dell'età e del sesso degli spettatori. Potrebbe essere sufficiente per guidare gli acquisti per Schick o Foot Locker, ma ha un valore limitato per gli inserzionisti che cercano di definire il pubblico in termini politici.
Mentre il manager della campagna Jim Messina si preparava a spendere fino a mezzo miliardo di dollari sui mass media per la rielezione di Obama, ha deciso di reinventare il processo di allocazione delle risorse attraverso i canali radiotelevisivi, via cavo, satellitari e online. Se si pensa all'universo dei luoghi possibili per un inserzionista, è quasi infinito, afferma Amy Gershkoff, che è stata assunta come direttrice della pianificazione media della campagna sulla base delle sue trattative di successo, mentre nel 2009 presso la sua azienda Changing Targets le informazioni dai sistemi di cavi ai singoli profili di microtargeting. Ci sono decine di milioni di opportunità in cui una campagna può mettere il suo prossimo dollaro. Hai tutti questi dati ottimi e robusti sugli elettori che non si adattano ai dati dei media. Il modo in cui lo combini è una sfida.
All'inizio del 2012, Wagner aveva abilmente strappato il comando della pianificazione dei media nel suo stesso dipartimento. Quando ha ampliato l'ambito dell'analisi, ha definito la sua competenza come lo studio e la pratica dell'ottimizzazione delle risorse allo scopo di migliorare i programmi e guadagnare voti in modo più efficiente. Ciò significava di solito calcolare, per qualsiasi attività di campagna, il numero di voti ottenuti attraverso un determinato numero di contatti a un determinato costo.
Ma quando si trattava di acquistare media, tali calcoli erano stati semplicemente impossibili, perché le campagne non erano in grado di collegare ciò che sapevano degli elettori a ciò che i fornitori di servizi via cavo sapevano dei loro clienti. I consiglieri di Obama hanno deciso che i dati resi disponibili nel settore privato avevano portato a lungo gli inserzionisti politici a porre le domande sbagliate. Walsh dice dello sforzo di reimmaginare il processo di targeting dei media: Non era per ottenere una migliore comprensione di ciò che le donne oltre 35 guardano in TV. Era per scoprire quanti dei nostri convincenti elettori stavano guardando quelle fasce orarie.
Davidsen, il cui lavoro precedente le aveva lasciato intimamente familiarità con i ricchi set di dati contenuti nei set-top box, capì che molti di quei dati erano disponibili sotto forma di storie di sintonizzatori e DVR raccolte dai fornitori di servizi via cavo e poi aggregate da società di ricerca. Per motivi di privacy, tuttavia, le informazioni non erano disponibili a livello individuale. La cosa più difficile nell'acquisto dei media in questo momento è la mancanza di informazioni, dice.
Davidsen ha iniziato a negoziare per fare in modo che le società di ricerca riconfezionassero i propri dati in una forma che consentisse alla campagna di accedere alle storie individuali senza violare gli standard sulla privacy dei fornitori di servizi via cavo. Con un accordo da $ 350.000 che ha elaborato con una società, Rentrak, la campagna ha fornito un elenco di elettori persuasibili e i loro indirizzi, derivati dai suoi modelli di microtargeting, e l'azienda li ha cercati nei file di fatturazione dei fornitori di servizi via cavo. Quando un record corrispondeva, Rentrak gli emetteva un ID familiare univoco che identificava i dati di visualizzazione da un singolo set-top box ma nascondeva qualsiasi informazione di identificazione personale.
La campagna di Obama aveva creato un proprio sistema di ascolti televisivi, una sorta di Nielsen in cui gli unici spettatori che contavano erano quelli non ancora del tutto legati a un candidato presidenziale. Ma Davidsen ha dovuto ottenere le informazioni in una forma pratica all'inizio di maggio, quando gli strateghi di Obama avevano pianificato di iniziare a pubblicare i loro annunci anti-Romney. Ha supervisionato lo sviluppo di una piattaforma software che lo staff di Obama ha chiamato Optimizer, che ha suddiviso la giornata in 96 segmenti da un quarto d'ora e ha valutato quali fasce orarie su 60 canali offrissero il maggior numero di obiettivi persuasibili per dollaro. (A settembre, aveva sbloccato una raccolta ancora più ricca di dati: un sistema via cavo a Toledo, Ohio, che tracciava le storie dei sintonizzatori degli spettatori al secondo.) La rivoluzione dell'acquisto dei media in questa campagna, dice Terry Walsh, che ha coordinato la campagna sondaggi e spese pubblicitarie, è stato quello di trasformare quello che era un mezzo di trasmissione in qualcosa che assomiglia molto di più a un mezzo a diffusione ristretta.
Quando la campagna di Obama ha utilizzato la televisione come mezzo di comunicazione di massa, è stato perché l'Optimizer aveva concluso che sarebbe stato un modo più efficiente per raggiungere obiettivi persuasivi. A volte un annuncio pubblicitario via cavo nazionale era un affare migliore di un gran numero di acquisti locali nei 66 mercati dei media che raggiungevano gli stati campo di battaglia. Ma l'acquisto nazionale occasionale aveva anche altri vantaggi. Potrebbe aumentare la raccolta di fondi e motivare i volontari in stati che non erano essenziali per l'aritmetica del Collegio elettorale di Obama. E, dice Davidsen, aiuta a nascondere parte della strategia del tuo acquisto.
Anche senza quella tattica, gli acquisti di Obama hanno lasciato perplessi gli analisti di Romney a Boston. Avevano investito nella propria piattaforma di media intelligence, chiamata Centraforce. Utilizzava alcune delle stesse origini dati aggregate che venivano inserite nell'ottimizzatore e, a volte, sembrava che entrambe inviassero le campagne agli stessi blocchi di annunci improbabili, ad esempio nelle repliche su TV Land. Ma c'era molto di più in quella che Alex Lundry, che ha creato l'unità di scienza dei dati di Romney, ha chiamato la strategia mediatica altamente variabile di Obama. Molti degli annunci dei Democratici sono stati inseriti in mercati marginali, in emittenti marginali e in momenti strani in cui pochi candidati politici avevano mai visto un valore. Gli scienziati dei dati di Romney semplicemente non potrebbero decodificare quelle decisioni senza i modelli elettorali o gli esperimenti di persuasione che hanno aiutato Obama a individuare i singoli obiettivi. Non siamo mai stati in grado di capire il livello di pubblicità e cosa stavano cercando di fare, afferma l'analista di dati di Romney Brent McGoldrick. Non valeva la pena di eseguire il reverse engineering, perché cosa hai intenzione di fare?
La comunità
Sebbene le tabelle di opinione degli elettori emerse dalla Grotta assomigliassero molto a sondaggi, gli analisti che le producevano non erano inclini a chiamarle sondaggi. La campagna ne aveva un sacco, generata da un team di opinione pubblica di otto aziende esterne, e i nuovi arrivati alla sede di Chicago sono rimasti scioccati dall'ampiezza variegata della ricerca che arrivava quotidianamente sulle loro scrivanie. Abbiamo creduto nella combinazione del qual, che abbiamo fatto più di qualsiasi altra campagna di sempre, con il quant, che [anche] abbiamo fatto più di qualsiasi altra campagna, per assicurarci che tutta la comunicazione per ogni livello della campagna fosse informata da ciò che hanno trovato, dice David Simas, il direttore della ricerca di opinione.
Simas si considerava il controllore del traffico aereo per tale ricerca, che era guidata da una serie di diari degli elettori che la squadra di Obama aveva commissionato mentre preparava la campagna di rielezione. Avevamo bisogno di fare qualcosa di quasi separato dalla politica e arrivare al modo in cui vedono le loro vite, dice. Il sondaggista capo, Joel Benenson, ha chiesto agli intervistati di scrivere le loro esperienze. Le voci usavano spesso la parola delusione, che aiutava a spiegare gli atteggiamenti nei confronti dell'amministrazione Obama, ma parlava anche di una più ampia insoddisfazione per le condizioni economiche. Quello è diventato il fondamento per il nostro intero programma di ricerca, dice Simas.
Carol Davidsen ha abbinato gli elenchi di Obama 2012 di elettori persuasibili con le informazioni di fatturazione dei fornitori di servizi via cavo.
I consiglieri di Obama hanno usato quei diari per sviluppare messaggi che mettevano in contrasto Obama con Romney come combattente per la classe media. I sondaggi nazionali di Benenson hanno testato la lingua per vedere quale influenzava le risposte degli elettori negli esperimenti di sondaggio e nelle domande dirette. A un quartetto di sondaggi sono stati assegnati stati specifici e gli è stato chiesto di capire quali temi nazionali si adattassero meglio alle preoccupazioni locali. Alla fine, i media advisor di Obama hanno creato più di 500 annunci e li hanno testati davanti a un campione online di spettatori selezionati dal direttore del focus group David Binder.
Ma la campagna doveva giocare anche in difesa. Quando qualcosa di potenzialmente dannoso è apparso nelle notizie, come la dichiarazione della consulente democratica Hilary Rosen secondo cui Ann Romney non aveva mai lavorato un giorno in vita sua, Simas ha fatto il check-in con la Community, una bacheca online privata popolata da 100 elettori indecisi reclutati da Binder. Simas avrebbe monitorato le conversazioni della comunità per vedere quali eventi di notizie fossero penetrati nella coscienza degli elettori. A volte chiedeva a Binder di mostrare ai suoi membri materiale controverso, come un video clip di Obama's You not build that comment, e chiedere se avesse cambiato le loro opinioni sul candidato. Per me è stato un modo molto rapido per tirarmi indietro e determinare se qualcosa era un problema o meno, afferma Simas.
Quando Wagner ha iniziato a confezionare la ricerca del suo dipartimento in qualcosa che la leadership della campagna potrebbe leggere come un sondaggio, è diventato evidente uno schema. I numeri di Obama negli stati chiave del campo di battaglia erano bassi nelle tabelle analitiche, ma lo erano anche quelli di Romney. C'erano semplicemente più elettori indecisi in tali stati, a volte quasi il doppio di quelli riscontrati dai sondaggisti tradizionali. Una distinzione metodologica di base spiegava questa discrepanza: i modelli di microtargeting richiedevano di intervistare molti elettori improbabili per dare forma a un profilo di come appariva un non votante, mentre i sondaggisti che seguivano la corsa dei cavalli volevano esaminare più rigorosamente coloro che avrebbero potuto votare. La rivalità tra le due unità che cercano di misurare l'opinione pubblica è diventata intensa: i sondaggi analitici erano una minaccia per il primato dei sondaggisti e, potenzialmente, per il loro modello di business. Ho passato molto tempo all'interno della campagna a spiegare alle persone che i numeri che otteniamo dall'analisi e i numeri che otteniamo dai sondaggisti esterni non avevano bisogno di essere rigorosamente riconciliati, afferma Walsh. Erano diversi.
La portata della ricerca analitica ha consentito di rilevare movimenti troppo piccoli per essere percepiti dai sondaggi tradizionali. Quando Simas ha rivisto le tabelle analitiche di Wagner a metà ottobre, è stato allarmato nel vedere che quello che era stato un vantaggio di uno o due punti di Romney a Green Bay, nel Wisconsin, era diventato un vantaggio compreso tra sei e nove. Green Bay è stato l'unico mercato dei media nello stato a sperimentare un tale cambiamento e non c'era una spiegazione ovvia. Ma era difficile fare sconti. Mentre un sondaggio standard di 800 persone in tutto lo stato avrebbe potuto raggiungere 100 intervistati nell'area di Green Bay, Analytics effettuava 5.000 chiamate nel Wisconsin in ogni ciclo di cinque giorni e beneficiava di decine di migliaia di altri contatti sul campo per produrre punteggi di microtargeting. Analytics parlava con tante persone nel mercato dei media di Green Bay quante ne parlavano i sondaggisti tradizionali in tutto il Wisconsin ogni settimana. Potremmo avere il livello di fiducia per dire: 'Questo non è rumore', afferma Simas. Quindi gli acquirenti di media della campagna hanno mandato in onda un annuncio che attaccava Romney sull'esternalizzazione e imploravano Messina di inviare l'ex presidente Bill Clinton e lo stesso Obama alle manifestazioni lì. (Alla fine, Romney ha preso la contea dal 50,3 al 48,5%.)
Per la maggior parte, tuttavia, le tabelle analitiche hanno dimostrato quanto fosse stabile l'elettorato e quanto potessero essere prevedibili i singoli elettori. I sondaggi dei media e delle istituzioni accademiche potrebbero aver oscillato di ora in ora, ma basarsi su centinaia di dati per giudicare se qualcuno fosse un probabile elettore si è dimostrato più affidabile rispetto all'utilizzo di una batteria di sette domande come quella di Gallup per fare lo stesso. Quando vedi questo Pogo stick accadere con i dati pubblici, l'elettorato non è così volatile, afferma Mitch Stewart, direttore del gruppo della campagna democratica Organizing for America. I dati analitici offrivano una fonte di calma.
I consiglieri di Romney erano altrettanto ottimisti, ma stavano perdendo. Anche loro ritenevano possibile proiettare la composizione dell'elettorato, basandosi su un metodo simile a quello di Gallup: il sondaggista Neil Newhouse ha chiesto agli intervistati quanto fosse probabile che si votasse. Coloro che hanno risposto a questa domanda con un sette o meno su una scala di 10 punti sono stati ignorati come non inclini a votare. Ma questo ha ignorato i metodi sperimentali che hanno permesso di misurare il comportamento individuale e l'impatto che una campagna stessa potrebbe avere sulla motivazione di un cittadino. Di conseguenza, i repubblicani non hanno tenuto conto degli elettori che la campagna di Obama avrebbe potuto mobilitare anche se avessero guardato al giorno delle elezioni senza entusiasmo o intensità.
L'ultimo giorno della gara, Wagner e il suo staff di analisi hanno lasciato la Caverna e sono saliti con l'ascensore su un piano nel grattacielo di Chicago della campagna per unirsi ai membri di altri dipartimenti in un locale caldaia creato per aiutare a tenere traccia dei voti mentre arrivavano. Già, da oltre un mese gli analisti di Obama contano le schede degli stati che hanno permesso ai cittadini di votare in anticipo. Ogni giorno, la campagna sovrapponeva agli elenchi dei primi elettori rilasciati dalle autorità elettorali i relativi punteggi di modellazione per proiettare quanti voti potevano rivendicare come propri.
Entro il giorno delle elezioni, le tavole analitiche di Wagner si trasformarono in previsioni. Prima dell'apertura delle urne in Ohio, le autorità della contea di Hamilton, la terza più grande dello stato e sede di Cincinnati, hanno rilasciato i nomi di 103.508 elettori che avevano votato anticipatamente nel mese precedente. Wagner li ha ordinati in base alle proiezioni di microtargeting e ha scoperto che 58.379 avevano punteggi di supporto individuali superiori a 50,1, ovvero i modelli della campagna prevedevano che era più probabile che non avessero votato per Obama. Ciò ammontava al 56,4 percento dei voti della contea, o un vantaggio grezzo di 13.249 voti su Romney. I primi voti sono stati i primi ad essere contati dopo la chiusura dei sondaggi dell'Ohio, e il personale senior di Obama si è riunito intorno agli schermi nel locale caldaia per vedere il conteggio iniziale. I numeri si sono stabilizzati quasi esattamente dove Wagner aveva detto che sarebbero stati: Obama ha ottenuto il 56,6 percento dei voti nella contea di Hamilton. In Florida, era il più vicino al segno; Il margine di Obama era solo di due decimi di sconto. Dopo quei primi due numeri, lo sapevamo, dice Bird. Era morto.
Quando Obama è stato rieletto, e con un margine di gran lunga più ampio di quanto la maggior parte degli estranei avesse previsto, il suo staff era euforico ma non sorpreso. La mattina dopo, Mitch Stewart era seduto nel locale caldaia, da solo, a monitorare i voti in ritardo mentre entravano nei server di Obama dalle autorità elettorali in Florida, l'ultimo stato a nominare un vincitore. La presidenza non era più in gioco; l'unica cosa che era ancora in bilico era l'accuratezza delle previsioni del dipartimento di analisi.
L'eredità
Pochi giorni dopo le elezioni, mentre le autorità della Florida continuavano a contare i voti provvisori, ad alcuni membri dello staff fu ordinato, come quattro anni prima, di rimanere a Chicago. Le loro istruzioni erano di produrre un altro rapporto post mortem che riassumesse le lezioni dell'ultimo anno e mezzo. L'impresa si chiamava Legacy Project, titolo grandioso ispirato dall'idea che le innovazioni di Obama 2012 dovessero tradursi non solo nella campagna del prossimo candidato democratico alla presidenza ma anche nella governance. Obama era riuscito a convincere alcuni cittadini che un modesto adeguamento del loro comportamento avrebbe influito, per quanto marginale, sull'esito di un'elezione. Poteva farli sentire allo stesso modo riguardo al Congresso?
Simas, che aveva servito alla Casa Bianca prima di unirsi alla squadra, si meravigliò dell'intimità della campagna. Forse più di chiunque altro al quartier generale, apprezzava l'aspetto umano della politica. Questa era stata la sua prima elezione presidenziale, ma prima di diventare un agente politico, Simas era stato lui stesso un politico, servendo nel consiglio comunale e nel consiglio scolastico nella sua città natale di Taunton, nel Massachusetts. Ha corso per l'ufficio bussando alle porte e interagendo individualmente con gli elettori (o quelli che sperava sarebbero diventati elettori), cercando di tenere traccia dei loro stati d'animo e delle loro aspettative.
Per molti aspetti, l'analisi ha permesso alla campagna di Obama di riprendere quello stile di politica. Sebbene la vecchia guardia possa aver visto tali tecniche come una forza dirompente nelle campagne, hanno permesso a un candidato presidenziale di vedere l'elettorato nel modo in cui lo vedono i candidati locali: come un insieme di persone che formano un'unione più perfetta, ognuna delle quali avvicinabile al suo o le sue condizioni, i loro livelli mutevoli di sostegno e di entusiasmo aperti alla misurazione e, quindi, al rispetto. Ciò che ci ha dato è stata la possibilità di condurre una campagna presidenziale nazionale nello stesso modo in cui faresti una campagna di rione locale, afferma Simas. Conosci le persone del tuo quartiere. Le persone hanno relazioni tra loro e tu le sfrutti in modo da conoscere il modo in cui parlano dei problemi, di cosa stanno discutendo al bar.
Pochi eventi nella vita americana oltre a un'elezione presidenziale toccano 126 milioni di adulti, o anche una frazione significativa di tanti, in un solo giorno. Certamente nessuna corporazione, nessuna istituzione civica e pochissime agenzie governative lo fanno mai. Obama lo ha fatto riducendo ogni americano a una serie di numeri. Eppure quei numeri in qualche modo catturavano l'individualità di ciascun elettore e non erano classificazioni demografiche. I punteggi misuravano la capacità delle persone di cambiare la politica e di esserne cambiati.
Questa storia è stata aggiornata il 18 dicembre per correggere la descrizione del sondaggio di Neil Newhouse per i repubblicani.