Lezioni dal data scientist superstar della pandemia, Youyang Gu

Signora Tech | Foto di cortesia

Lo scienziato dei dati Youyang Gu si considera un realista, lo dichiara nel suo Profilo Twitter : Presentatore di riprese imparziali. Realista.

Quando ha notato le proiezioni sparse per il covid-19 la scorsa primavera - un modello prevedeva 2 milioni di morti negli Stati Uniti entro l'estate, un altro ne prevedeva 60.000 - Gu si è chiesto se fosse buono come potrebbe essere la modellazione. Ha deciso di provare a realizzare lui stesso un modello covid-19. Il mio intero obiettivo era produrre il modello più accurato possibile, dice Gu, dal suo appartamento a Manhattan. Nessun 'se questo' o 'se quello'. Fondamentalmente, nessun 'se'. Non importa quali siano gli scenari. Volevo solo esporlo: 'Questa è la previsione più probabile o realistica per ciò che accadrà'.

Nel giro di una settimana, aveva costruito un modello di apprendimento automatico e lanciato il suo Sito web di proiezioni COVID-19 . Ha eseguito il modello ogni giorno - ci è voluta solo un'ora sul suo laptop - e ha pubblicato proiezioni di morte per covid-19 per 50 stati degli Stati Uniti, 34 contee e 71 paesi.

Storia correlata

Il covid potrebbe portare a una vita di malattie autoimmuni?

Stanno crescendo le prove che in alcune persone le infezioni da covid producono autoanticorpi diretti agli organi del corpo. Se fosse vero, potrebbe significare anni di malattia e miseria persistenti per molti.

Entro la fine di aprile, stava attirando l'attenzione: alla fine, milioni di persone controllavano il suo sito Web ogni giorno. Carl Bergstrom, professore di biologia all'Università di Washington, se ne accorse e ha commentato su Twitter che il modello di Gu stava facendo previsioni che sembravano buone come tutte quelle che ho visto.

Posso essere un po' scettico sul ML. Ma in questo caso, non lasciarti ingannare dal testo di 'apprendimento automatico' nel pensare che si tratti di olio di serpente, ha twittato Bergstrom.

Un laureato del MIT con un master in ingegneria elettrica e informatica (più una laurea in matematica), Gu, 27 anni, stava lavorando a una startup di analisi dello sport quando è scoppiata la pandemia. Ma ha messo in pausa quell'impresa quando gli sport della major league sono stati chiusi. E poi, semplicemente cercando su Google l'epidemiologia, ha iniziato la sua incursione nella modellazione del covid-19.

Non avevo alcun background nella modellazione di malattie infettive, dice. Ma ha avuto alcuni anni di esperienza come data scientist in finanza, lavorando con modelli statistici, modelli che, sulla base di determinate ipotesi statistiche, analizzano i dati e fanno proiezioni, diciamo, su dove sarà il prezzo di un'azione in futuro .

Si scopre che molti modelli di malattie infettive sono fondamentalmente modelli statistici, afferma Gu. E l'obiettivo di precisione orientato al profitto del settore finanziario gli è servito bene nel dominio epidemiologico. Se non riesci a creare un modello accurato in finanza, non avrai più un lavoro, dice. Al contrario, l'obiettivo nel mondo accademico, almeno dal punto di vista di Gu, non è tanto quello di creare modelli accurati, ma piuttosto di pubblicare articoli e informare le politiche pubbliche. Questo non vuol dire che non realizzino modelli accurati, solo che non ottimizzano in modo specifico per la precisione, dice.

Il modello di Gu combina l'apprendimento automatico con un classico simulatore di malattie infettive chiamato modello SEIR (tenendo conto degli individui della popolazione che sono suscettibili, esposti, infettivi, guariti o rimossi a causa della morte).

La componente SEIR utilizza come input un insieme simulato di parametri, un intervallo di stima ottimale per variabili come il numero di riproduzione di base (la frequenza con cui si verificano nuovi casi in una popolazione completamente suscettibile all'inizio di un focolaio, prima degli interventi o dell'immunità) , tasso di infezione, data di blocco, data di riapertura e numero effettivo di riproduzione (il tasso con cui si verificano nuovi casi dopo alcuni interventi). In termini di output, il simulatore SEIR calcola prima le infezioni nel tempo, quindi calcola i decessi (moltiplicando le infezioni per il tasso di mortalità per infezione).

Il livello di apprendimento automatico di Gu genera quindi migliaia di combinazioni diverse per quei set di parametri nel tentativo di trovare i parametri della vita reale per ciascuna regione geografica. Impara quali parametri generano le proiezioni di morte più accurate confrontando le previsioni SEIR con i dati reali sulle morti giornaliere della Johns Hopkins University. Cerca di imparare quali set di parametri generano decessi che si avvicinano di più ai dati effettivamente osservati, guardando indietro, afferma Gu. E poi usa quei parametri per prevedere e fare proiezioni sulle morti nel futuro.

Le previsioni si sono rivelate straordinariamente accurate. Ad esempio, il 3 maggio ha fatto la sua apparizione Stasera CNN e ha condiviso le proiezioni del suo modello secondo cui gli Stati Uniti avrebbero raggiunto 70.000 morti il ​​5 maggio, 80.000 morti l'11 maggio, 90.000 morti il ​​18 maggio e 100.000 morti il ​​27 maggio. twittato , covid19-projections.com ha tutte e 4 le date esattamente corrette. Con qualche arrotondamento, era vero.

Non sto dicendo di essere stato perfetto nell'ultimo anno. Ho sbagliato molte volte. Ma penso che tutti possiamo imparare ad avvicinarci alla scienza come metodo per trovare la verità, piuttosto che la verità stessa.

Youyang Gu

Il modello non era perfetto, ovviamente, ma ha impressionato Nicholas Reich, biostatistico e ricercatore sulle malattie infettive presso l'Università del Massachusetts, ad Amherst, il cui laboratorio, in collaborazione con i Centri statunitensi per il controllo e la prevenzione delle malattie, aggrega i risultati da circa 100 squadre di modelle internazionali. Tra tutti i modelli aggregati, osserva Reich, il modello di Gu era costantemente tra i primi.

Il 6 ottobre, Gu ha pubblicato la sua ultima previsione di morte, appena prima dell'ondata di caduta. Il modello prevedeva che ci sarebbero stati 231.000 morti negli Stati Uniti entro il 1 novembre. Il totale registrato entro quella data: 230.995.

Gu ha chiuso il suo primo modello all'inizio di ottobre perché a quel punto c'erano molte squadre che facevano buone previsioni di morte. Si è invece rivolto a modellare le vere infezioni rispetto alle infezioni segnalate. E poi a dicembre ha iniziato a monitorare l'introduzione del vaccino e l'elusivo colpetto h all'immunità di gregge —che all'inizio del 2021 ha rivisto per tornare alla normalità. Invece immunità di gregge si ottiene quando una porzione sufficiente di una popolazione è immune al virus, limitando così un'ulteriore diffusione, Gu definisce la normalità come la revoca di tutte le restrizioni relative al covid-19 per la maggior parte degli stati degli Stati Uniti.

Storia correlata

Come una piccola società di media sta aiutando le persone a vaccinarsi

Con molte persone che stanno ancora lottando per ottenere colpi di covid a New York, una newsletter locale ha agito come sensale di vaccini.

È diventato chiaro che non raggiungeremo l'immunità di gregge nel 2021, almeno sicuramente non in tutto il paese, dice. E penso che sia importante, soprattutto se stai cercando di infondere fiducia, che intraprendiamo percorsi sensati verso quando potremo tornare alla normalità. Non dovremmo fissarlo su un obiettivo irrealistico come raggiungere l'immunità di gregge. Sono ancora cautamente ottimista sul fatto che la mia previsione originale di febbraio, per un ritorno alla normalità in estate, sarà valida.

All'inizio di marzo, ha fatto le valigie: ha pensato di aver dato il contributo che poteva. Volevo fare un passo indietro e lasciare che gli altri modellisti ed esperti facessero il loro lavoro, dice. Non voglio confondere lo spazio.

Sta ancora tenendo d'occhio i dati, facendo ricerche e analisi, sulle varianti, sul lancio del vaccino e sulla quarta ondata. Se vedo qualcosa di particolarmente preoccupante o preoccupante di cui penso che le persone non stiano parlando, lo posterò sicuramente, dice. Ma per il momento si sta concentrando su altri progetti, come Azioni YOLO , una piattaforma di analisi dei titoli azionari. Il suo principale lavoro sulla pandemia è quello di membro del gruppo di consulenza tecnica dell'Organizzazione Mondiale della Sanità sulla valutazione della mortalità da covid-19, dove condivide la sua esperienza di outsider.

Ho sicuramente imparato molto nell'ultimo anno, dice Gu. È stato molto illuminante.

Lezione #1: Concentrati sui fondamenti

Dal punto di vista della scienza dei dati, i miei modelli hanno mostrato l'importanza della semplicità, che è spesso sottovalutata, afferma Gu. Il suo modello di previsione della morte era semplice non solo nella sua progettazione - il componente SEIR con un livello di apprendimento automatico - ma anche nel suo approccio molto ridotto e dal basso verso l'alto per quanto riguarda i dati di input. Dal basso verso l'alto significa partire dal minimo indispensabile e aggiungere complessità secondo necessità, dice. Il mio modello usa solo le morti passate per prevedere le morti future. Non utilizza nessun'altra fonte di dati reale.

Gu ha notato che altri modelli hanno attinto a una varietà eclettica di dati su casi, ricoveri, test, mobilità, uso della maschera, comorbidità, distribuzione per età, demografia , stagionalità della polmonite, tasso di mortalità annuale per polmonite, densità di popolazione, inquinamento atmosferico, altitudine, dati sul fumo, contatti auto-riferiti, traffico passeggeri delle compagnie aeree, point of care, termometri intelligenti, post di Facebook, ricerche su Google e altro ancora.

C'è questa convinzione che se aggiungi più dati al modello, o lo rendi più sofisticato, il modello funzionerà meglio, dice. Ma in situazioni reali come la pandemia, dove i dati sono così rumorosi, vuoi mantenere le cose il più semplici possibile.

Ho deciso presto che le morti passate sono il miglior predittore di morti future. È molto semplice: input, output. L'aggiunta di più origini dati renderà più difficile estrarre il segnale dal rumore.

Lezione #2: Riduci al minimo le ipotesi

Gu ritiene di aver avuto un vantaggio nell'affrontare il problema con una tabula rasa. Il mio obiettivo era semplicemente seguire i dati sul covid per conoscere il covid, dice. Questo è uno dei principali vantaggi della prospettiva di un estraneo.

Ma non essendo un epidemiologo, Gu doveva anche essere sicuro di non fare supposizioni errate o imprecise. Il mio ruolo è progettare il modello in modo tale che possa imparare le ipotesi per me, dice.

Quando arrivano nuovi dati che vanno contro le nostre convinzioni, a volte tendiamo a trascurarli o a ignorarli, e questo può causare ripercussioni lungo la strada, osserva. Di certo mi sono ritrovato a cadere vittima di questo, e so che anche molte altre persone lo hanno fatto.

Quindi essere consapevoli del potenziale pregiudizio che abbiamo e riconoscerlo, ed essere in grado di adattare i nostri precedenti, aggiustando le nostre convinzioni se nuovi dati le smentiscono, è davvero importante, specialmente in un ambiente in rapido movimento come quello che abbiamo visto con il covid .

Lezione #3: Verifica l'ipotesi

Quello che ho visto negli ultimi mesi è che chiunque può fare affermazioni o manipolare i dati per adattarli alla narrativa di ciò in cui vuole credere, dice Gu. Ciò evidenzia l'importanza di formulare semplicemente ipotesi verificabili.

Per me, questa è l'intera base delle mie proiezioni e previsioni. Ho una serie di ipotesi, e se queste ipotesi sono vere, allora questo è ciò che prevediamo accadrà in futuro, dice. E se le ipotesi finiscono per essere sbagliate, allora ovviamente dobbiamo ammettere che le ipotesi che facciamo non sono vere e adeguarci di conseguenza. Se non fai ipotesi verificabili, non c'è modo di mostrare se hai effettivamente ragione o torto.

Lezione #4: Impara dagli errori

Non tutte le proiezioni che ho fatto erano corrette, dice Gu. Nel maggio 2020, ha previsto 180.000 morti negli Stati Uniti entro l'inizio di agosto. È molto più alto di quanto abbiamo visto, ricorda (ci sono stati circa 155.000 morti). La sua ipotesi verificabile si è rivelata errata e questo mi ha costretto a modificare le mie ipotesi.

A quel tempo, Gu utilizzava un tasso fisso di mortalità per infezione di circa l'1% come costante nel simulatore SEIR. Quando in estate ha abbassato il tasso di mortalità per infezione a circa lo 0,4% (e successivamente a circa lo 0,7%), le sue proiezioni sono tornate a un intervallo più realistico.

Lezione #5: Coinvolgi i critici

Non tutti saranno d'accordo con le mie idee e lo accolgo con favore, afferma Gu, che ha utilizzato Twitter per pubblicare le sue proiezioni e analisi. Cerco di rispondere alle persone il più possibile, di difendere la mia posizione e di discutere con le persone. Ti costringe a pensare a quali sono le tue ipotesi e perché pensi che siano corrette.

Risale al pregiudizio di conferma, dice. Se non sono in grado di difendere adeguatamente la mia posizione, allora è davvero la pretesa giusta e dovrei fare queste affermazioni? Mi aiuta a capire, interagendo con altre persone, come pensare a questi problemi. Quando altre persone presentano prove che contrastano le mie posizioni, devo essere in grado di riconoscere quando potrei essere errato in alcune delle mie ipotesi. E questo in realtà mi ha aiutato enormemente a migliorare il mio modello.

Lezione #6: Esercitare un sano scetticismo

Ora sono molto più scettico nei confronti della scienza e non è una brutta cosa, dice Gu. Penso che sia importante mettere sempre in discussione i risultati, ma in modo sano. È una linea sottile. Perché molte persone rifiutano categoricamente la scienza, e non è nemmeno questo il modo di procedere.

Ma penso che sia anche importante non solo fidarsi ciecamente della scienza, continua. Gli scienziati non sono perfetti. È opportuno, dice, se qualcosa non sembra giusto, fare domande e trovare spiegazioni. È importante avere prospettive diverse. Se c'è qualcosa che abbiamo imparato nell'ultimo anno, è che nessuno ha sempre ragione al 100%.

Non posso parlare a nome di tutti gli scienziati, ma il mio compito è eliminare tutto il rumore e arrivare alla verità, dice. Non sto dicendo di essere stato perfetto nell'ultimo anno. Ho sbagliato molte volte. Ma penso che tutti possiamo imparare ad avvicinarci alla scienza come metodo per trovare la verità, piuttosto che la verità stessa.

nascondere