Scienza dei dati e statistica: opportunità e sfide

fornito da Formazione professionale del MIT

Ora viviamo in un mondo in cui sembra che tutto di noi sia (o presto sarà) tracciato e registrato: cosa mangiamo, cosa guardiamo, come socializziamo, cosa ci piace e cosa non ci piace, le nostre statistiche sulla salute vitale e l'elenco continua.

Tale accesso senza precedenti ai dati personali presenta opportunità potenzialmente enormi, ad esempio, per aiutare i funzionari governativi a prendere decisioni politiche migliori, consentire alle aziende di operare in modo più efficiente e redditizio, semplificare l'uso delle risorse pubbliche, supportare un'assistenza sanitaria più personalizzata e la progettazione di farmaci e in altro modo migliorare la qualità complessiva della vita nella nostra società. La chiave per cogliere queste opportunità risiede nella nostra capacità di convertire i dati disponibili in decisioni significative.

Scienza dei dati e statistica: opportunità e sfide

• Questo nuovo corso online di 6 settimane inizia il 4 ottobre.

  Registrati oggi!

Un prossimo corso di formazione professionale online di sei settimane del MIT, Scienza dei dati: dai dati agli approfondimenti , offerto in collaborazione con il MIT Institute for Data, Systems, and Society ( IDSS ), si concentrerà sull'analisi. Ma affronterà anche questioni come le ultime tendenze dell'apprendimento automatico: come estrarre informazioni e preferenze significative dai dati dei clienti in generale e come porre le domande giuste per prendere decisioni aziendali migliori.

La sfida

Negli ultimi decenni abbiamo costruito un'infrastruttura in grado di archiviare ed elaborare enormi quantità di dati. Tuttavia, ci manca ancora la capacità fondamentale di unire senza soluzione di continuità vari dati per fare previsioni significative che portino a decisioni ad alto impatto. Date le infinite opportunità che possono essere sbloccate affrontando questa lacuna, credo che questa sia una delle sfide che definiscono i nostri tempi.

Le istituzioni educative possono svolgere un ruolo di primo piano nell'affrontare questa importante sfida. Al MIT, l'IDSS e il suo nuovo Statistics and Data Science Center ( SDSC ) contribuirà ad affrontare la sfida di trasformare i dati in decisioni del mondo reale con un duplice approccio:

1. Educare i nostri studenti essere in grado di lavorare con grandi quantità di dati e utilizzare gli strumenti per estrarne informazioni significative. In altre parole, dobbiamo educare gli studenti di tutte le discipline a essere entrambi data scientist e statistici. Ciò richiede che le istituzioni progettino un programma educativo snello e interdisciplinare che includa elementi dell'ingegneria, delle scienze matematiche e delle scienze sociali.
2. Sviluppo di un programma di ricerca che alla fine produce un sistema di elaborazione dei dati statistici che può essere prontamente utilizzato per fare ogni tipo di previsione accurata. Un tale sistema deve funzionare con fonti di dati eterogenee, operare su larga scala e portare a previsioni che possono essere interpretate in modo efficace. Questo ambizioso programma potrebbe aiutare a mobilitare uno sforzo intellettuale interdisciplinare ed entusiasmante nella scienza dei dati e nelle statistiche per il prossimo decennio e oltre.

Pensare alle decisioni

Consideriamo come vengono prese le decisioni. In un'organizzazione tipica, le attività operative di base dipendono dalle decisioni su come investire le risorse disponibili tra diverse opzioni concorrenti, con un occhio a uno o più obiettivi.

Ad esempio, il governo degli Stati Uniti prende tali decisioni mentre sviluppa il proprio budget. Una società di trading investe denaro in diversi strumenti finanziari per creare portafogli con rendimenti elevati e, potenzialmente, rischi ben compresi. Un'organizzazione di vendita al dettaglio prende decisioni su quali acquisti di merce genereranno ricavi e profitti elevati. Una famiglia prende decisioni su come ottenere il massimo dal reddito familiare. Un individuo razionale prende decisioni su cosa mangiare (e cosa non mangiare) per avere abbastanza energia e rimanere in salute.

Tutte queste decisioni, in poche parole, si riducono a fare previsioni, quindi intraprendere determinate attività di ottimizzazione utilizzando tali previsioni.

Come funziona: un esempio di vendita al dettaglio

Ora diamo un'occhiata a un esempio concreto che coinvolge un rivenditore di abbigliamento. Il principale problema operativo del rivenditore è capire quali prodotti mostrare ai clienti, dati vari vincoli operativi come il budget per l'acquisto di scorte, i limiti di spazio sugli scaffali dei suoi negozi e gli orari dei suoi fornitori. La questione della scelta dei prodotti da mostrare sorge in momenti diversi per diversi tipi di decisioni, come decidere quali prodotti acquistare all'interno della catena di negozi, quali spedire in varie località dai centri di distribuzione, quali prodotti scontare, quali promuovere tramite e-mail e quali mostrare ai clienti quando visitano negozi o siti di e-commerce.

Tutte queste domande, in sostanza, richiedono una comprensione di ciò che piace e non piace alle persone. Alcuni sistemi esistenti forniscono queste informazioni e potrebbero indicare, ad esempio, che le magliette blu sono di tendenza mentre i pantaloncini rossi hanno smesso di vendere. Ma come si convertono queste intuizioni in azioni?

Processo decisionale basato sui dati

Concettualmente, il processo decisionale basato sui dati richiede il collegamento di variabili e opzioni decisionali ai dati e quindi la risoluzione di un problema di ottimizzazione con obiettivi variabili. Operativamente, ciò richiede la creazione di un sistema di elaborazione dati che potrebbe essere su scala estremamente ampia e che potrebbe dover operare in tempo reale con tre componenti di alto livello: interfacce, infrastruttura e algoritmi.

Interfacce. Questi forniscono modi per fornire informazioni ai clienti finali e sensori per raccogliere informazioni. Ad esempio, le interfacce basate sul Web (browser) o le applicazioni mobili consentono la raccolta di informazioni sulle attività online dei clienti. Allo stesso modo, tali interfacce possono aiutare un decisore in un'organizzazione di vendita al dettaglio a interagire con dati e approfondimenti, oltre a ottenere supporto decisionale. La standardizzazione di tali interfacce ha consentito una massiccia innovazione in questo settore negli ultimi dieci anni.

Infrastruttura. Il ruolo dell'infrastruttura è quello di fornire un mezzo per archiviare ed elaborare senza interruzioni enormi quantità di dati. La necessità di tale infrastruttura è nata naturalmente alla fine degli anni '90 quando l'era di Internet ha preso piede. Non sorprende che le società di ricerca sul Web abbiano aperto la strada alle innovazioni di base. È interessante notare che la ricerca sul Web, una funzionalità apparentemente semplice, ha portato allo sviluppo di un'infrastruttura di calcolo e archiviazione scalabile generica. Questo, a sua volta, è stato il motivo principale delle recenti entusiasmanti innovazioni nel calcolo scalabile e nell'elaborazione dei dati.

Algoritmi. Gli algoritmi di elaborazione dei dati trasformano i dati grezzi raccolti in informazioni e decisioni preziose. Modelli appropriati vengono utilizzati per collegare quei dati alle variabili decisionali. Ad esempio, quando i dati grezzi vengono generati dalle persone, può avere senso utilizzare un modello comportamentale per collegare i dati osservati alle variabili decisionali. Gli algoritmi risultanti utilizzano l'infrastruttura di calcolo e archiviazione, basata sui dati ottenuti tramite l'interfaccia, e producono risultati finali che possono essere forniti all'utente finale tramite l'interfaccia.

Eppure una sfida importante è consentire lo sviluppo di algoritmi di elaborazione dati per tutti. A differenza della disponibilità di interfacce standardizzate o di un'architettura generica di calcolo e archiviazione, siamo lontani dall'avere un'architettura algoritmica generica per l'elaborazione dei dati.

Rivisitiamo l'esempio di vendita al dettaglio sopra. In particolare, considera l'attività decisionale su quali prodotti mostrare ai clienti quando visitano il sito di e-commerce, ovvero come possiamo personalizzare l'esperienza di ogni cliente? Naturalmente, questo dipende dai dati sul cliente specifico, nonché dai dati raccolti su altri.

Tali dati vengono raccolti attraverso la cronologia di navigazione di un cliente e i clic sul sito Web di e-commerce, gli acquisti passati e altre attività online raccolte tramite le nostre interfacce Web e mobili. È probabile che sia archiviato in un'infrastruttura di archiviazione. Si trasforma in decisioni personalizzate in tempo reale tramite algoritmi di elaborazione dati potenzialmente sofisticati che utilizzano modelli comportamentali delle scienze sociali, insieme a metodi di statistica matematica e apprendimento automatico. Gli algoritmi di elaborazione dati utilizzano l'infrastruttura di calcolo per essere in grado di prendere tali decisioni in tempo reale. In questo modo, le decisioni personalizzate vengono consegnate al cliente attraverso l'interfaccia.

La chiave per costruire questo tipo di personalizzazione o sistema di raccomandazione è avere accesso a un team esperto di data scientist e statistici in grado di identificare metodi statistici e modelli comportamentali appropriati per sviluppare algoritmi di elaborazione dati. Possono quindi progettare interfacce a misura di uomo in grado di raccogliere dati utili e successivamente prendere decisioni. Sebbene si tratti di un'impresa costosa, alcuni dei maggiori rivenditori hanno già intrapreso questa strada.

D'altra parte, il sistema di personalizzazione/raccomandazione ha funzioni specifiche che assumono una forma molto simile tra le organizzazioni. Tale somiglianza ha consentito lo sviluppo di sistemi di raccomandazione generici. Pertanto, molti rivenditori finiscono per acquistare tali sistemi da fornitori esterni che si limitano a collegare il sistema di personalizzazione tramite le interfacce.

Chiusura del ciclo

Come discusso in precedenza, una delle principali sfide sta passando dai dati alle decisioni. Abbiamo già molti dati e una buona infrastruttura per archiviarli ed elaborarli, ma dobbiamo capirlo come elaboralo. La discussione sul sistema di personalizzazione/raccomandazione spiega precisamente i due approcci che possiamo utilizzare contemporaneamente per affrontare questa sfida.

In primo luogo, dobbiamo consentire alle organizzazioni di creare il proprio team di esperti di dati. In secondo luogo, dovremmo sviluppare un'architettura algoritmica generica per l'elaborazione dei dati. In particolare, questa architettura di elaborazione dati deve concentrarsi sullo sviluppo di un sistema di previsione generico. Questo perché un sistema decisionale ha fondamentalmente due componenti: prevedere le incognite e utilizzare le previsioni per eseguire l'ottimizzazione. Negli ultimi decenni sono stati compiuti progressi significativi per sviluppare la teoria e la pratica dell'ottimizzazione. Tuttavia, non possiamo ancora definire quale sia il problema della previsione generica e universale.

IDSS, SDSC e 'Scienza dei dati'

Il MIT ha lanciato l'IDSS per affrontare le questioni sociali che emergono nel prossimo secolo. Sebbene molti di questi problemi coinvolgano più discipline, sono tutti collegati da una sfida comune: le decisioni basate sui dati. Per sviluppare un programma educativo e consentire la ricerca nella scienza dei dati e nella statistica presso l'IDSS, il MIT ha creato l'SDSC sotto l'egida dell'IDSS.

Aiuteremo ad affrontare la sfida di trasformare i dati in decisioni abilitando i due approcci che ho descritto sia attraverso l'SDSC che l'IDSS. In particolare, l'SDSC formerà sofisticati data scientist e statistici attraverso programmi educativi interdisciplinari. L'IDSS fornirà un ambiente di ricerca interdisciplinare che consentirà ai suoi membri di intraprendere ambiziosi programmi di ricerca nel campo della statistica e della scienza dei dati.

Nel frattempo, il nostro nuovo corso online di sei settimane, Scienza dei dati: dai dati agli approfondimenti , che inizierà il 4 ottobre, condividerà le informazioni più recenti sui modi per applicare le tecniche di data science per affrontare in modo più efficace le numerose sfide della tua organizzazione. Per ulteriori informazioni su come creare il futuro dell'analisi dei dati della tua azienda, visita il sito la pagina di registrazione al corso .

Ringraziamenti: L'autore ringrazia Munther Dahleh e Philippe Rigollet per aver fornito un feedback su una versione precedente di questo articolo, e Stefanie Koperniak e Myriam Joseph per averlo corretto e modificato.

Devavrat Shah, co-direttore del corso Data Science: Data to Insights, è professore nel Dipartimento di ingegneria elettrica e informatica del MIT, direttore dell'SDSC e membro della facoltà principale dell'IDSS. È anche membro del Laboratory for Information and Decision Systems (LIDS) del MIT e del Centro di ricerca operativa (ORC).

nascondere