I chip grafici aiutano a elaborare grandi set di dati in millisecondi

Il nuovo software può utilizzare i processori grafici presenti sui computer di tutti i giorni per elaborare torrenti di dati più rapidamente di quanto sia normalmente possibile, aprendo nuovi modi per esplorare visivamente qualsiasi cosa, dai post di Twitter alle donazioni politiche.

Rainmaker : La nuova tecnologia di visualizzazione richiede solo millisecondi per trasformare decine o centinaia di milioni di punti dati in mappe e animazioni come questo esempio che mostra la frequenza della parola pioggia nei tweet in tutto il paese.

Conosciuto come MappaD , o database massicciamente parallelo, la nuova tecnologia ottiene grandi guadagni di velocità archiviando i dati nella memoria integrata delle unità di elaborazione grafica (GPU) invece che nelle unità di elaborazione centrale (CPU), come è convenzionale. L'utilizzo di una singola scheda GPU ad alte prestazioni può rendere l'elaborazione dei dati fino a 70 volte più veloce.

In questo momento la tecnologia prototipo viene dimostrata sui tweet; può mostrare come un meme si sta propagando in tempo reale su mappe regionali o mondiali (guarda Visualizzazione di Big Data in millisecondi su computer economici). Molte visualizzazioni di Twitter su larga scala, comprese mappe e grafici animati, impiegano diversi secondi o più per elaborare i dati prima che possano essere visualizzati. Con MapD, un utente può regolare i termini di ricerca e altri parametri, come l'intervallo di tempo o la regione geografica, e vedere istantaneamente una nuova visualizzazione, senza dover attendere il calcolo e il caricamento di ogni nuova mappa e animazione.

Questo interfaccia pubblica può essere utilizzato per visualizzare 50 milioni di tweet geocodificati pubblicati tra il 28 settembre e il 6 ottobre. Lo strumento consente agli utenti di esplorare diversi termini di ricerca, esaminare le tendenze geografiche generali e ingrandire ogni tweet. Per ciascuno dei 30 fotogrammi al secondo generati durante l'animazione di Twitter, Map-D esegue la scansione di tutti i tweet caricati sulle GPU, costruendo visualizzazioni come mappe dell'utilizzo delle parole, che potrebbero includere menzioni del nome di un prodotto o di una notizia —si sta propagando in una regione o nel mondo in tempo reale.

Le [visualizzazioni di Twitter esistenti] di cui siamo a conoscenza sono 'preconfezionate', basate su alcuni calcoli precedenti di una mappa o di un'immagine, piuttosto che essere veramente interattive, afferma Samuel Madden , un professore di informatica al MIT. Abbiamo costruito un nuovo tipo di sistema di database. Risponderà e mapperà anche ogni richiesta scansionando ogni tweet nel database, che può essere fatto in pochi millisecondi. Il sistema può tenere il passo anche se il database ha centinaia di milioni di tweet.

La tecnologia è stata inventata l'anno scorso da Todd Mostak, allora studente laureato ad Harvard in studi mediorientali, frustrato dall'elaborazione lenta che ha incontrato mentre cercava di macinare set di dati sui social media dall'Egitto e da altre parti del Medio Oriente. Costruendo uno strumento per esplorare set di dati come questo in modo veramente interattivo, con latenze misurate in millisecondi anziché in secondi o minuti, speriamo di rimuovere un collo di bottiglia computazionale dal processo di formulazione, verifica e perfezionamento delle ipotesi, afferma Mostak.

La tecnologia potrebbe semplificare la raccolta di informazioni dall'enorme corpus di informazioni di Twitter. La combinazione dei dati del censimento con i tweet, ad esempio, potrebbe mostrare come la menzione della parola McDonald's nei tweet georeferenziati si riferisca a variabili come il reddito o i livelli di disoccupazione.

Uno dei primi ad adottarlo sarà il Fondotinta solare , che promuove l'apertura nel finanziamento delle campagne. Quell'organizzazione sta alimentando 22 anni di dati sulle donazioni della campagna statale e federale degli Stati Uniti a MapD, che fornirà modi per variare rapidamente le visualizzazioni che suddividono più di 20 milioni di donazioni in base a donatore, regione, funzionario eletto e altri parametri. Ogni nuovo tipo di query genererà una nuova visualizzazione in pochi millisecondi.

Utilizzando i metodi esistenti, il caricamento di una visualizzazione può richiedere alcuni secondi, poiché l'interrogazione delle informazioni in un database richiede molto tempo. L'accesso più rapido consente ai ricercatori di testare ipotesi e perfezionare le visualizzazioni più rapidamente. Ciò potrebbe rendere più utili i set di big data. Molti laptop contengono anche GPU abbastanza potenti, abbastanza veloci da accelerare notevolmente l'esplorazione interattiva di set di dati di dimensioni moderate di, ad esempio, 20 milioni di tweet, afferma Mostak.

La tecnologia di MapD promette di rendere possibili nuovi tipi di query in tempo reale, afferma Bob Lannon, uno sviluppatore di Laboratori di luce solare , che sviluppa strumenti di analisi dei dati per la Sunlight Foundation. Presto sarai in grado di esplorare rapidamente grandi quantità di dati e di ruotarli, filtrarli e riepilogarli in modi non disponibili in precedenza. Siamo entusiasti di vedere cosa potrebbe significare per i nostri utenti.

Nvidia, uno dei principali produttori di GPU, prevede di dimostrare MapD su oltre un miliardo di tweet utilizzando otto GPU in una prossima conferenza. I ricercatori stanno anche pianificando di fare una demo congiunta con Gnip, il principale rivenditore di dati sui social media da fonti come Twitter, Foursquare e Facebook. Elaine Ellis, portavoce di Gnip, ha affermato che la società non è pronta a parlare della collaborazione.

Twitter ha recentemente riferito di avere 215 milioni di utenti attivi mensili che trasmettono più di 400 milioni di tweet al giorno. Di questi, circa sette milioni di tweet contengono tag di geolocalizzazione GPS, in genere da dispositivi mobili. Essere in grado di visualizzare enormi flussi di dati di social media e telefoni cellulari geograficamente identificabili in tempo reale potrebbe avere potenti implicazioni per l'epidemiologia e la risposta ai disastri (vedi Big Data from Cheap Phones).

Oltre a utilizzare i chip grafici, Madden e Mostak stanno lavorando con i ricercatori di Intel per consentire a MapD di sfruttare il nuovo processori massicciamente paralleli così come i normali processori X86 che alimentano la maggior parte dei computer.

nascondere