211service.com
Il supercomputer digerisce Twitter in tempo reale
Determinare gli utenti più influenti di Twitter probabilmente non è ciò che i creatori del Cray XMT avevano in mente i supercomputer quando hanno progettato la loro macchina. Ma quando stai preparando tutto questo calore computazionale, vai dove sono i problemi più difficili. Twitter, Facebook e il resto del social Web sono diventati l'equivalente moderno del refrigeratore d'acqua, anche se con un trascrittore automatico presente. E l'elaborazione di tutti i dati generati dalla conversazione risulta essere un problema molto difficile.
Supercomputer Cray XMT per gentile concessione Cray
Ad esempio, a febbraio 2010, Facebook includeva 400 milioni di utenti attivi con una media di 120 connessioni di amici ciascuno, i quali condividevano complessivamente 5 miliardi di informazioni in un solo mese.
Capire chi sono gli influencer in un social network così massiccio richiede la creazione di un gigantesco social graph, in cui ogni utente è un vertice e le connessioni tra loro sono linee. Classificare gli utenti all'interno di un tale grafico richiede una determinazione della loro centralità. Cioè, quante altre persone sono collegate a loro, e quante persone sono collegate a loro, e così via, fino ad arrivare al tronco della struttura ad albero che sta alla base della connessione su un servizio come Twitter.
Si scopre che questo non è il tipo di problema che viene prontamente gestito anche dalle solite workstation del mondo del supercalcolo scientifico: i supercomputer alimentati da GPGPU che sfruttano i chip grafici solitamente utilizzati per rendere lussureggianti ambienti 3D nei videogiochi. Queste workstation GPGPU semplicemente non consentono un controllo sufficiente su quanti processi sono in esecuzione in parallelo per scorrere in modo efficiente attraverso grafici sociali grandi come quello rappresentato da Twitter o Facebook.
Ecco perché David Ediger di Georgia Tech, con l'aiuto di una lunga lista di collaboratori , si è rivolto al Cray XMT da 128 CPU ospitato presso il Pacific Northwest National Laboratory. L'XMT è uno dei preferiti dagli hot-rodder di supercalcolo e dagli uber-geek che apprezzano la sua sintonizzabilità massiccia e multithread a grana fine. Questa macchina viene solitamente messa in servizio per risolvere problemi come la modellazione bayesiana gerarchica per l'analisi del testo o analizzare la stabilità della rete elettrica americana , ma Ediger lo faceva meditare su ogni pensiero vagante di un solo giorno di Twitter manichetta antincendio .
The Cray ha fatto un breve lavoro su Twitter, eliminando un'intera giornata di connessioni in meno di un'ora. I risultati non sorprenderanno nessuno: su Twitter, una piccola parte delle fonti viene retwittata ampiamente, principalmente governo e media, mentre il resto del servizio è costituito da persone che parlano in piccoli gruppi o che parlano letteralmente da sole.
Il punto, tuttavia, è che lanciare un Cray finemente sintonizzato che esegue il software personalizzato di Ediger - GraphCT - su Twitter ha permesso ai ricercatori di digerire il servizio in qualcosa come il tempo reale. Che è esattamente il tipo di capacità che le agenzie di intelligence, i marketer e forse anche lo stesso Twitter potrebbero voler avere.
