211service.com
Mettere il Web in un foglio di calcolo
Grandi quantità di dati sono disponibili gratuitamente sul Web e può essere un potenziale tesoro per molte aziende, a condizione che possano capire come utilizzarle in modo efficace.
Ordinamento e filtro: BigSheets consente agli utenti di analizzare i dati non strutturati dal Web utilizzando strumenti simili a quelli che si trovano nei software per fogli di calcolo desktop.
Una società può, ad esempio, esaminare i dati dell'Ufficio brevetti e marchi degli Stati Uniti e gli atti giudiziari prima di acquisire un'altra società per vedere se una parte della sua proprietà intellettuale è legata a un'azione legale. In pratica, tuttavia, esaminare così tante informazioni richiede tempo e sforzi per essere orchestrate.
IBM spera che un nuovo strumento, chiamato Grandi Fogli , aiuterà gli utenti ad analizzare i dati Web più facilmente. L'azienda ha sviluppato una versione di prova del software per la British Library.
La capacità di qualsiasi utente di eseguire i propri tipi di analisi interessanti sta diventando maggiorenne, afferma Rod Smith, vicepresidente delle tecnologie Internet emergenti per IBM.
BigSheets è basato su un altro software chiamato Hadoop. Questa è una piattaforma open source per l'elaborazione di grandi quantità di dati Web suddividendo le attività e consegnandole a un cluster di computer diversi. Hadoop viene spesso utilizzato per analizzare grandi quantità di dati Web non strutturati.
BigSheets utilizza Hadoop per eseguire la scansione delle pagine Web, analizzandole per estrarre termini chiave e altri dati utili. BigSheets organizza queste informazioni in un foglio di calcolo molto grande, in cui gli utenti possono analizzarle utilizzando il tipo di strumenti e macro presenti nei software per fogli di calcolo desktop. A differenza del normale software per fogli di calcolo, tuttavia, non c'è limite alle dimensioni di un foglio di calcolo creato tramite BigSheets.
Per utilizzare BigSheets, un utente indirizzerà lo strumento a un insieme di URL o a un repository di dati. È possibile utilizzare elenchi di termini per organizzare i dati in righe e tabelle, che possono essere modificati in seguito.
Smith afferma che IBM ha scelto il foglio di calcolo come modello per l'organizzazione dei dati perché la maggior parte degli utenti ha già familiarità con tale software. Se gli utenti desiderano rappresentare i dati in modi più complessi, lo strumento funzionerà con uno strumento di visualizzazione IBM chiamato molti occhi , così come altri software di visualizzazione.
Tag squadra: Gli strumenti di visualizzazione possono essere utilizzati con BigSheets per trovare modelli nei dati non strutturati.
BigSheets ha un livello di integrazione che non ho mai visto, dice io sono Lorica , analista senior nel gruppo di ricerca presso la società di editoria tecnica O'Reilly Media. Tradizionalmente, afferma Lorica, le aziende hanno suddiviso le funzioni svolte da BigSheets in tre attività separate: scansione del Web, analisi dei dati e visualizzazioni. Poiché BigSheets è basato su Hadoop, che è fondamentalmente progettato per lavorare su enormi quantità di dati, afferma Lorica, la scala non è un problema per BigSheets.
Tuttavia, avverte che BigSheets è in una fase iniziale e deve essere testato con altri dati. Poiché la tecnologia viene sviluppata in collaborazione con particolari partner di IBM, non è chiaro quanto sarebbe facile per un'azienda iniziare a utilizzarla, afferma. La creazione di un cluster Hadoop può essere un compito impegnativo, afferma, e se BigSheets non viene confezionato correttamente, le aziende potrebbero trovarsi ad aver bisogno di un esercito di consulenti per preparare la strada allo strumento.
Il primo test per BigSheets è avvenuto alla British Library, che lavora dal 2004 per creare un archivio dei circa otto milioni di siti web del Regno Unito. A intervalli regolari, la Biblioteca scatta istantanee delle pagine Web, le converte in un formato di file di archivio e le memorizza. Ma la ricerca e l'analisi di questi dati è un'altra sfida, ed è qui che è entrato in gioco BigSheets.
In meno di otto ore, afferma Smith, il suo team ha preso 4,5 terabyte di file di archivio e li ha elaborati utilizzando un cluster Hadoop di quattro macchine. Con la guida dei ricercatori della British Library, il team ha utilizzato BigSheets per estrarre parole chiave, informazioni sull'autore e altri metadati da queste pagine Web non strutturate. Hanno sperimentato l'analisi della frequenza dei termini e hanno eseguito tag cloud e altre visualizzazioni.
I ricercatori della British Library sono stati in grado di modificare i tipi di metadati a cui erano interessati nel corso del primo giorno, concentrandosi maggiormente su chi aveva creato le pagine rispetto a quanto originariamente previsto. Le visualizzazioni hanno fornito nuove informazioni. Ad esempio, utilizzando un tag cloud, i ricercatori hanno scoperto che il nome del personaggio politico e scrittore britannico Alastair Campbell veniva spesso scritto erroneamente come Alistair, facendo emergere un gran numero di documenti rilevanti che avrebbero potuto facilmente essere trascurati.
Eytan Adar , un assistente professore di informatica e informatica presso l'Università del Michigan, che si occupa di sistemi su scala Internet, estrazione di testo e visualizzazione, afferma che lo strumento potrebbe avere un grande impatto. Sebbene il contenuto della British Library sembri limitato a poche istantanee per ogni pagina, questo si traduce comunque in una tonnellata di dati e il semplice dump dei risultati di ricerca in risposta a una query non è utile, afferma Adar.
Adar ha progettato il suo strumento, chiamato zootropio , per analizzare come le pagine Web sono cambiate nel tempo. BigSheets offre nuove informazioni, afferma, confrontando i dati di molte pagine diverse e nel tempo. Adar afferma che visualizzazioni efficaci sono fondamentali per consentire agli utenti di comprendere rapidamente grandi raccolte di dati.
Dopo ulteriori test, IBM spera di incorporare BigSheets nei suoi servizi e prodotti esistenti.