I 70 database online che definiscono il nostro pianeta

Ad aprile, abbiamo esaminato un ambizioso piano europeo per simulare l'intero pianeta. L'idea è di sfruttare l'enorme quantità di dati generati dai mercati finanziari, dalle cartelle cliniche, dai social media e dal monitoraggio del clima per modellare il clima, le società e l'economia del pianeta. La visione è che un sistema come questo possa aiutare a comprendere e prevedere le crisi prima che si verifichino, in modo che i governi possano adottare in anticipo le misure appropriate.

Ci sono numerose sfide qui. Nessuno ha ancora la potenza di calcolo necessaria per un tale compito, né esistono modelli in grado di modellare accuratamente anche sistemi molto più piccoli. Ma prima che tutto ciò sia possibile, i ricercatori devono raccogliere i dati economici, sociali e tecnologici necessari per alimentare questa macchina.

Oggi, Dirk Helbing e Stefano Balietti dell'Istituto Federale Svizzero di Tecnologia di Zurigo ci offrono un grande tour di questa sfida. Helbing è la forza trainante di questo progetto e l'uomo che lo guiderà se otterrà dalla Commissione europea il miliardo di euro di cui ha bisogno.

Si scopre che esistono già numerose fonti di dati che potrebbero fornire il carburante necessario per alimentare l'Earth Simulator di Helbing. In passato, la raccolta di dati sull'attività umana è stata in gran parte ostacolata da questioni finanziarie, tecnologiche ed etiche, affermano Helbing e Balietti. Non è più così.

Sebbene in passato sia stato difficile ottenere buoni dati dagli esperimenti di scienze sociali, i ricercatori ne sono attualmente sommersi grazie a una nuova generazione di esperimenti di laboratorio, esperimenti web e lo studio di enormi giochi online multigiocatore.

Queste e altre attività stanno producendo enormi quantità di dati, molti dei quali sono disponibili gratuitamente sul web.

Naturalmente, uno dei pericoli di un tale approccio è che qualsiasi questione etica rischia di essere sommersa da questa marea di numeri. Questo deve essere affrontato con urgenza. Mentre Helbing e colleghi scrivono in modo persuasivo sui potenziali benefici di un simulatore della terra, è difficile credere che abbiano riflettuto allo stesso modo sui potenziali rischi.

Quindi, nell'interesse di stimolare questo dibattito, sto riproducendo qui l'elenco di siti Web di Helbing che sono potenziali fonti di dati per un simulatore della terra. Rende affascinante, anche se snervante, la lettura:

Internet e istantanee storiche
Internet Archive / Wayback machine
Internet Archive offre accesso permanente a ricercatori, storici, studiosi, persone con disabilità e al pubblico in generale alle collezioni storiche esistenti in formato digitale. Fondato nel 1996, ora Internet Archive include testi, audio, immagini in movimento e software, nonché archivi

Wikipedia
Wikipedia è la più famosa enciclopedia modificata in modo cooperativo. Poiché ogni modifica viene archiviata, la cronologia delle pagine Web può offrire una panoramica dettagliata basata sull'argomento dei riferimenti più importanti del passato.

I centri della conoscenza
Una raccolta di collegamenti ad altre risorse per trovare pagine Web come esistevano in passato.

Quando fa
Whenago fornisce un rapido accesso alle informazioni storiche su ciò che è accaduto in passato in un determinato giorno.

Biblioteca digitale mondiale
La World Digital Library (WDL) mette a disposizione su Internet, gratuitamente e in formato multilingue, importanti materiali primari provenienti da paesi e culture di tutto il mondo.

Motori per il recupero delle informazioni
Base libera
Freebase è un repository aperto con licenza Creative Commons di dati strutturati di oltre 12 milioni di entità. Fornisce strumenti collaborativi per collegare le entità e mantenerle aggiornate.

Motore di conoscenza computazionale Wolfram Alpha
Un tentativo di calcolare tutto ciò che può essere calcolato su qualsiasi cosa. Ha lo scopo di fornire un'unica fonte su cui tutti possano fare affidamento per risposte definitive a domande fattuali.

Estrazione di testi sul Web
Google Trend
Google Trends mostra statistiche visive sulla frequenza con cui le parole chiave sono state cercate su Google nel tempo. Google Trends mostra anche la frequenza con cui gli argomenti sono apparsi nelle notizie di Google News e in quali aree geografiche le persone li hanno cercati di più.

Tendenze influenzali di Google
Google Flu Trends utilizza i dati di ricerca Google aggregati per stimare l'attività influenzale. Dati disponibili anche per il download.

L'Osservatorio
Il progetto Observatorium si concentra sulle complesse dinamiche di rete in Internet, proponendosi di monitorarne l'evoluzione in tempo reale, con l'obiettivo generale di comprendere meglio i processi di generazione della conoscenza e le dinamiche di opinione.

Ci sentiamo bene
Un database di diversi milioni di sentimenti umani, raccolti da blog e pagine social nel Web. Utilizzando una serie di interfacce ludiche, i sentimenti possono essere ricercati e ordinati in una serie di sezioni demografiche. Disponibile anche l'API Web.

CyberEmozioni
Il progetto CyberEmotions si concentra sul ruolo delle emozioni collettive nel creare, formare e rompere le comunità. Rende disponibili per il download tre dataset contenenti notizie e commenti dal forum BBC News, Digg e MySpace, solo per la ricerca accademica e solo dopo la presentazione di un modulo di domanda.

Condivisione dei dati sui social
Dati collegati
I Linked Data riguardano l'utilizzo del Web per connettere dati correlati che non erano precedentemente collegati o l'utilizzo del Web per ridurre le barriere al collegamento dei dati attualmente collegati utilizzando altri metodi.

Progetto di rete Dataverse
Il Dataverse Network è un'applicazione per pubblicare, condividere, fare riferimento, estrarre e analizzare i dati di ricerca. Facilita la messa a disposizione degli altri dei dati e consente di replicare il lavoro degli altri. Ricercatori e autori di dati ottengono credito, editori e distributori ottengono credito, istituzioni affiliate ottengono credito.

Dati360
Data360 è un sito Web open source, collaborativo e gratuito. Il sito ospita un database comune e condiviso, che qualsiasi persona o organizzazione, impegnata nella neutralità e nell'apartitismo (nel senso che i dati parlano), può utilizzare per presentazioni e visualizzazioni.

Girevole
Swivel è un sito web in cui le persone condividono report di grafici e numeri. È gratuito per i dati pubblici e addebita un canone mensile alle persone che desiderano utilizzarlo in privato.

molti occhi
Un'iniziativa IBM che consente agli utenti di caricare i propri set di dati e utilizzare una raccolta di strumenti per ottenere visualizzazioni significative da essi. Ogni visualizzazione è archiviata pubblicamente in una pagina dedicata, dove gli utenti possono commentarla, valutarla e taggarla. Il riutilizzo dei dati è possibile e incoraggiato.

Dati sui conflitti
Dati CSCW sui conflitti armati
CSCW e Uppsala Conflict Data Program (UCDP) presso il Department of Peace and Conflict Research, Uppsala University, hanno collaborato alla produzione di un dataset dei conflitti armati, sia interni che esterni, dal 1946 ad oggi. Attualmente, probabilmente il repository di set di dati più esteso disponibile, in particolare per i dati storici.

WarViews
Lo scopo del progetto WarViews è creare un front-end di facile utilizzo per l'esplorazione dei dati GIS sui conflitti. Può essere eseguito su un browser Web o può essere visualizzato utilizzando Google Earth.

Di seguito sono riportati set di dati specifici della guerra civile con ulteriori informazioni empiriche:
Set di dati sulla posizione del gruppo etnico
Set di dati sugli equilibri di potere etnico
Raccolta di set di dati e codici aggiornati dall'Uppsala Conflict Data Program (UCDP) .

ACLED
Parzialmente contenuto nel set di dati PRIO, ACLED (Armed Conflict Location and Events Dataset) è progettato per l'analisi disaggregata dei conflitti e la mappatura delle crisi. Questo set di dati codifica la posizione di tutti gli eventi di conflitto segnalati in 50 paesi in via di sviluppo. I dati vengono attualmente codificati dal 1997 al 2009 e il progetto continua a retrodatare le informazioni sui conflitti per gli stati africani fino all'anno dell'indipendenza.

CERAC
Il Centro risorse per l'analisi dei conflitti ospita diversi set di dati sui conflitti tra paesi e alcuni set di dati di paesi particolari. I repository hanno anche set di dati di instabilità politica e conflitto.

L'archivio dei dati delle serie temporali transnazionali
L'archivio dati delle serie temporali transnazionali fornisce dati annuali per una serie di paesi dal 1815 ad oggi. Citato di frequente, è uno dei principali set di dati sulla violenza politica, secondo Robert Bates dell'Università di Harvard. È forse il set di dati di eventi più utilizzato secondo Henrik Urdal, International Peace Research Institute, Oslo (PRIO).

Repertori specifici per paese: Iraq , Afghanistan
Raccolta di dataset di atti terroristici .

Dati in economia e finanza
Bloomberg
Fornitore internazionale di dati in tempo reale per i responsabili delle decisioni in ambito finanziario, aziendale e governativo.

Dati di Maddison
Statistiche storiche su PIL e dati demografici.

Statistiche UNCTAD
Il Manuale di Statistica UNCTAD in linea fornisce serie temporali di dati economici e indicatori di sviluppo, in alcuni casi risalenti al 1950; il database online delle statistiche sui prezzi delle materie prime; l'UNCTAD-TRAIN su Internet (Trade Analysis and Information System) per le misure di controllo del commercio e dei flussi di importazione per origine per oltre 130 paesi; la banca dati sugli investimenti diretti esteri (IDE).

Portale delle statistiche dell'OCSE
Ampia raccolta di set di dati che coprono l'economia, la demografia. Le estrazioni sono disponibili gratuitamente, l'accesso completo richiede l'abbonamento.

EUROSTAT
Statistiche dettagliate sull'UE e sui paesi candidati e varie pubblicazioni statistiche in vendita.

Dov'è Giorgio?
Sistema di tracciamento spaziale per dollari statunitensi e canadesi.

Eurobilltracker
Sistema di tracciamento spaziale per le banconote in euro.

Dati di collaborazione scientifica
ISI Web of Knowledge
Fonte completa di informazioni in scienze, scienze sociali, arti e discipline umanistiche. Comprende diversi set di dati, tra i quali i seguenti sono forse i più degni di nota:
Rapporti di citazione di riviste. Consente di valutare e confrontare riviste utilizzando dati di citazioni tratti da oltre 7.500 riviste accademiche e tecniche;
Web della scienza. Consiste di sette database contenenti informazioni raccolte da migliaia di riviste accademiche, libri, serie di libri, relazioni, conferenze e altro ancora.

Google Scholar
Google Scholar è un motore di ricerca specializzato in letteratura accademica. Indicizza diverse fonti (articoli, libri, abstract, tesi, ecc.) di diverse discipline e le ordina in base al numero di citazioni, all'autore e al fattore di impatto della rivista.

Scolarometro
Scholarometer è uno strumento sociale per facilitare l'analisi delle citazioni e aiutare a valutare l'impatto delle pubblicazioni di un autore. Funziona come un plug-in software per il browser Firefox.

Scopus
Scopus è un database molto ampio di abstract e citazioni della letteratura di ricerca. È disponibile solo per gli utenti registrati.

Scienze Viventi
Living Science è un osservatorio scientifico globale in tempo reale basato su pubblicazioni inviate ad arXiv.org. Copre le presentazioni (quotidiane) in tempo reale di pubblicazioni in aree diverse come fisica, astronomia, informatica, matematica e biologia quantitativa. Attualmente, i contenuti vengono aggiornati dinamicamente ogni giorno. Living Science è un potente strumento di analisi per identificare la grandezza e l'impatto del lavoro scientifico in tutto il mondo.

Scienze sociali
ICPSR dell'Università del Michigan
ICPSR offre più di 500.000 file digitali contenenti dati di ricerca in scienze sociali. Le discipline rappresentate includono scienze politiche, sociologia, demografia, economia, storia, gerontologia, giustizia penale, sanità pubblica, politica estera, terrorismo, assistenza sanitaria e medica, educazione precoce, istruzione, minoranze razziali ed etniche, psicologia, diritto, abuso di sostanze e disturbi mentali. salute e altro ancora.

Data Center del Regno Unito dell'Università dell'Essex
La più grande raccolta del Regno Unito di dati di ricerca digitale nelle scienze sociali e umanistiche.

Archivio DATI UC di Berkeley
I dati detenuti da UC DATA riguardano principalmente le aree delle scienze politiche, sociali e della salute.

Il Servizio Dati Economici e Sociali (ESDS)
L'Economic and Social Data Service (ESDS) è un servizio nazionale di dati che fornisce accesso e supporto a una vasta gamma di dati economici e sociali chiave, sia quantitativi che qualitativi, che abbracciano molte discipline e temi. Contiene una mappa di set di dati aggiuntivi provenienti da diversi paesi europei.

CESSDA
Ampie raccolte di dati tra cui indagini sociologiche, studi elettorali, studi longitudinali, sondaggi di opinione e dati di censimento. Tra i materiali ci sono dati internazionali ed europei come l'European Social Survey, gli Eurobarometers e l'International Social Survey Programme.

Dati Gapminder
Gapminder è una tecnologia popolare e un'applicazione Web per la visualizzazione incrociata delle tendenze nelle serie temporali di dati. Apre anche un archivio di molteplici set di dati su diversi indicatori socioeconomici.

Indagine sul valore mondiale
Il World Value Survey fornisce dati sui valori e sui cambiamenti culturali nelle società di tutto il mondo.

Dati urbani
Banca dati dell'Osservatorio urbano globale
Il Global Urban Observatory (GUO) offre indicatori urbani orientati alle politiche, statistiche e altre informazioni urbane.

Osservatorio Urbano
Set di dati basati negli Stati Uniti su ricchezza, innovazione e criminalità nelle città.

Dati sul traffico
patente di guida
Il programma Next Generation Simulation (NGSIM) è stato avviato dal Dipartimento dei trasporti degli Stati Uniti (US DOT). Il programma ha sviluppato un nucleo di algoritmi comportamentali aperti a supporto della simulazione del traffico e ha raccolto dati di traiettoria e traiettoria primari di alta qualità destinati a supportare la ricerca e il test dei nuovi algoritmi.

Ufficio federale delle strade USTRA
L'Ufficio federale delle strade offre una panoramica completa sui flussi di traffico in Svizzera. I dati vengono raccolti da stazioni di conteggio automatico permanenti del traffico e integrati da regolari controlli manuali dal 1961.

Dati sul traffico
L'obiettivo del progetto International Traffic Database (ITDb) è fornire dati sul traffico a vari gruppi (ricercatori, professionisti, enti pubblici) in un formato in base alle loro particolari esigenze, che vanno dai dati di misurazione grezzi all'analisi statistica. ITDb promuove un formato flessibile per la fornitura di dati sul traffico in base alle esigenze degli utenti e alle abitudini standard.

Centro di compensazione per i dati sui trasporti
La Clearing House for Transport Data nel German Aerospace Center è il primo punto di contatto per una rapida panoramica dei dati disponibili. È rivolto sia alle organizzazioni che raccolgono dati rilevanti per i trasporti sia a coloro che desiderano utilizzare i risultati di tale ricerca. Le informazioni offerte comprendono la preparazione di metadati dettagliati sui set di dati, nonché note su possibili usi e fonti.

Inoltre il Regiolab Delft
L'iniziativa regiolab-delft è iniziata subito dopo il 2000 come progetto congiunto guidato da TU Delft in associazione con il Comune di Delft, la scuola di ricerca TRAIL, la Provincia dell'Olanda Meridionale, il Ministero dei Trasporti e diversi partner industriali. Il set di dati archiviato è costituito da oltre 6 anni di velocità media di 1 minuto e dati di flusso aggregati da circuiti induttivi densamente distanziati sulla rete autostradale nella provincia dell'Olanda meridionale e altri dati da controllori di intersezioni, telecamere di rilevamento delle targhe e molto altro.

RITA
La Research and Innovative Technology Administration (RITA) del Dipartimento dei trasporti degli Stati Uniti offre diversi set di dati sulle statistiche del traffico marittimo, merci, aereo, passeggeri, ecc.

Archivio dati di viaggio ETH (ETHTDA)
L'ETH Travel Data Archive (ETHTDA) è una piattaforma virtuale che consente agli utenti finali di sfogliare i dati di viaggio archiviati sul Web e che consente semplici analisi statistiche.

Archivio sondaggi sui viaggi metropolitani
Il Metropolitan Travel Survey Archive per archiviare, conservare e rendere pubblicamente disponibili, tramite Internet, i sondaggi di viaggio condotti da aree metropolitane, stati e località.

Infoblu
Infoblu è una società privata che fornisce servizi di monitoraggio del traffico in tempo reale per l'Italia. Tutti i servizi sono disponibili a pagamento.

Apri mappe
Google Maps
Servizio cartografico famoso in tutto il mondo. Offre diversi servizi aggiuntivi come: Street View, contenuti caricati dagli utenti (foto, commenti e valutazioni) e overlay personalizzati tramite API di servizio.

OpenStreetMap
OpenStreetMap (di UCL) è una mappa modificabile gratuita di tutto il mondo. OpenStreetMap ti consente di visualizzare, modificare e utilizzare i dati geografici in modo collaborativo da qualsiasi parte della Terra.

Tracksource Brasile
Tracksource è un progetto collaborativo volto a creare e distribuire gratuitamente mappe del Brasile.

Dati logistici
Indagine nazionale sui viaggi delle famiglie
Il National Household Travel Survey (NHTS) raccoglie dati sui viaggi a lunga distanza e locali del pubblico americano. L'indagine congiunta raccoglie dati relativi al viaggio come modalità di trasporto, durata, distanza e scopo del viaggio. Raccoglie anche dati demografici, geografici ed economici a fini di analisi. Fa parte di RITA.

Indagine sul flusso delle materie prime
Il Commodity Flow Survey (CFS) è la fonte primaria di dati nazionali e statali sulle spedizioni di merci nazionali da parte di stabilimenti americani nei settori minerario, manifatturiero, all'ingrosso, ausiliario e al dettaglio selezionato. Vengono forniti dati su tipi, origini e destinazioni, valori, pesi, modalità di trasporto, distanza spedita e tonnellate-miglia di merci spedite. Fa parte del RITA ed è condotto ogni cinque anni (ultimo campionamento nel 2007).

Dati climatici
Julich
Dati climatici del Centro di ricerca Julich.

Google.org
Google presenta i suoi progetti filantropici basati sui dati, tra cui due osservatori satellitari ambientali:
l'Earth Engine: per monitorare le tendenze della deforestazione mondiale;
la Crisis Response: per monitorare la fuoriuscita di petrolio dalla piattaforma affondata Deep Horizon.

Estrazione della realtà
Estrazione della realtà
Dati comportamentali raccolti da 100 telefoni cellulari in 9 mesi. Include sia le statistiche di prossimità che di utilizzo del telefono. Sono disponibili due set di dati anonimi: singolo utente (MySQL) e globale (Matlab).

Altre iniziative sui dati aperti
Data.gov
Ampia raccolta di set di dati pubblici statunitensi disponibili per la ricerca.

Data.gov.uk
Ampia raccolta di set di dati pubblici del Regno Unito disponibili per la ricerca.

Scavare nei dati
Lanciato dalla National Science Foundation (NSF), offre una raccolta di diversi archivi di dati.

Blog dei dati del tutore
Iniziativa di data journalism che pubblica set di dati di interesse pubblico (principalmente rilevanti per il Regno Unito) insieme alla loro analisi. Sono presenti anche alcune collaborazioni con artisti della visualizzazione dei dati.

Dati pubblici di Google
Google offre diversi grandi set di dati su diversi indicatori socioeconomici mondiali e fornisce strumenti per una facile visualizzazione.

Rif: arxiv.org/abs/1012.0178 : Dal social data mining alla previsione delle crisi socio-economiche

nascondere