Il data mining rivela eventi storici nei record di archivio del governo

Lo studio della storia politica sta subendo una rivoluzione. La forza trainante di questo cambiamento è la disponibilità di registrazioni elettroniche delle attività del governo e la capacità di sgranocchiare questi dati in modi che non sono mai stati possibili prima.

Gli storici hanno accesso immediato alle notizie contemporanee di importanti eventi mondiali. Ma questi rapporti devono essere calibrati confrontandoli con i documenti governativi dell'epoca, che possono differire in modi importanti e sconosciuti. Ma questi documenti di solito non vengono resi pubblici fino a qualche anno dopo. L'enorme numero di documenti governativi rende difficile questo processo poiché è fin troppo facile per i ricercatori trascurare qualcosa di significativo.

Quindi un modo automatizzato di ricercare questi documenti governativi per eventi significativi sarebbe estremamente utile.

Il data mining rivela il picco nelle comunicazioni del governo durante l'autunno di Saigon (in alto) ma poco significativo relativo alla Finlandia (in basso).

Oggi, Yuanjun Gao della Columbia University di New York e alcuni amici affermano di aver sviluppato una serie di strumenti statistici che possono fare questo lavoro. Hanno testato la tecnica sui record elettronici del governo degli Stati Uniti rilasciati dagli archivi nazionali e hanno confrontato i risultati con i record di notizie contemporanee.

Il lavoro è reso possibile dal fatto che dal 1973 il Dipartimento di Stato degli Stati Uniti archivia le comunicazioni classificate elettronicamente. Molti dei record datati dal 1973 al 1977 sono ora disponibili al pubblico e sono costituiti da 1,4 milioni di cavi declassificati e dai metadati associati a 0,4 milioni di documenti consegnato con busta diplomatica.

Questi record elettronici sono tutti assegnati tag relativi al loro argomento. Quindi le comunicazioni relative al Vietnam del Sud sono contrassegnate come VS, quelle relative all'Assemblea Generale degli Stati Uniti contrassegnate UNGA, alla Finlandia contrassegnate FI e così via.

Ciò consente ai ricercatori di tenere traccia delle comunicazioni relative ad argomenti specifici senza conoscere i dettagli dei messaggi stessi.

Tracciare il numero di messaggi nel tempo rivela alcuni schemi interessanti. Ad esempio, rivela un aumento delle comunicazioni relative al Vietnam del Sud nell'aprile 1975 all'epoca della caduta di Saigon.

Le comunicazioni relative all'assemblea generale delle Nazioni Unite aumentano a intervalli regolari corrispondenti alle date delle assemblee che si tengono ogni anno. Questo modello include un ulteriore picco nell'aprile-maggio 1974 che corrisponde a una sessione speciale delle Nazioni Unite richiesta dall'Algeria per discutere le sue richieste di sostegno a un Nuovo Ordine Economico Internazionale.

Al contrario, i tag associati alla Finlandia tra il 1973 e il 1977 non mostrano picchi o schemi speciali, che riflettono la stabilità della nazione in quel momento.

I picchi principali sono relativamente facili da vedere visivamente, ma Gao e compagni hanno sviluppato strumenti per individuarli automaticamente e classificarne il significato confrontandoli con il livello di attività in background in quel momento.

Ciò consente al team di produrre una classifica dei primi 30 eventi più significativi durante questo periodo.

Non tutti questi picchi corrispondono a importanti eventi mondiali. Ad esempio, i primi due picchi più significativi riguardano questioni amministrative come il trasporto e le modifiche al sistema di registrazione dei visti.

Ma la classifica trova una vasta gamma di altri eventi importanti, come la definizione delle priorità dei diritti umani da parte dell'amministrazione Carter, il presidente dell'Egitto, la visita a sorpresa di Anwar Sadat in Israele nel 1977, la crisi del Boat People nel sud-est asiatico del 1975-76, lo Yom del 1973 Guerra del Kippur e ritiro del Portogallo dall'Angola nel 1975-76, e così via.

È un lavoro interessante che dovrebbe cambiare il modo in cui storici e scienziati sociali svolgono il loro lavoro. E questo è solo l'inizio. Questo tipo di metodi automatizzati può anche mostrare come gli esseri umani hanno utilizzato il processo di codifica in quel momento, con quale frequenza sono stati commessi errori e se alcuni tipi di messaggi potrebbero essere scomparsi.

E man mano che vengono rilasciati record elettronici più dettagliati, i ricercatori saranno in grado di sviluppare metodi più avanzati per estrarli. La storia politica non sarà più la stessa.

Rif: arxiv.org/abs/1712.07319 : Eventi minerari con documenti diplomatici declassificati

nascondere