L'algoritmo di apprendimento automatico può mostrare se i segreti di stato sono classificati correttamente

Il Dipartimento di Stato americano genera circa due miliardi di e-mail ogni anno. Una parte significativa di questi contiene informazioni sensibili o segrete e quindi deve essere classificata, un processo che richiede tempo e denaro. Solo nel 2015 ha speso 16 miliardi di dollari per proteggere le informazioni riservate.

Ma l'affidabilità di questo processo di classificazione non è chiara. Nessuno sa se le regole per la classificazione delle informazioni siano applicate in modo coerente e affidabile. Esiste, infatti, una notevole controversia anche su ciò che costituisce un'informazione che dovrebbe essere classificata.

Inoltre, è facile immaginare che l'errore umano svolga un ruolo considerevole nell'errata classificazione dei segreti ufficiali. Ma nessuno sa quanto possano essere significativi questi errori.

Oggi le cose cambiano grazie al lavoro di Renato Rocha Souza presso il think tank brasiliano Fundação Getulio Vargas a Rio De Janeiro e ai colleghi della Columbia University di New York. Questi ragazzi hanno utilizzato un algoritmo di apprendimento automatico per studiare oltre un milione di cavi declassificati del Dipartimento di Stato degli anni '70.

Il loro lavoro fornisce una visione senza precedenti della natura dei segreti ufficiali, del modo in cui gli esseri umani applicano le regole e della frequenza con cui gli errori si insinuano nel processo per rivelare informazioni sensibili o nascondere dettagli altrimenti innocui. Gli algoritmi rivelano anche schemi sospetti nel modo in cui i cavi scompaiono.

Il team ha iniziato con un corpus di un milione di cavi, che ha scaricato dagli archivi nazionali degli Stati Uniti sotto forma di file XML. Ogni cablogramma è un messaggio di testo scambiato tra il Dipartimento di Stato e una missione diplomatica in un paese straniero come un'ambasciata o un consolato.

I cavi sono etichettati come segreti, confidenziali, di uso ufficiale limitato o come non classificati. Le informazioni segrete sono definite come aventi il ​​potenziale di danneggiare gravemente la sicurezza nazionale, le informazioni riservate sono definite come aventi il ​​potenziale di causare danni ma non danni gravi. La categoria a uso ufficiale limitato non era definita negli anni '70 e ancora oggi rimane controversa.

I cavi contengono anche altre informazioni. Ogni messaggio ha una data, un mittente e un destinatario, un oggetto e, naturalmente, il testo del messaggio.

Souza e colleghi hanno utilizzato una varietà di approcci di apprendimento automatico per determinare in che modo questi fattori sono correlati all'etichetta di classificazione. E dopo aver scoperto questa correlazione, hanno quindi testato l'algoritmo per vedere quanto bene potesse prevedere se un determinato cavo fosse classificato o meno.

I risultati costituiscono una lettura interessante. Souza e colleghi affermano che il messaggio stesso è il miglior indicatore della classificazione di un cavo. Di tutte le caratteristiche, la frequenza relativa delle diverse parole nel corpo era la più utile per identificare le informazioni sensibili, dicono. Anche i dati del mittente e del destinatario sono un buon indicatore del livello di sensibilità, ma possono portare l'algoritmo a classificare molti cavi che non sono stati classificati come quelli che lo erano. In altre parole, questo porta a un alto tasso di falsi positivi.

Quando l'algoritmo di apprendimento automatico combina i vari tipi di metadati nelle sue decisioni, è in grado di individuare circa il 90% dei cavi classificati, con un tasso di falsi positivi di appena l'11%. E Souza e compagni affermano che dovrebbe essere possibile fare di meglio se si includessero i cavi ancora classificati.

I falsi positivi e i falsi negativi sono essi stessi interessanti. Questi sono cavi che la macchina prevedeva sarebbero stati classificati ma non lo erano e viceversa. In molti casi, la macchina ha rivelato cavi che erano stati classificati erroneamente dagli esseri umani. Un esempio è un cablogramma sulla sensibilità del governo giapponese sulle ispezioni statunitensi dei suoi impianti nucleari. Questo cavo non era classificato, ma avrebbe dovuto esserlo poiché il testo rivela che originariamente era riservato, affermano i ricercatori.

Una limitazione dei dati è che molti cavi sono andati persi, apparentemente a causa di problemi di conversione in formato elettronico. Forse l'aspetto più interessante di questo lavoro è che suggerisce che questi messaggi potrebbero essere scomparsi per altri motivi.

Un indizio è la velocità con cui i messaggi sono scomparsi, che differiscono per cavi classificati e non classificati. I messaggi elettronici classificati come 'segreti' avevano una probabilità tre volte maggiore di scomparire rispetto ai messaggi non classificati e ad uso ufficiale limitato, affermano Souza e co.

Inoltre, i metadati associati ai cavi spesso sopravvivono quando il messaggio elettronico è andato perso. Come questo possa essere successo è un enigma.

Inoltre, se i messaggi andassero persi durante la conversione da un formato all'altro, è molto probabile che scompaiano quando il Dipartimento di Stato ha istituito il suo nuovo sistema di archiviazione dati. È degno di nota il fatto che la maggior parte di questi cavi [mancanti] non risalgono a quando il Dipartimento di Stato ha impostato per la prima volta il sistema, quando ci si potrebbe aspettare che avrebbe risolto i problemi dei modi per trasferire in modo affidabile i dati tra diverse piattaforme hardware e software, afferma il team.

Il lavoro ha importanti implicazioni per l'equilibrio tra trasparenza e segretezza. Le macchine possono chiaramente aiutare a monitorare la pratica di classificazione dei dati. Ma in media non possono farlo meglio dei database da cui apprendono. Se questi contengono errori, come chiaramente fanno i cavi del Dipartimento di Stato, le macchine saranno inevitabilmente ostacolate.

Ma una domanda interessante è se i dati che questo tipo di apprendimento automatico rivela debbano essere classificati se rivelano modelli di comportamento che potrebbero essere dannosi per l'interesse nazionale. Ad esempio, la velocità con cui le informazioni riservate vengono erroneamente etichettate come non classificate potrebbe essere utile per una potenza straniera che tenta di raccogliere informazioni classificate da cavi non classificati.

Chiaramente c'è più lavoro da fare. Souza e colleghi affermano che, nonostante l'enorme spesa del Dipartimento di Stato per la protezione delle informazioni classificate, la ricerca pubblicata sulla coerenza della classificazione è scarsa o nulla. Né c'è molta comprensione di quanto questo tipo di apprendimento automatico possa rivelare.

Forse tutto questo lavoro viene svolto a porte chiuse. D'altra parte, forse no.

Rif: arxiv.org/abs/1611.00356 : Utilizzo dell'intelligenza artificiale per identificare i segreti di stato

nascondere