211service.com
Anche la migliore intelligenza artificiale per individuare notizie false è ancora terribile
Illustrazione del robot confuso che tiene un giornale La signora Tech
Quando l'amministratore delegato di Facebook Mark Zuckerberg ha promesso al Congresso che l'IA avrebbe aiutato a risolvere il problema delle notizie false, ha rivelato poco in termini di come . Una nuova ricerca ci porta un passo avanti per capirlo.
In un ampio studio che sarà presentato in una conferenza alla fine di questo mese, i ricercatori del MIT, del Qatar Computing Research Institute (QCRI) e dell'Università di Sofia in Bulgaria hanno testato oltre 900 possibili variabili per prevedere l'affidabilità di un media, probabilmente il più grande set mai proposto .
I ricercatori hanno quindi addestrato un modello di apprendimento automatico su diverse combinazioni di variabili per vedere quale produrrebbe i risultati più accurati. Il miglior modello ha etichettato accuratamente i notiziari con fattibilità bassa, media o alta solo il 65% delle volte.
Questo è tutt'altro che un successo strepitoso. Ma gli esperimenti rivelano cose importanti su cosa ci vorrebbe per affidare il nostro controllo dei fatti a una macchina. Preslav Nakov, uno scienziato senior del QCRI e uno dei ricercatori dello studio, afferma di essere ottimista sul fatto che le fonti di notizie false possano essere individuate automaticamente in questo modo.
Ma ciò non significa che sarà facile.
Metodo alla follia
Nell'esplosione della ricerca sul rilevamento di notizie false dalla campagna presidenziale degli Stati Uniti del 2016, sono emersi quattro approcci principali: verifica delle affermazioni individuali, rilevamento di articoli falsi, caccia ai troll e misurazione dell'affidabilità delle fonti di notizie. Nakov e il resto della squadra hanno scelto di puntare sul quarto perché si avvicina di più all'origine della disinformazione. È stato anche studiato di meno.
Studi precedenti hanno cercato di caratterizzare l'affidabilità di una fonte di notizie in base a quante delle sue affermazioni corrispondevano o erano in conflitto con affermazioni che erano già state verificate. In altre parole, una macchina confronterebbe la storia delle affermazioni fattuali fatte da una testata giornalistica con le conclusioni di siti come Snopes o PolitiFact. Il meccanismo, tuttavia, si basa sul fact-checking umano e valuta la storia dello sbocco, non il presente immediato. Quando le ultime affermazioni sono state verificate manualmente, è già troppo tardi, afferma Nakov.
Per individuare una fonte di notizie false quasi in tempo reale, Nakov e i suoi collaboratori hanno addestrato il loro sistema utilizzando variabili che potrebbero essere tabulate indipendentemente dai verificatori di fatti umani. Questi includevano analisi del contenuto, come la struttura delle frasi dei titoli e la parola diversità negli articoli; indicatori generali del sito, come la struttura dell'URL e il traffico del sito web; e misure dell'influenza dell'outlet, come il suo coinvolgimento sui social media e la pagina di Wikipedia, se presente.
Per selezionare le variabili, i ricercatori si sono basati sia su ricerche precedenti (studi passati hanno dimostrato che gli articoli di notizie false tendono ad avere scelte di parole ripetitive, ad esempio) sia su nuove ipotesi.
Testando diverse combinazioni di variabili, i ricercatori sono stati in grado di identificare i migliori predittori per l'affidabilità di una fonte di notizie. Se un punto vendita avesse una pagina di Wikipedia, ad esempio, aveva un enorme potere predittivo; il traffico dell'outlet, al contrario, non ne aveva. L'esercizio ha aiutato i ricercatori a determinare ulteriori variabili che potrebbero esplorare in futuro.
I dati sono affamati
Ma c'è un altro ostacolo: una carenza di dati di addestramento, ciò che Nakov chiama la verità di base.
Per la maggior parte delle attività di apprendimento automatico, è abbastanza semplice annotare i dati di addestramento. Se desideri creare un sistema che rilevi gli articoli sugli sport, puoi facilmente etichettare gli articoli come correlati o non correlati a quell'argomento. Quindi inserisci il set di dati in una macchina in modo che possa apprendere le caratteristiche di un articolo sportivo.
Ma etichettare i mezzi di comunicazione con fattibilità alta o bassa è molto più delicato. Deve essere fatto da giornalisti professionisti che seguono metodologie rigorose ed è un processo che richiede molto tempo. Di conseguenza, è difficile costruire un solido corpus di dati di addestramento, motivo per cui l'accuratezza del modello dello studio è così bassa. Il modo più ovvio per aumentare la precisione è ottenere più dati di allenamento, afferma Nakov
Attualmente, Media Bias Fact Check, l'organizzazione scelta per fornire la verità di base per la ricerca, ha valutato 2.500 fonti multimediali, una scarsità in termini di apprendimento automatico. Ma Nakov afferma che il database dell'organizzazione sta crescendo rapidamente. Oltre a ottenere più dati di formazione, i ricercatori stanno anche cercando di migliorare le prestazioni del loro modello con più variabili, alcune delle quali descrivono la struttura del sito Web, se ha informazioni di contatto e i suoi modelli di pubblicazione ed eliminazione dei contenuti.
Sono anche nelle prime fasi della costruzione di una piattaforma di aggregazione di notizie che fornisca ai lettori spunti importanti sull'affidabilità di ogni storia e fonte condivisa.
Nonostante il lavoro ancora da fare, Nakov pensa che tale tecnologia possa aiutare a risolvere l'epidemia di fake news in tempi relativamente brevi se piattaforme come Facebook e Twitter si impegnano seriamente. È come combattere lo spam, ha scritto in un messaggio Skype. Non fermeremo mai del tutto le fake news, ma possiamo metterle sotto controllo.