Un'intelligenza artificiale per la generazione di notizie false potrebbe anche aiutare a rilevarle

Hendrik Strobelt e Sebastian Gehrmann

Il mese scorso OpenAI ha trattenuto in modo piuttosto drammatico il rilascio del suo nuovo modello di linguaggio, GPT-2, perché temeva che potesse essere utilizzato per automatizzare la produzione di massa di disinformazione. La decisione ha anche accelerato la discussione in corso della comunità di intelligenza artificiale su come rilevare questo tipo di notizie false. In un nuovo sperimentare , i ricercatori del MIT-IBM Watson AI Lab e di HarvardNLP hanno valutato se gli stessi modelli linguistici in grado di scrivere una prosa così convincente possono anche individuare altri passaggi generati dal modello.

L'idea alla base di questa ipotesi è semplice: i modelli linguistici producono frasi prevedendo la parola successiva in una sequenza di testo. Quindi, se possono facilmente prevedere la maggior parte delle parole in un dato passaggio, è probabile che sia stato scritto da uno di loro.

I ricercatori hanno testato la loro idea costruendo un strumento interattivo basato sulla versione declassata pubblicamente accessibile di GPT-2 di OpenAI. Quando si fornisce allo strumento un passaggio di testo, le parole vengono evidenziate in verde, giallo o rosso per indicare una facilità di prevedibilità decrescente; li evidenzia in viola se non li avrebbe previsti affatto. In teoria, maggiore è la frazione di parole rosse e viola, maggiore è la possibilità che il passaggio sia stato scritto da un essere umano; maggiore è la quota di parole verdi e gialle, più è probabile che sia stata scritta da un modello linguistico.

Un passaggio di comprensione della lettura da un test standardizzato statunitense, scritto da un essere umano. Hendrik Strobelt e Sebastian Gehrmann

Un passaggio scritto dal GPT-2 declassato di OpenAI. Hendrik Strobelt e Sebastian Gehrmann

In effetti, i ricercatori hanno scoperto che i passaggi scritti dalle versioni declassate e complete di GPT-2 risultavano quasi completamente verdi e gialli, mentre gli abstract scientifici scritti da esseri umani e il testo dei passaggi di comprensione della lettura nei test standardizzati statunitensi avevano molto rosso e viola.

Ma non così in fretta. Janelle Shane, una ricercatrice che gestisce il popolare blog Lasciare che le reti neurali siano strane e chi non è stato coinvolto nella ricerca iniziale, ha messo lo strumento in più prova rigorosa . Piuttosto che limitarsi a fornirgli il testo generato da GPT-2, gli ha fornito passaggi scritti anche da altri modelli linguistici, incluso uno formato sulle recensioni di Amazon e un altro formato sulle biografie di Dungeons and Dragons. Ha scoperto che lo strumento non riusciva a prevedere gran parte delle parole in ciascuno di questi passaggi, e quindi presumeva che fossero scritte da esseri umani. Questo identifica un'importante intuizione: un modello linguistico potrebbe essere in grado di rilevare il proprio output, ma non necessariamente l'output di altri.

Questa storia è apparsa originariamente nella nostra newsletter AI The Algorithm. Per riceverlo direttamente nella tua casella di posta, registrati qui gratuitamente.

nascondere