Un'intelligenza artificiale ti aiuta a riassumere le ultime novità in fatto di intelligenza artificiale

Signora Tech | howadesign/Noun Project

Le notizie: Un nuovo modello di intelligenza artificiale per riassumere la letteratura scientifica può ora aiutare i ricercatori a guadare e identificare gli ultimi documenti all'avanguardia che vogliono leggere. Il 16 novembre, l'Allen Institute for Artificial Intelligence (AI2) ha lanciato il modello sul suo prodotto di punta, Studioso semantico , un motore di ricerca di articoli scientifici basato sull'intelligenza artificiale. Fornisce un riepilogo di una frase tl;dr (troppo lungo; non letto) sotto ogni documento di informatica (per ora) quando gli utenti utilizzano la funzione di ricerca o vanno alla pagina di un autore. Il lavoro è stato anche accettato alla conferenza sui metodi empirici per l'elaborazione del linguaggio naturale questa settimana.

Uno screenshot della funzione tl;dr in Semantic Scholar.

AI2

Il contesto: In un'era di sovraccarico di informazioni, l'utilizzo dell'IA per riassumere il testo è stato un popolare problema di elaborazione del linguaggio naturale (PNL). Ci sono due approcci generali a questo compito. Uno è chiamato estrattivo, che cerca di trovare una frase o un insieme di frasi dal testo testualmente che ne coglie l'essenza. L'altro è chiamato astrattivo, che comporta la generazione di nuove frasi. Mentre le tecniche estrattive erano più popolari a causa dei limiti dei sistemi NLP, i progressi nella generazione del linguaggio naturale negli ultimi anni hanno reso quella astratta molto migliore.

Come hanno fatto: Il modello astrattivo di AI2 utilizza ciò che è noto come trasformatore, un tipo di architettura di rete neurale inventata per la prima volta nel 2017 che da allora ha alimentato tutti i principali passi avanti nella NLP, tra cui GPT-3 di OpenAI . I ricercatori hanno prima addestrato il trasformatore su un corpus di testo generico per stabilire la sua familiarità di base con la lingua inglese. Questo processo è noto come pre-allenamento ed è parte di ciò che rende i trasformatori così potenti. Hanno quindi messo a punto il modello, in altre parole lo hanno ulteriormente addestrato, sul compito specifico della sintesi.

I dati di fine-tuning: I ricercatori hanno prima creato un set di dati chiamato SciTldr, che contiene circa 5.400 paia di articoli scientifici e corrispondenti riepiloghi di una singola frase. Per trovare questi riepiloghi di alta qualità, sono andati a cercarli prima su OpenReview, una piattaforma di presentazione di documenti di conferenze pubbliche in cui i ricercatori pubblicano spesso la loro sinossi di una frase del loro articolo. Ciò ha fornito un paio di migliaia di paia. I ricercatori hanno quindi assunto annotatori per riassumere più articoli leggendo e condensando ulteriormente le sinossi che erano già state scritte dai revisori tra pari.

Per integrare ulteriormente queste 5.400 coppie, i ricercatori hanno compilato un secondo set di dati di 20.000 coppie di articoli scientifici e i loro titoli. I ricercatori hanno intuito che, poiché i titoli stessi sono una forma di riepilogo, aiuterebbero ulteriormente il modello a migliorarne i risultati. Ciò è stato confermato attraverso la sperimentazione.

La funzione tl;dr è particolarmente utile per scremare i documenti sui dispositivi mobili.

AI2

Riassunto estremo: Mentre molti altri sforzi di ricerca hanno affrontato il compito di sintesi, questo si distingue per il livello di compressione che può raggiungere. Gli articoli scientifici inclusi nel set di dati SciTldr hanno una media di 5.000 parole. I loro riepiloghi di una frase hanno una media di 21. Ciò significa che ogni foglio è compresso in media a 238 volte la sua dimensione. Il prossimo miglior metodo astrattivo è addestrato a comprimere i documenti scientifici in media solo 36,5 volte. Durante i test, i revisori umani hanno anche giudicato i riepiloghi del modello più informativi e accurati rispetto ai metodi precedenti.

Prossimi passi: Ci sono già diversi modi in cui AI2 sta ora lavorando per migliorare il proprio modello a breve termine, afferma Daniel Weld, professore all'Università di Washington e manager del gruppo di ricerca Semantic Scholar. Per uno, hanno in programma di addestrare il modello per gestire più di semplici articoli di informatica. Dall'altro, forse in parte a causa del processo di formazione, hanno scoperto che i riepiloghi di tl;dr a volte si sovrappongono troppo al titolo del documento, diminuendo la loro utilità complessiva. Hanno in programma di aggiornare il processo di formazione del modello per penalizzare tale sovrapposizione in modo che impari a evitare la ripetizione nel tempo.

A lungo termine, il team lavorerà anche riassumendo più documenti alla volta, il che potrebbe essere utile per i ricercatori che entrano in un nuovo campo o forse anche per i responsabili politici che desiderano aggiornarsi rapidamente. Quello che siamo davvero entusiasti di fare è creare briefing di ricerca personalizzati, afferma Weld, in cui possiamo riassumere non solo un documento, ma una serie di sei recenti progressi in una particolare sottoarea.

nascondere