La tecnologia alla base dell'IA di OpenAI per scrivere romanzi e notizie false, ha spiegato

Bolle di parole che mostrano l'inizio della storia di fantascienza e un computer che continua la narrazione La signora Tech

Giovedì scorso (14 febbraio), la società di ricerca senza scopo di lucro OpenAI ha rilasciato a nuovo modello linguistico capace di generare passaggi convincenti di prosa. Così convincente , infatti, che i ricercatori si sono astenuti dall'open-sourcing del codice, nella speranza di bloccare la sua potenziale arma come mezzo per la produzione di massa di notizie false.

Un dipendente di OpenAI ha stampato questo campione scritto dall'IA e l'ha pubblicato vicino al cestino: https://t.co/PT8CMSU2AR pic.twitter.com/PuXEzxL7Xd

— Greg Brockman (@gdb) 14 febbraio 2019

Sebbene i risultati impressionanti siano un notevole balzo oltre ciò che i modelli linguistici esistenti hanno raggiunto, la tecnica coinvolta non è esattamente nuova. Invece, la svolta è stata guidata principalmente dall'alimentazione dell'algoritmo di dati di addestramento sempre più numerosi, un trucco che è stato anche responsabile della maggior parte degli altri recenti progressi nell'insegnamento dell'IA a leggere e scrivere. È un po' sorprendere le persone in termini di ciò che puoi fare con [...] più dati e modelli più grandi, afferma Percy Liang, professore di informatica alla Stanford.

I passaggi di testo che il modello produce sono abbastanza buoni da mascherarsi come qualcosa di scritto dall'uomo. Ma questa capacità non deve essere confusa con una comprensione genuina del linguaggio, l'obiettivo finale del sottocampo dell'IA noto come elaborazione del linguaggio naturale (NLP). (C'è un analogo nella visione artificiale: un algoritmo può sintetizzare immagini altamente realistiche senza una vera comprensione visiva.) In effetti, portare le macchine a quel livello di comprensione è un compito che in gran parte è sfuggito ai ricercatori della PNL. Questo obiettivo potrebbe richiedere anni, persino decenni, per essere raggiunto, ipotizza Liang, ed è probabile che coinvolga tecniche che ancora non esistono.

Quattro diverse filosofie del linguaggio attualmente guida lo sviluppo delle tecniche di PNL. Cominciamo con quello utilizzato da OpenAI.

# 1. Semantica distributiva

Filosofia linguistica. Le parole traggono significato da come vengono usate. Ad esempio, le parole gatto e cane hanno un significato correlato perché sono usate più o meno allo stesso modo. Puoi nutrire e accarezzare un gatto, e nutrire e accarezzare un cane. Tuttavia, non puoi nutrire e accarezzare un'arancia.

Storia correlata

Storia correlata Alimentato con miliardi di parole, questo algoritmo crea articoli convincenti e mostra come l'IA potrebbe essere utilizzata per ingannare le persone su larga scala.

Come si traduce in PNL. Gli algoritmi basati sulla semantica distributiva sono stati in gran parte responsabili le recenti scoperte nella PNL . Usano l'apprendimento automatico per elaborare il testo, trovando schemi essenzialmente contando quanto spesso e quanto strettamente le parole vengono utilizzate l'una rispetto all'altra. I modelli risultanti possono quindi utilizzare tali modelli per costruire frasi o paragrafi completi e potenziare elementi come il completamento automatico o altri sistemi di testo predittivo. Negli ultimi anni, alcuni ricercatori hanno anche iniziato a sperimentare la distribuzione di sequenze di caratteri casuali piuttosto che di parole, in modo che i modelli possano gestire in modo più flessibile acronimi, punteggiatura, gergo e altre cose che non compaiono nel dizionario, oltre a lingue che non hanno una chiara delimitazione tra le parole.

Professionisti. Questi algoritmi sono flessibili e scalabili, perché possono essere applicati in qualsiasi contesto e imparare da dati senza etichetta.

contro I modelli che producono in realtà non capiscono le frasi che costruiscono. Alla fine della giornata, scrivono in prosa usando associazioni di parole.

#2. Semantica dei frame

Filosofia linguistica. Il linguaggio è usato per descrivere azioni ed eventi, quindi le frasi possono essere suddivise in soggetti, verbi e modificatori: chi , che cosa , dove , e quando .

Come si traduce in PNL. Gli algoritmi basati sulla semantica dei frame utilizzano un insieme di regole o molti dati di addestramento etichettati per imparare a decostruire le frasi. Questo li rende particolarmente bravi nell'analisi di comandi semplici e quindi utili per chatbot o assistenti vocali. Se chiedessi ad Alexa di trovare un ristorante con quattro stelle per domani, ad esempio, un tale algoritmo capirebbe come eseguire la frase scomponendola nell'azione (trova), il che cosa (ristorante a quattro stelle), e il quando (Domani).

Professionisti. A differenza degli algoritmi semantici distributivi, che non comprendono il testo da cui apprendono, gli algoritmi semantici dei frame possono distinguere le diverse informazioni in una frase. Questi possono essere utilizzati per rispondere a domande come Quando si svolgerà questo evento?

contro Questi algoritmi possono gestire solo frasi molto semplici e quindi non riescono a catturare le sfumature. Poiché richiedono molta formazione specifica per il contesto, non sono nemmeno flessibili.

#3. Semantica modello-teorica

Filosofia linguistica. Il linguaggio è usato per comunicare la conoscenza umana.

Come si traduce in PNL. La semantica della teoria dei modelli si basa su una vecchia idea dell'IA secondo cui tutta la conoscenza umana può essere codificata, o modellato , in una serie di regole logiche. Quindi se sai che gli uccelli possono volare e le aquile sono uccelli, allora puoi dedurre che le aquile possono volare. Questo approccio non è più in voga perché i ricercatori si sono presto resi conto che c'erano troppe eccezioni a ciascuna regola (ad esempio, i pinguini sono uccelli ma non possono volare). Ma gli algoritmi basati sulla semantica della teoria dei modelli sono ancora utili per estrarre informazioni da modelli di conoscenza, come i database. Come gli algoritmi della semantica dei frame, analizzano le frasi decostruendole in parti. Ma mentre la semantica del frame definisce quelle parti come chi , che cosa , dove , e quando , la semantica modello-teorica le definisce come le regole logiche che codificano la conoscenza. Ad esempio, considera la domanda Qual è la città più grande d'Europa per popolazione? Un algoritmo teorico del modello lo scomporrebbe in una serie di interrogazioni autonome: quali sono tutte le città del mondo? Quali sono in Europa? Quali sono le popolazioni delle città? Qual è la popolazione più numerosa? Sarebbe quindi in grado di attraversare il modello della conoscenza per darti la tua risposta finale.

Professionisti. Questi algoritmi danno alle macchine la capacità di rispondere a domande complesse e sfumate.

contro Richiedono un modello di conoscenza, la cui costruzione richiede molto tempo e non sono flessibili in contesti diversi.

#4. Semantica fondata

Filosofia linguistica. Il linguaggio trae significato dall'esperienza vissuta. In altre parole, gli esseri umani hanno creato il linguaggio per raggiungere i loro obiettivi, quindi deve essere compreso nel contesto del nostro mondo orientato agli obiettivi.

Come si traduce in PNL. Questo è l'approccio più nuovo e quello che secondo Liang è quello più promettente. Cerca di imitare il modo in cui gli esseri umani acquisiscono il linguaggio nel corso della loro vita: la macchina inizia con uno stato vuoto e impara ad associare le parole ai significati corretti attraverso la conversazione e l'interazione. In un semplice esempio, se volessi insegnare a un computer come spostare oggetti in un mondo virtuale, dovresti dargli un comando come Sposta il blocco rosso a sinistra e poi mostrargli cosa intendi. Nel tempo, la macchina imparerebbe a comprendere ed eseguire i comandi senza aiuto.

Professionisti. In teoria, questi algoritmi dovrebbero essere molto flessibili e avvicinarsi a una comprensione genuina del linguaggio.

contro L'insegnamento richiede molto tempo e non tutte le parole e le frasi sono facili da illustrare come spostare il blocco rosso.

A breve termine, pensa Liang, il campo della PNL vedrà molti più progressi rispetto allo sfruttamento delle tecniche esistenti, in particolare quelle basate sulla semantica distributiva. Ma a lungo termine, secondo lui, hanno tutti dei limiti. Probabilmente c'è un divario qualitativo tra il modo in cui gli esseri umani comprendono il linguaggio e percepiscono il mondo e i nostri modelli attuali, dice. Colmare quel divario richiederebbe probabilmente un nuovo modo di pensare, aggiunge, oltre a molto più tempo.

Questo è apparso originariamente nella nostra newsletter AI The Algorithm. Per riceverlo direttamente nella tua casella di posta, registrati qui gratuitamente.

nascondere