L'IA non ha ancora il buon senso per capire il linguaggio umano

Scrittura sfocata sul muro Pexels / Jimmy Chan

Fino a poco tempo fa, i computer non avevano speranza nel produrre frasi che avessero davvero un senso. Ma il campo dell'elaborazione del linguaggio naturale (PNL) ha fatto passi da gigante e le macchine ora possono generare passaggi convincenti con la semplice pressione di un pulsante .

Questi progressi sono stati guidati da tecniche di apprendimento profondo, che individuano modelli statistici nell'uso delle parole e nella struttura degli argomenti da vaste raccolte di testo. Ma un nuova carta dell'Allen Institute of Artificial Intelligence richiama l'attenzione su qualcosa che ancora manca: le macchine non capiscono davvero cosa stanno scrivendo (o leggendo).

Questa è una sfida fondamentale nella grande ricerca dell'IA generalizzabile, ma al di là del mondo accademico, è rilevante anche per i consumatori. Chatbot e assistenti vocali basati su modelli all'avanguardia in linguaggio naturale, ad esempio, sono diventati l'interfaccia per molti istituzioni finanziarie , fornitori di servizi sanitari , e agenzie governative . Senza una vera comprensione del linguaggio, questi sistemi sono più inclini a fallire, rallentando l'accesso a servizi importanti.

I ricercatori hanno costruito il lavoro del Sfida dello schema di Winograd , un test creato nel 2011 per valutare il buon senso dei sistemi NLP. La sfida utilizza una serie di 273 domande che coinvolgono coppie di frasi identiche tranne che per una parola. Quella parola, nota come trigger, capovolge il significato del pronome di ogni frase, come si vede nell'esempio seguente:

• Il trofeo non entra nella valigia marrone perché suo pure larga .
• Il trofeo non entra nella valigia marrone perché suo pure piccolo .

Per avere successo, un sistema NLP deve capire a quale delle due opzioni si riferisce il pronome. In questo caso bisognerebbe selezionare trofeo per il primo e valigia per il secondo per risolvere correttamente il problema.

Il test è stato originariamente progettato con l'idea che tali problemi non potevano essere risolti senza una comprensione più approfondita della semantica. I modelli di deep learning all'avanguardia possono ora raggiungere una precisione di circa il 90%, quindi sembrerebbe che la PNL si sia avvicinata al suo obiettivo. Ma nel loro articolo, che riceverà l'Outstanding Paper Award alla conferenza AAAI del prossimo mese, i ricercatori mettono in discussione l'efficacia del benchmark e, quindi, il livello di progresso che il campo ha effettivamente compiuto.

Hanno creato un set di dati significativamente più grande, soprannominato WinoGrande, con 44.000 problemi dello stesso tipo. Per fare ciò, hanno progettato uno schema di crowdsourcing per creare e convalidare rapidamente nuove coppie di frasi. (Parte del motivo per cui il set di dati di Winograd è così piccolo è che è stato realizzato a mano da esperti.) I lavoratori di Amazon Mechanical Turk hanno creato nuove frasi con le parole richieste selezionate attraverso una procedura di randomizzazione. Ogni coppia di frasi è stata quindi assegnata a tre lavoratori aggiuntivi e conservata solo se soddisfaceva tre criteri: almeno due lavoratori hanno selezionato le risposte corrette, tutti e tre hanno ritenuto le opzioni non ambigue e i riferimenti del pronome non potevano essere dedotti attraverso semplici associazioni di parole.

Come passaggio finale, i ricercatori hanno anche eseguito il set di dati attraverso un algoritmo per rimuovere il maggior numero possibile di artefatti: modelli di dati o correlazioni non intenzionali che potrebbero aiutare un modello linguistico ad arrivare alle risposte giuste per i motivi sbagliati. Ciò ha ridotto la possibilità che un modello potesse imparare a giocare con il set di dati.

Quando hanno testato modelli all'avanguardia su questi nuovi problemi, le prestazioni sono scese tra il 59,4% e il 79,1%. Al contrario, gli esseri umani hanno ancora raggiunto una precisione del 94%. Ciò significa che un punteggio alto nel test originale di Winograd è probabilmente gonfiato. È solo un risultato specifico per set di dati, non un risultato per un compito generale, afferma Yejin Choi, professore associato presso l'Università di Washington e senior research manager presso AI2, che ha guidato la ricerca.

Choi spera che il set di dati serva da nuovo punto di riferimento. Ma spera anche che ispiri più ricercatori a guardare oltre il deep learning. I risultati le hanno sottolineato che i veri sistemi di PNL di buon senso devono incorporare altre tecniche, come i modelli di conoscenza strutturata. Sua lavoro precedente ha mostrato notevoli promesse in questa direzione. In qualche modo dobbiamo trovare un piano di gioco diverso, dice.

Il giornale ha ricevuto alcune critiche. Ernest Davis, uno dei ricercatori che hanno lavorato alla sfida originale di Winograd, afferma che molte delle coppie di frasi di esempio elencate nel documento sono gravemente difettose, con una grammatica confusa. Non corrispondono al modo in cui le persone che parlano inglese usano effettivamente i pronomi, ha scritto in una e-mail.

Ma Choi osserva che i modelli veramente robusti non dovrebbero aver bisogno di una grammatica perfetta per capire una frase. Le persone che parlano l'inglese come seconda lingua a volte confondono la grammatica ma ne trasmettono comunque il significato.

Gli esseri umani possono facilmente capire di cosa trattano le nostre domande e selezionare la risposta corretta, dice, riferendosi all'accuratezza delle prestazioni del 94%. Se gli esseri umani dovessero essere in grado di farlo, la mia posizione è che anche le macchine dovrebbero essere in grado di farlo.

Per ricevere più storie come questa direttamente nella tua casella di posta, iscriviti alla nostra newsletter AI nominata da Webby The Algorithm . È gratis.

nascondere