Frasi confuse mostrano che le IA ancora non capiscono davvero la lingua

Signora Tech | Unsplash / Brett Jordan

Molti Le IA che sembrano capire il linguaggio e che ottengono punteggi migliori degli umani in una serie comune di compiti di comprensione non si accorgono quando le parole in una frase sono confuse, il che dimostra che non capisco affatto la lingua . Il problema risiede nel modo in cui vengono addestrati i sistemi di elaborazione del linguaggio naturale (NLP); indica anche un modo per renderli migliori.

Storia correlata

Il modo in cui alleniamo l'IA è fondamentalmente imperfetto Il processo utilizzato per costruire la maggior parte dei modelli di apprendimento automatico che utilizziamo oggi non può dire se funzioneranno nel mondo reale o meno, e questo è un problema.

Ricercatori presso la Auburn University in Alabama e Adobe Research scoperto il difetto quando hanno cercato di convincere un sistema NLP a generare spiegazioni per il suo comportamento, ad esempio perché affermava che frasi diverse significavano la stessa cosa. Quando hanno testato il loro approccio, si sono resi conto che mescolare le parole in una frase non faceva differenza per le spiegazioni. Questo è un problema generale per tutti i modelli di PNL, afferma Anh Nguyen della Auburn University, che ha guidato il lavoro.

Il team ha esaminato diversi sistemi NLP all'avanguardia basati su BERT (un modello linguistico sviluppato da Google che è alla base di molti dei sistemi più recenti, incluso GPT-3). Tutti questi sistemi ottengono punteggi migliori degli umani COLLA (General Language Understanding Evaluation), un insieme standard di attività progettate per testare la comprensione del linguaggio, come individuare parafrasi, giudicare se una frase esprime sentimenti positivi o negativi e ragionamento verbale.

L'uomo morde il cane: Hanno scoperto che questi sistemi non potevano dire quando le parole in una frase erano confuse, anche quando il nuovo ordine cambiava il significato. Ad esempio, i sistemi hanno individuato correttamente che le frasi La marijuana provoca il cancro? e In che modo fumare marijuana può causare il cancro ai polmoni? erano parafrasi. Ma erano ancora più certi che Tu fumi il cancro come la marijuana può dare il polmone? e Lung può dare il fumo di marijuana come si cancro? significava anche la stessa cosa. I sistemi hanno anche deciso che frasi con significati opposti, come La marijuana provoca il cancro? e Il cancro causa la marijuana? — stavano ponendo la stessa domanda.

L'unico compito in cui l'ordine delle parole contava era quello in cui i modelli dovevano controllare la struttura grammaticale di una frase. Altrimenti, tra il 75% e il 90% delle risposte dei sistemi testati non sono cambiate quando le parole sono state mescolate.

Cosa sta succedendo? I modelli sembrano cogliere alcune parole chiave in una frase, indipendentemente dall'ordine in cui entrano. Non capiscono la lingua come noi e GLUE, un benchmark molto popolare, non misura il vero uso della lingua. In molti casi, il compito su cui viene addestrato un modello non lo costringe a preoccuparsi dell'ordine delle parole o della sintassi in generale. In altre parole, GLUE insegna ai modelli NLP a fare i salti mortali.

Molti ricercatori hanno iniziato a utilizzare un insieme più difficile di test chiamato SuperGLUE, ma Nguyen sospetta che avrà problemi simili.

Questo problema è stato identificato anche da Yoshua Bengio e colleghi, che lo hanno scoperto riordinare le parole in una conversazione a volte non ha modificato le risposte fornite dai chatbot. E un team di Facebook AI Research lo ha trovato esempi di ciò che accade con il cinese . Il team di Nguyen mostra che il problema è diffuso.

Importa? Dipende dall'applicazione. Da un lato, sarebbe utile un'IA che capisca ancora quando commetti un errore di battitura o dici qualcosa di confuso, come potrebbe fare un altro essere umano. Ma in generale, l'ordine delle parole è fondamentale quando si estrae il significato di una frase.

aggiustarlo Come? La buona notizia è che potrebbe non essere troppo difficile da risolvere. I ricercatori hanno scoperto che costringere un modello a concentrarsi sull'ordine delle parole, addestrandolo a svolgere un'attività in cui l'ordine delle parole contava (come individuare errori grammaticali), ha anche migliorato le prestazioni del modello in altri compiti. Ciò suggerisce che modificare i compiti per i quali i modelli sono addestrati li renderà complessivamente migliori.

I risultati di Nguyen sono un altro esempio di come i modelli spesso non sono all'altezza di ciò di cui le persone credono di essere capaci. Pensa che mette in evidenza quanto sia difficile da realizzare IA che capiscono e ragionano come gli esseri umani . Nessuno ne ha idea, dice.

nascondere