La macchina di apprendimento profondo batte gli esseri umani nel test del QI

Poco più di 100 anni fa, lo psicologo tedesco William Stern ha introdotto il test del quoziente di intelligenza come metodo per valutare l'intelligenza umana. Da allora, i test del QI sono diventati una caratteristica standard della vita moderna e vengono utilizzati per determinare l'idoneità dei bambini per le scuole e la capacità degli adulti di svolgere lavori.

Questi test di solito contengono tre categorie di domande: domande logiche come schemi in sequenze di immagini, domande matematiche come trovare schemi in sequenze di numeri e domande di ragionamento verbale, che si basano su analogie, classificazioni, nonché sinonimi e contrari.

È quest'ultima categoria che ha interessato Huazheng Wang e gli amici dell'Università di Scienza e Tecnologia della Cina e Bin Gao e gli amici di Microsoft Research a Pechino. I computer non sono mai stati bravi in ​​queste cose. Poni una domanda di ragionamento verbale a una macchina di elaborazione del linguaggio naturale e le sue prestazioni saranno scarse, molto peggiori della capacità umana media.

Oggi, ciò cambia grazie a Huazheng e ai suoi amici che hanno costruito una macchina per il deep learning che supera la capacità umana media di rispondere per la prima volta alle domande di ragionamento verbale.

Negli ultimi anni, gli informatici hanno utilizzato tecniche di data mining per analizzare enormi corpus di testi per trovare i collegamenti tra le parole che contengono. In particolare, questo fornisce loro un controllo sulle statistiche dei modelli di parole, come la frequenza con cui una parola particolare appare vicino ad altre parole. Da questo è possibile capire come le parole si relazionano tra loro, anche se in un enorme spazio di parametri.

Il risultato finale è che le parole possono essere pensate come vettori in questo spazio parametrico ad alta dimensione. il vantaggio è che possono quindi essere trattati matematicamente: confrontati, aggiunti, sottratti come gli altri vettori. Questo porta a relazioni vettoriali come questa: re – uomo + donna = regina.

Questo approccio ha avuto un enorme successo. Google lo utilizza per la traduzione automatica della lingua presupponendo che le sequenze di parole in lingua diversa rappresentate da vettori simili abbiano un significato equivalente. Quindi sono traduzioni l'una dell'altra.

Ma questo approccio ha una nota lacuna: presuppone che ogni parola abbia un unico significato rappresentato da un unico vettore. Non solo spesso non è così, i test verbali tendono a concentrarsi su parole con più di un significato per rendere le domande più difficili.

Huazheng e compagni affrontano questo problema prendendo ogni parola e cercando altre parole che spesso appaiono nelle vicinanze in un ampio corpus di testo. Quindi usano un algoritmo per vedere come queste parole sono raggruppate. Il passaggio finale consiste nel cercare i diversi significati di una parola in un dizionario e quindi abbinare i gruppi a ciascun significato.

Questo può essere fatto automaticamente perché la definizione del dizionario include frasi di esempio in cui la parola è usata in ogni modo diverso. Quindi, calcolando la rappresentazione vettoriale di queste frasi e confrontandole con la rappresentazione vettoriale in ciascun cluster, è possibile abbinarle.

Il risultato complessivo è un modo per riconoscere i molteplici sensi differenti che alcune parole possono avere.

Huazheng e i suoi amici hanno un altro asso nella manica per rendere più facile per un computer rispondere alle domande di ragionamento verbale. Ciò accade perché queste domande rientrano in diverse categorie che richiedono approcci leggermente diversi da risolvere.

Quindi la loro idea è di iniziare identificando la categoria di ogni domanda in modo che il computer sappia quale strategia di risposta dovrebbe utilizzare. Questo è semplice poiché le domande in ciascuna categoria hanno strutture simili.

Quindi le domande che coinvolgono analogie sono come queste:

L'isoterma sta alla temperatura come l'isobare sta a? (i) atmosfera, (ii) vento, (iii) pressione, (iv) latitudine, (v) corrente.

e

Identifica due parole (una da ciascuna parentesi) che formano una connessione (analogia) quando accoppiate con le parole in maiuscolo: CAPITOLO (libro, versetto, lettura), ATTO (palcoscenico, pubblico, gioco).

Le domande di classificazione delle parole sono così:

Qual è quello strano fuori? (i) calmo, (ii) tranquillo, (iii) rilassato, (iv) sereno, (v) imperturbabile.

E le domande che cercano sinonimi e contrari sono come queste:

Quale parola è più vicina a IRRAZIONALE? (i) intransigente, (ii) irredimibile, (iii) non sicuro, (iv) perso, (v) senza senso.

e

Quale parola è più opposta a MUSICALE? (i) discordante, (ii) forte, (iii) lirico, (iv) verbale, (v) euforico.

Individuare ogni tipo di domanda è relativamente semplice per un algoritmo di apprendimento automatico, dato che bastano esempi da cui imparare. Ed è esattamente così che Huazheng e compagni lo fanno.

Dopo aver identificato il tipo di domanda, Huazheng e compagni escogitano un algoritmo per risolverli utilizzando i metodi vettoriali standard ma anche l'aggiornamento multi-senso che hanno sviluppato.

Confrontano questa tecnica di apprendimento profondo con altri approcci algoritmici ai test di ragionamento verbale e anche con la capacità degli esseri umani di farlo. Per questo, hanno posto le domande a 200 persone raccolte tramite la struttura di crowdsourcing di Mechanical Turk di Amazon insieme a informazioni di base sulla loro età e sul loro background educativo.

E i risultati sono impressionanti. Con nostra sorpresa, la performance media degli esseri umani è leggermente inferiore a quella del nostro metodo proposto, dicono.

La performance umana in questi test tende a essere correlata al background educativo. Quindi le persone con un'istruzione superiore tendono a fare meno bene, mentre quelle con una laurea fanno meglio e quelle con un dottorato hanno i risultati migliori. Il nostro modello può raggiungere il livello di intelligenza tra le persone con la laurea e quelle con la laurea magistrale, affermano Huazheng e co.

È un lavoro affascinante che rivela il potenziale delle tecniche di deep learning. Huazheng e compagni sono chiaramente ottimisti sugli sviluppi futuri. Con l'uso appropriato delle tecnologie di deep learning, potremmo essere un ulteriore passo avanti verso la vera intelligenza umana.

Le tecniche di deep learning stanno attualmente investendo l'informatica a macchia d'olio e la rivoluzione che stanno creando è ancora nelle sue fasi iniziali. Non si può dire dove ci porterà questa rivoluzione, ma una cosa è certa: William Stern sarebbe stupito.

Rif: arxiv.org/abs/1505.07909 : Risolvere domande di comprensione verbale nel test del QI mediante l'inclusione di parole basata sulla conoscenza

nascondere