Perché gli esseri umani imparano più velocemente dell'IA, per ora

Nel 2013, DeepMind Technologies, allora un'azienda poco conosciuta, ha pubblicato un documento rivoluzionario che mostra come una rete neurale potrebbe impara a giocare ai videogiochi degli anni '80 come fanno gli umani —guardando lo schermo. Queste reti hanno poi picchiato i migliori giocatori umani.

Pochi mesi dopo, Google ha acquistato l'azienda per $ 400 milioni. Da allora DeepMind ha continuato ad applicare il deep learning in una serie di situazioni, la più famosa per superare gli umani nell'antico gioco di Go.

Ma mentre questo lavoro è impressionante, mette in evidenza uno dei limiti significativi del deep learning. Rispetto agli esseri umani, le macchine che utilizzano questa tecnologia impiegano molto tempo per imparare. Cosa c'è nell'apprendimento umano che ci consente di ottenere risultati così buoni con un'esperienza relativamente ridotta?

Oggi riceviamo una sorta di risposta grazie al lavoro di Rachit Dubey e colleghi dell'Università della California, Berkeley. Hanno studiato il modo in cui gli esseri umani interagiscono con i videogiochi per scoprire su quale tipo di conoscenza pregressa ci affidiamo per dar loro un senso.

Si scopre che gli esseri umani usano una ricchezza di conoscenze di base ogni volta che affrontiamo un nuovo gioco. E questo rende i giochi molto più facili da giocare. Ma di fronte a giochi che non fanno uso di questa conoscenza, gli esseri umani arrancano, mentre le macchine avanzano a fatica esattamente allo stesso modo.

Dai un'occhiata al gioco per computer mostrato in alto a sinistra (il gioco originale). Questo gioco è basato su un classico chiamato Montezuma's Revenge, originariamente rilasciato per computer Atari a 8 bit nel 1984.

Non c'è nessun manuale e nessuna istruzione; non ti viene nemmeno detto quale sprite controlli. E ricevi feedback solo se finisci con successo il gioco.

Saresti in grado di farlo? Quanto tempo ci vorrebbe? Puoi provalo su questo sito (insieme agli altri giochi citati nel giornale) .

Con ogni probabilità, il gioco richiederà circa un minuto e nel processo probabilmente eseguirai circa 3.000 azioni da tastiera. Questo è ciò che Dubey e co hanno scoperto quando hanno dato il gioco a 40 lavoratori del sito di crowdsourcing di Amazon Mechanical Turk, a cui è stato offerto $ 1 per finirlo.

Questo non è eccessivamente sorprendente in quanto si potrebbe facilmente intuire che l'obiettivo del gioco è spostare lo sprite robot verso la principessa calpestando gli oggetti simili a mattoni e usando le scale per raggiungere le piattaforme più alte evitando il rosa arrabbiato e gli oggetti di fuoco, il dicono i ricercatori.

Al contrario, il gioco è difficile per le macchine: molti algoritmi di deep learning standard non sono in grado di risolverlo affatto, perché non c'è modo per un algoritmo di valutare i progressi all'interno del gioco quando il feedback proviene solo dalla fine.

Il miglior rendimento della macchina è stato un algoritmo di apprendimento per rinforzo basato sulla curiosità che ha richiesto circa quattro milioni di azioni da tastiera per completare il gioco. Ciò equivale a circa 37 ore di riproduzione continua.

Allora, cosa rende gli esseri umani molto migliori? Si scopre che non ci avviciniamo a questo gioco con una tabula rasa. Un essere umano vedrà che lui o lei ha il controllo sul robot e che il robot dovrebbe evitare il fuoco, salire le scale, saltare gli spazi vuoti ed evitare un nemico accigliato per raggiungere la principessa. Tutto questo grazie alla conoscenza preliminare che alcuni oggetti sono buoni mentre altri (con cipiglio o fiamme) sono cattivi, che le piattaforme supportano oggetti mentre le scale possono essere scalate, che le cose che sembrano uguali si comportano allo stesso modo, che la gravità spinge gli oggetti verso il basso , e anche cosa sono gli oggetti: cose che sono separate dalle altre cose e hanno proprietà diverse.

Al contrario, una macchina non sa nulla di tutto questo.

Quindi Dubey e i suoi colleghi hanno rimodellato il gioco per rendere irrilevanti queste informazioni precedenti e quindi hanno misurato quanto tempo ci volevano i Turker umani per finire. Il team ha quindi ipotizzato che qualsiasi aumento in questo periodo fosse un proxy dell'importanza di tali informazioni.

Abbiamo creato diverse versioni del videogioco ridisegnando varie entità come scale, nemici, chiavi, piattaforme ecc. utilizzando trame alternative, spiegano. Hanno scelto queste trame per mascherare varie forme di conoscenza precedente e hanno cambiato le proprietà fisiche del gioco, come l'effetto della gravità e il modo in cui l'agente interagisce con il suo ambiente. In ogni versione, le dinamiche di fondo del gioco erano le stesse.

I risultati creano una lettura affascinante. Scopriamo che la rimozione di alcune conoscenze pregresse provoca un drastico degrado nella velocità con cui i giocatori umani risolvono il gioco, affermano Dubey e co. In effetti, il tempo necessario agli esseri umani per risolvere il gioco aumenta da un minuto a oltre 20 minuti poiché vengono rimossi diversi tipi di informazioni preliminari.

Al contrario, la rimozione di queste informazioni di solito non fa differenza per la velocità con cui l'algoritmo della macchina apprende.

Il team è anche in grado di classificare diversi tipi di informazioni in base all'aumento del tempo causato dalla rimozione delle stesse. La rimozione della semantica degli oggetti, come una faccia accigliata o il simbolo del fuoco, richiede ai giocatori umani di spendere più tempo prima di finire. Ma mascherare il concetto di oggetto rende le cose molto più difficili che molti turchi si sono semplicemente rifiutati di giocare. Abbiamo dovuto aumentare la paga a $ 2,25 per incoraggiare i partecipanti a non mollare, affermano Dubey e co.

Questa classifica ha un collegamento interessante con il modo in cui gli esseri umani imparano. Gli psicologi hanno scoperto che a due mesi i bambini possiedono una nozione primitiva degli oggetti che si aspettano di muovere come insiemi collegati. Ma a questa età, i bambini non riconoscono le categorie di oggetti.

Dai tre ai cinque mesi di età, i bambini imparano a riconoscere le categorie di oggetti; dai 18 ai 24 mesi imparano a riconoscere i singoli oggetti. All'incirca in questo periodo, imparano anche le proprietà degli oggetti (affordance degli oggetti, come li chiamano gli psicologi), e così imparano la differenza tra un gradino percorribile lungo un terreno pianeggiante e un gradino non percorribile da una scogliera.

Si scopre che gli esperimenti di Dubey e compagni classificano questo tipo di informazioni apprese esattamente nello stesso ordine in cui le apprendono i bambini. È piuttosto interessante notare che l'ordine in cui i bambini accrescono le proprie conoscenze corrisponde all'importanza dei diversi oggetti a priori, dicono.

Il nostro lavoro compie i primi passi verso la quantificazione dell'importanza delle varie priorità che gli esseri umani impiegano nella risoluzione dei videogiochi e nel comprendere come le conoscenze pregresse rendano gli esseri umani bravi in ​​compiti così complessi, aggiungono.

Ciò suggerisce un modo interessante per gli informatici che lavorano sull'intelligenza artificiale: programmare le loro cariche con la stessa conoscenza di base che gli umani acquisiscono in tenera età. In questo modo, le macchine dovrebbero essere in grado di raggiungere gli esseri umani nella loro velocità di apprendimento e forse persino superarli.

Non vediamo l'ora di vedere i risultati.

Rif: arxiv.org/abs/1802.10217 : Indagare su priori umani per giocare ai videogiochi

nascondere