In che modo il trucco della memoria di DeepMind aiuta l'IA ad apprendere più velocemente

Le macchine intelligenti hanno gli umani nel mirino. Le macchine di deep learning hanno già abilità sovrumane quando si tratta di compiti come il riconoscimento facciale, il gioco di videogiochi e persino l'antico gioco cinese di Go. Quindi è facile pensare che gli umani siano già sopraffatti.

Ma non così in fretta. Le macchine intelligenti sono ancora in ritardo rispetto agli esseri umani in un'area cruciale delle prestazioni: la velocità con cui apprendono. Quando si tratta di padroneggiare i videogiochi classici, ad esempio, le migliori macchine di deep learning impiegano circa 200 ore di gioco per raggiungere gli stessi livelli di abilità che gli esseri umani raggiungono in sole due ore.

Quindi agli informatici piacerebbe moltissimo avere un modo per accelerare la velocità con cui le macchine imparano.

Oggi, Alexander Pritzel e i suoi amici della filiale di Google DeepMind a Londra affermano di aver fatto proprio questo. Questi ragazzi hanno costruito una macchina di deep learning in grado di assimilare rapidamente nuove esperienze e poi agire di conseguenza. Il risultato è una macchina che impara molto più velocemente di altre e ha il potenziale per eguagliare gli esseri umani in un futuro non troppo lontano.

Innanzitutto, un po' di background. Il deep learning utilizza strati di reti neurali per cercare modelli nei dati. Quando un singolo livello individua un pattern che riconosce, invia queste informazioni al livello successivo, che cerca i pattern in questo segnale, e così via.

Quindi, nel riconoscimento facciale, uno strato potrebbe cercare i bordi in un'immagine, il livello successivo per i modelli circolari di bordi (del tipo che fanno gli occhi e la bocca) e il successivo per i modelli triangolari come quelli formati da due occhi e una bocca. Quando tutto ciò accade, l'output finale è un'indicazione che è stata individuata una faccia.

Naturalmente, il diavolo è nei dettagli. Esistono vari sistemi di feedback per consentire al sistema di apprendere regolando vari parametri interni come la forza delle connessioni tra i livelli. Questi parametri devono cambiare lentamente, poiché un grande cambiamento in uno strato può influire in modo catastrofico sull'apprendimento negli strati successivi. Ecco perché le reti neurali profonde hanno bisogno di così tanto addestramento e perché ci vuole così tanto tempo.

Pritzel e colleghi hanno affrontato questo problema con una tecnica che chiamano controllo episodico neurale. Il controllo episodico neurale dimostra notevoli miglioramenti nella velocità di apprendimento per un'ampia gamma di ambienti, dicono. Fondamentalmente, il nostro agente è in grado di agganciarsi rapidamente a strategie di grande successo non appena vengono sperimentate, invece di attendere molti passaggi di ottimizzazione.

L'idea di base dietro l'approccio di DeepMind è copiare il modo in cui gli esseri umani e gli animali imparano rapidamente. Il consenso generale è che gli esseri umani possono affrontare le situazioni in due modi diversi. Se la situazione è familiare, i nostri cervelli ne hanno già formato un modello, che usano per capire come comportarsi al meglio. Questo utilizza una parte del cervello chiamata corteccia prefrontale.

Ma quando la situazione non è familiare, il nostro cervello deve ricorrere a un'altra strategia. Si pensa che questo implichi un approccio molto più semplice di prova e ricordo che coinvolge l'ippocampo. Quindi proviamo qualcosa e ricordiamo l'esito di questo episodio. Se ha successo, riproviamo e così via. Ma se non è un episodio di successo, cerchiamo di evitarlo in futuro.

Questo approccio episodico è sufficiente a breve termine mentre il nostro cervello prefrontale impara. Ma è presto superato dalla corteccia prefrontale e dal suo approccio basato su modelli.

Pritzel e compagni hanno usato questo approccio come ispirazione. Il loro nuovo sistema ha due approcci. Il primo è un sistema di apprendimento profondo convenzionale che imita il comportamento della corteccia prefrontale. Il secondo è più simile all'ippocampo. Quando il sistema prova qualcosa di nuovo, ricorda il risultato.

Ma soprattutto, non cerca di imparare cosa ricordare. Invece, ricorda tutto. La nostra architettura non cerca di imparare quando scrivere in memoria, poiché questo può essere lento da imparare e richiedere una notevole quantità di tempo, affermano Pritzel e co. Invece, scegliamo di scrivere tutte le esperienze nella memoria e di consentirle di crescere molto rispetto alle architetture di memoria esistenti.

Quindi usano una serie di strategie per leggere rapidamente da questa grande memoria. Il risultato è che il sistema può agganciarsi a strategie di successo molto più rapidamente rispetto ai tradizionali sistemi di deep learning.

Continuano a dimostrare quanto tutto ciò funzioni bene addestrando la loro macchina a giocare ai classici videogiochi Atari, come Breakout, Pong e Space Invaders. (Questo è un parco giochi che DeepMind ha utilizzato per addestrare molte macchine di deep learning.)

Il team, che include il cofondatore di DeepMind Demis Hassibis, mostra che il controllo episodico neurale supera di gran lunga altri approcci di apprendimento profondo nella velocità con cui apprende. I nostri esperimenti mostrano che il controllo episodico neurale richiede un ordine di grandezza in meno di interazioni con l'ambiente, dicono.

È un lavoro impressionante con un potenziale significativo. I ricercatori affermano che un'ovvia estensione di questo lavoro è testare il loro nuovo approccio su ambienti 3-D più complessi.

Sarà interessante vedere quali ambienti sceglierà il team e l'impatto che avrà sul mondo reale. Non vediamo l'ora di vedere come funziona.

Rif: Controllo episodico neurale: arxiv.org/abs/1703.01988

nascondere