L'avvio segreto di DeepMind di Google svela una 'macchina di Turing neurale'

Una delle grandi sfide delle neuroscienze è comprendere la memoria di lavoro a breve termine nel cervello umano. Allo stesso tempo, agli informatici piacerebbe molto riprodurre lo stesso tipo di memoria in silicone .

Oggi, la startup segreta DeepMind di Google, che ha acquistato per 400 milioni di dollari all'inizio di quest'anno, svela un prototipo di computer che tenta di imitare alcune delle proprietà della memoria di lavoro a breve termine del cervello umano. Il nuovo computer è un tipo di rete neurale che è stata adattata per funzionare con una memoria esterna. Il risultato è un computer che apprende mentre immagazzina i ricordi e può successivamente recuperarli per eseguire compiti logici oltre a quelli per cui è stato addestrato.

La svolta di DeepMind segue una lunga storia di lavoro sulla memoria a breve termine. Negli anni '50, lo psicologo cognitivo americano George Miller condusse uno degli esperimenti più famosi nella storia delle scienze del cervello. Miller era interessato alla capacità della memoria di lavoro del cervello umano e ha deciso di misurarla con l'aiuto di un gran numero di studenti a cui ha chiesto di svolgere semplici compiti di memoria.

La conclusione sorprendente di Miller è stata che la capacità della memoria a breve termine non può essere definita dalla quantità di informazioni che contiene. Miller ha invece concluso che la memoria di lavoro memorizza le informazioni sotto forma di blocchi e che potrebbe contenerne circa sette.

Ciò solleva la domanda curiosa: cos'è un pezzo? Negli esperimenti di Miller, un pezzo potrebbe essere una singola cifra come un 4, una singola lettera come una q, una singola parola o un piccolo gruppo di parole che insieme hanno un significato specifico. Quindi ogni pezzo può rappresentare qualsiasi cosa, da una piccolissima quantità di informazioni a un'idea estremamente complessa che equivale a grandi quantità di informazioni.

Ma per quante informazioni rappresenti un singolo pezzo, il cervello umano può immagazzinarne solo sette nella sua memoria di lavoro.

Ecco un esempio. Considera la seguente frase: questo libro è una lettura elettrizzante con una trama complessa e personaggi realistici.

Questa frase è composta da circa sette blocchi di informazioni ed è chiaramente gestibile per qualsiasi lettore ordinario.

Al contrario, prova questa frase: Questo libro sull'Impero Romano durante i primi anni del regno di Augusto Cesare alla fine della Repubblica Romana, descrive gli eventi successivi alla sanguinosa battaglia di Azio nel 31 a.C. quando il giovane imperatore sconfisse Marco Antonio e Cleopatra superandoli in modo completo in un importante scontro navale.

Questa frase contiene almeno 20 blocchi. Quindi, se hai trovato più difficile da leggere, non dovrebbe essere una sorpresa. Il cervello umano ha difficoltà a trattenere così tanti pezzi nella sua memoria di lavoro.

Nelle scienze cognitive, la capacità di comprendere i componenti di una frase e di memorizzarli nella memoria di lavoro è chiamata variabile vincolante. Questa è la capacità di prendere un pezzo di dati e assegnarlo a uno slot nella memoria e di farlo ripetutamente con dati di lunghezza diversa, come blocchi.

Durante gli anni '90 e 2000, gli informatici hanno ripetutamente tentato di progettare algoritmi, circuiti e reti neurali che potessero eseguire questo trucco. Un tale computer dovrebbe essere in grado di analizzare una semplice frase come Mary ha parlato a John dividendola nelle sue parti componenti di attore, azione e destinatario dell'azione. Quindi, in questo caso, assegnerebbe il ruolo di attore a Mary, il ruolo di azione alle parole dette e il ruolo di destinatario dell'azione a John.

È questo compito che il lavoro di DeepMind affronta, nonostante le prestazioni molto limitate delle macchine precedenti. La nostra architettura attinge e potenzia questo lavoro, affermano Alex Graves, Greg Wayne e Ivo Danihelka di DeepMind, che ha sede a Londra.

Iniziano ridefinendo la natura di una rete neurale. Finora, le reti neurali sono state modelli di neuroni interconnessi che sono in grado di modificare la forza delle interconnessioni in risposta a qualche input esterno. Questa è una forma di apprendimento che consente loro di individuare somiglianze tra input diversi.

Ma il processo fondamentale dell'informatica contiene un importante elemento aggiuntivo. Questa è una memoria esterna che può essere scritta e letta durante il corso di un calcolo. Nella famosa descrizione di Turing di un computer, la memoria è il nastro adesivo che passa avanti e indietro attraverso il computer e che memorizza simboli di vario tipo per l'elaborazione successiva.

Questo tipo di memoria leggibile e scrivibile è assente in una rete neurale convenzionale. Quindi Graves e compagni ne hanno semplicemente aggiunto uno. Ciò consente alla rete neurale di archiviare le variabili nella sua memoria e di tornare su di esse in un secondo momento per utilizzarle in un calcolo.

Questo è simile al modo in cui un normale computer potrebbe inserire il numero 3 e il numero 4 all'interno dei registri e poi aggiungerli per fare 7. La differenza è che la rete neurale potrebbe memorizzare schemi più complessi di variabili che rappresentano, ad esempio, la parola Mary .

Poiché questa forma di calcolo differisce in modo importante da una rete neurale convenzionale, Graves e collaboratori le hanno dato un nuovo nome: la chiamano Neural Turing Machine, la prima del suo genere ad essere stata costruita. La Neural Turing Machine apprende come una rete neurale convenzionale utilizzando gli input che riceve dal mondo esterno, ma impara anche come archiviare queste informazioni e quando recuperarle.

Il lavoro di DeepMind prevede prima la costruzione del dispositivo e poi la sua messa alla prova. I loro esperimenti consistono in una serie di test per vedere se, dopo aver addestrato una macchina neurale di Turing a svolgere un determinato compito, potrebbe quindi estendere questa capacità a compiti più grandi o più complessi. Ad esempio, eravamo curiosi di vedere se una rete che era stata addestrata per copiare sequenze di lunghezza fino a 20 potesse copiare una sequenza di lunghezza 100 senza ulteriore formazione, affermano Graves e co.

Si scopre che la macchina neurale di Turing impara a copiare sequenze di lunghezze fino a 20 più o meno perfettamente. E poi copia sequenze di lunghezza 30 e 50 con pochissimi errori. Per una sequenza di lunghezza 120, gli errori iniziano a insinuarsi, incluso un errore in cui un singolo termine viene duplicato e quindi spinge tutti i termini seguenti un passo indietro. Nonostante sia soggettivamente vicino a una copia corretta, questo porta a una perdita elevata, afferma il team.

Sebbene le sequenze coinvolte siano casuali, non è difficile immaginare come potrebbero rappresentare idee più complesse come Mary o ha parlato o John. Un punto importante è che la quantità di informazioni contenute in queste sequenze è variabile, come i blocchi.

Confrontano le prestazioni della loro macchina neurale di Turing con una rete neurale convenzionale. La differenza è significativa. La rete neurale convenzionale impara a copiare sequenze fino alla lunghezza 20 quasi perfettamente. Ma quando si tratta di sequenze più lunghe dei dati di addestramento, gli errori diventano immediatamente significativi. E la sua copia della sequenza più lunga di lunghezza 120 è quasi irriconoscibile rispetto all'originale.

Il team di DeepMind continua a testare la Neural Turing Machine su altre attività. Ad esempio, uno di questi è l'equivalente della fotocopiatura: il compito è copiare una sequenza e quindi ripetere quella sequenza un determinato numero di volte e terminare con un marker predeterminato. Ancora una volta, la Neural Turing Machine supera significativamente una rete neurale convenzionale.

Questo è un lavoro impressionante. I nostri esperimenti dimostrano che [la nostra Neural Turing Machine] è in grado di apprendere semplici algoritmi da dati di esempio e di utilizzare questi algoritmi per generalizzare ben al di fuori del suo regime di addestramento, affermano Graves e co.

Questo è un importante passo avanti che ha il potenziale per rendere le macchine informatiche molto più simili al cervello che mai. Ma c'è molto lavoro da fare.

In particolare, il cervello umano esegue un trucco intelligente per dare un senso ad argomenti complessi. Una domanda interessante che segue dai primi lavori di Miller è questa: se la nostra memoria di lavoro è in grado di gestire solo sette blocchi, come possiamo dare un senso agli argomenti complessi nei libri, ad esempio, che consistono in migliaia o decine di migliaia di blocchi?

La risposta di Miller è che il cervello usa un trucco noto come ricodifica. Torniamo al nostro esempio del libro e aggiungiamo un'altra frase: questo libro è una lettura emozionante con una trama complessa e personaggi realistici. Vale chiaramente il prezzo di copertina.

Una volta che hai letto e compreso la prima frase, il tuo cervello memorizza quei sette blocchi in un modo che è disponibile come un singolo blocco nella frase successiva. In questa seconda frase, il pronome è questo singolo pezzo. Il nostro cervello sa automaticamente che significa: il libro che è una lettura emozionante con una trama complessa e personaggi realistici. Ha ricodificato i sette blocchi precedenti in un unico blocco.

Per Miller, la capacità del cervello di ricodificare in questo modo era una delle chiavi dell'intelligenza artificiale. Credeva che fino a quando un computer non fosse stato in grado di riprodurre questa capacità, non avrebbe mai potuto eguagliare le prestazioni del cervello umano.

DeepMind di Google ha dichiarato che il suo obiettivo è risolvere l'intelligenza. Se questa soluzione è qualcosa di simile all'intelligenza umana, un buon test sarebbe vedere se le macchine neurali di Turing sono in grado di eseguire il trucco di ricodifica di Miller.

Rif: arxiv.org/abs/1410.5401 : Macchine neurali di Turing

nascondere