Lo straordinario legame tra le reti neurali profonde e la natura dell'universo

Negli ultimi due anni, le tecniche di deep learning hanno trasformato il mondo dell'intelligenza artificiale. Una dopo l'altra, le abilità e le tecniche che gli umani un tempo immaginavano fossero unicamente nostre hanno cominciato a cadere sotto l'assalto di macchine sempre più potenti. Le reti neurali profonde ora sono migliori degli esseri umani in compiti come il riconoscimento facciale e il riconoscimento di oggetti. Hanno imparato l'antico gioco di Go e hanno battuto i migliori giocatori umani.

Ma c'è un problema. Non vi è alcun motivo matematico per cui le reti organizzate a strati dovrebbero essere così brave in queste sfide. I matematici sono confusi. Nonostante l'enorme successo delle reti neurali profonde, nessuno è abbastanza sicuro di come raggiungano il loro successo.

Oggi le cose cambiano grazie al lavoro di Henry Lin all'Università di Harvard e Max Tegmark al MIT. Questi ragazzi dicono che il motivo per cui i matematici sono stati così imbarazzati è che la risposta dipende dalla natura dell'universo. In altre parole, la risposta sta nel regime della fisica piuttosto che nella matematica.

Innanzitutto, impostiamo il problema utilizzando l'esempio della classificazione di un'immagine in scala di grigi megabit per determinare se mostra un gatto o un cane.

Tale immagine è composta da un milione di pixel che possono assumere ciascuno uno dei 256 valori della scala di grigi. Quindi in teoria possono esserci 2561000000 immagini possibili, e per ognuna è necessario calcolare se mostra un gatto o un cane. Eppure le reti neurali, con solo migliaia o milioni di parametri, in qualche modo gestiscono facilmente questo compito di classificazione.

Nel linguaggio della matematica, le reti neurali funzionano approssimando funzioni matematiche complesse con funzioni più semplici. Quando si tratta di classificare le immagini di cani e gatti, la rete neurale deve implementare una funzione che prenda come input un milione di pixel in scala di grigi e restituisca la distribuzione di probabilità di ciò che potrebbe rappresentare.

Il problema è che ci sono ordini di grandezza in più funzioni matematiche che possibili reti per approssimarle. Eppure le reti neurali profonde in qualche modo ottengono la risposta giusta.

Ora Lin e Tegmark dicono di aver capito perché. La risposta è che l'universo è governato da un minuscolo sottoinsieme di tutte le possibili funzioni. In altre parole, quando le leggi della fisica sono scritte matematicamente, possono essere tutte descritte da funzioni che hanno un notevole insieme di proprietà semplici.

Quindi le reti neurali profonde non devono approssimare alcuna possibile funzione matematica, solo un piccolo sottoinsieme di esse.

Per mettere questo in prospettiva, considera l'ordine di una funzione polinomiale, che è la dimensione del suo esponente più alto. Quindi un'equazione quadratica come y=x2 ha ordine 2, l'equazione y=x24 ha ordine 24 e così via.

Ovviamente, il numero di ordini è infinito e tuttavia solo un minuscolo sottoinsieme di polinomi compare nelle leggi della fisica. Per ragioni che non sono ancora del tutto comprese, il nostro universo può essere accuratamente descritto da Hamiltoniane polinomiali di basso ordine, dicono Lin e Tegmark. Tipicamente, i polinomi che descrivono le leggi della fisica hanno ordini che vanno da 2 a 4.

Le leggi della fisica hanno altre proprietà importanti. Ad esempio, di solito sono simmetrici quando si tratta di rotazione e traslazione. Ruota un gatto o un cane di 360 gradi e sembra lo stesso; traducilo di 10 metri o 100 metri o un chilometro e sembrerà lo stesso. Ciò semplifica anche il compito di approssimare il processo di riconoscimento del gatto o del cane.

Queste proprietà significano che le reti neurali non hanno bisogno di approssimare un'infinità di possibili funzioni matematiche ma solo un minuscolo sottoinsieme di quelle più semplici.

C'è un'altra proprietà dell'universo sfruttata dalle reti neurali. Questa è la gerarchia della sua struttura. Le particelle elementari formano atomi che a loro volta formano molecole, cellule, organismi, pianeti, sistemi solari, galassie, ecc., dicono Lin e Tegmark. E le strutture complesse si formano spesso attraverso una sequenza di passaggi più semplici.

Questo è il motivo per cui anche la struttura delle reti neurali è importante: gli strati in queste reti possono approssimare ogni passaggio nella sequenza causale.

Lin e Tegmark fanno l'esempio della radiazione cosmica di fondo a microonde, l'eco del Big Bang che permea l'universo. Negli ultimi anni, vari veicoli spaziali hanno mappato questa radiazione con una risoluzione sempre più elevata. E, naturalmente, i fisici si sono interrogati sul perché queste mappe prendano la forma che assumono.

Tegmark e Lin sottolineano che qualunque sia la ragione, è senza dubbio il risultato di una gerarchia causale. Un insieme di parametri cosmologici (la densità della materia oscura, ecc.) determina lo spettro di potenza delle fluttuazioni di densità nel nostro universo, che a sua volta determina il modello della radiazione cosmica di fondo a microonde che ci raggiunge dal nostro universo primordiale, che viene combinata con la radio in primo piano rumore dalla nostra galassia per produrre le mappe del cielo dipendenti dalla frequenza che vengono registrate da un telescopio satellitare, dicono.

Ciascuno di questi strati causali contiene progressivamente più dati. Ci sono solo una manciata di parametri cosmologici, ma le mappe e il rumore che contengono sono costituiti da miliardi di numeri. L'obiettivo della fisica è analizzare i grandi numeri in un modo che riveli quelli più piccoli.

E quando i fenomeni hanno questa struttura gerarchica, le reti neurali facilitano notevolmente il processo di analisi.

Abbiamo dimostrato che il successo dell'apprendimento profondo ed economico dipende non solo dalla matematica ma anche dalla fisica, che favorisce alcune classi di distribuzioni di probabilità eccezionalmente semplici che il deep learning è particolarmente adatto a modellare, concludono Lin e Tegmark.

Questo è un lavoro interessante e importante con implicazioni significative. Le reti neurali artificiali sono notoriamente basate su quelle biologiche. Quindi le idee di Lin e Tegmark non solo spiegano perché le macchine di deep learning funzionano così bene, ma spiegano anche perché i cervelli umani possono dare un senso all'universo. L'evoluzione si è in qualche modo stabilita su una struttura cerebrale che è l'ideale per disfare la complessità dell'universo.

Questo lavoro apre la strada a progressi significativi nell'intelligenza artificiale. Ora che abbiamo finalmente capito perché le reti neurali profonde funzionano così bene, i matematici possono mettersi al lavoro esplorando le proprietà matematiche specifiche che consentono loro di funzionare così bene. Rafforzare la comprensione analitica dell'apprendimento profondo può suggerire modi per migliorarla, affermano Lin e Tegmark.

Il deep learning ha fatto passi da gigante negli ultimi anni. Con questa migliore comprensione, il tasso di avanzamento è destinato ad accelerare.

Rif: arxiv.org/abs/1608.08225 : Perché l'apprendimento profondo ed economico funziona così bene?

nascondere