L'IA ha risolto un enigma matematico chiave per comprendere il nostro mondo

Signora Tech | Biblioteca fotografica scientifica tramite AP

A meno che tu non sia un fisico o un ingegnere, non ci sono davvero molte ragioni per conoscere le equazioni differenziali alle derivate parziali. Lo so. Dopo anni passati a studiarli a fondo mentre studiavo ingegneria meccanica, non li ho mai usati da allora nel mondo reale.

Ma anche le equazioni alle derivate parziali, o PDE, sono un po' magiche. Sono una categoria di equazioni matematiche che sono davvero brave a descrivere il cambiamento nello spazio e nel tempo, e quindi molto utili per descrivere i fenomeni fisici nel nostro universo. Possono essere usati per modellare qualsiasi cosa, dalle orbite planetarie alla tettonica delle placche, alla turbolenza dell'aria che disturba un volo, che a sua volta ci consente di fare cose pratiche come prevedere l'attività sismica e progettare aerei sicuri.

Il problema è che le PDE sono notoriamente difficili da risolvere. E qui, il significato di risolvere è forse meglio illustrato da un esempio. Supponiamo che tu stia cercando di simulare la turbolenza dell'aria per testare un nuovo progetto di aereo. Esiste un noto PDE chiamato Navier-Stokes che viene utilizzato per descrivere il movimento di qualsiasi fluido. Risolvere Navier-Stokes ti consente di scattare un'istantanea del movimento dell'aria (ovvero le condizioni del vento) in qualsiasi momento e modellare come continuerà a muoversi o come si muoveva prima.

Questi calcoli sono estremamente complessi e ad alta intensità di calcolo, motivo per cui le discipline che utilizzano molte PDE spesso si affidano ai supercomputer per fare i conti. È anche il motivo per cui il campo dell'IA ha avuto un interesse speciale per queste equazioni. Se potessimo utilizzare il deep learning per accelerare il processo di risoluzione dei problemi, potrebbe fare molto bene all'indagine scientifica e all'ingegneria.

Ora i ricercatori del Caltech hanno introdotto una nuova tecnica di deep learning per la risoluzione di PDE che è notevolmente più accurato rispetto ai metodi di deep learning sviluppati in precedenza. È anche molto più generalizzabile, in grado di risolvere intere famiglie di PDE, come l'equazione di Navier-Stokes per qualsiasi tipo di fluido, senza bisogno di riqualificazione. Infine, è 1.000 volte più veloce delle formule matematiche tradizionali, il che faciliterebbe la nostra dipendenza dai supercomputer e aumenterebbe la nostra capacità di calcolo per modellare problemi ancora più grandi. Giusto. Prendilo.

Tempo di martello

Prima di approfondire come i ricercatori hanno fatto questo, apprezziamo innanzitutto i risultati. Nella gif qui sotto, puoi vedere una dimostrazione impressionante. La prima colonna mostra due istantanee del movimento di un fluido; il secondo mostra come il fluido ha continuato a muoversi nella vita reale; e il terzo mostra come la rete neurale prevedeva che il fluido si sarebbe mosso. Fondamentalmente sembra identico al secondo.

La carta è arrivata molto buzz su Twitter, e persino un grido del rapper MC Hammer . Sì davvero.

Operatore neurale di Fourier per equazioni differenziali parziali parametriche #Hamm400aos https://t.co/ABYRwadcT7

— MC HAMMER (@MCHammer) 22 ottobre 2020

Ok, torniamo a come l'hanno fatto.

Quando la funzione si adatta

La prima cosa da capire qui è che le reti neurali sono fondamentalmente approssimatori di funzioni. (Dire cosa?) Quando si allenano su un set di dati di input e output accoppiati, stanno effettivamente calcolando la funzione, o serie di operazioni matematiche, che trasposeranno l'una nell'altra. Pensa a costruire un rilevatore di gatti. Stai allenando la rete neurale alimentandola con molte immagini di gatti e cose che non sono gatti (gli input) ed etichettando ciascun gruppo rispettivamente con 1 o 0 (gli output). La rete neurale cerca quindi la migliore funzione in grado di convertire ogni immagine di un gatto in un 1 e ogni immagine di tutto il resto in uno 0. È così che può guardare una nuova immagine e dirti se si tratta o meno di un gatto. Sta usando la funzione che ha trovato per calcolare la sua risposta e, se il suo addestramento è stato buono, lo farà bene la maggior parte delle volte.

Convenientemente, questo processo di approssimazione della funzione è ciò di cui abbiamo bisogno per risolvere una PDE. In definitiva, stiamo cercando di trovare una funzione che descriva meglio, diciamo, il movimento delle particelle d'aria nello spazio fisico e nel tempo.

Ora ecco il nocciolo della carta. Le reti neurali sono solitamente addestrate per approssimare funzioni tra input e output definiti nello spazio euclideo, il tuo grafico classico con assi x, yez. Ma questa volta, i ricercatori hanno deciso di definire gli ingressi e le uscite nello spazio di Fourier, che è un tipo speciale di grafico per tracciare le frequenze delle onde. L'intuizione a cui hanno attinto dal lavoro in altri campi è che qualcosa come il movimento dell'aria può essere effettivamente descritto come una combinazione di frequenze d'onda, afferma Anima Anandkumar, una professoressa del Caltech che ha supervisionato la ricerca insieme ai suoi colleghi, i professori Andrew Stuart e Kaushik Bhattacarya. La direzione generale del vento a livello macro è come una bassa frequenza con onde molto lunghe e letargiche, mentre i piccoli vortici che si formano a livello micro sono come le alte frequenze con onde molto corte e rapide.

Perché è importante? Perché è molto più facile approssimare una funzione di Fourier nello spazio di Fourier che discutere con le PDE nello spazio euclideo, il che semplifica notevolmente il lavoro della rete neurale. Indicano maggiori guadagni in termini di precisione ed efficienza: oltre al suo enorme vantaggio in termini di velocità rispetto ai metodi tradizionali, la loro tecnica raggiunge un tasso di errore inferiore del 30% durante la risoluzione di Navier-Stokes rispetto ai precedenti metodi di deep learning.

Il tutto è estremamente intelligente e rende anche il metodo più generalizzabile. I precedenti metodi di deep learning dovevano essere addestrati separatamente per ogni tipo di fluido, mentre questo deve essere addestrato solo una volta per gestirli tutti, come confermato dagli esperimenti dei ricercatori. Sebbene non abbiano ancora provato ad estenderlo ad altri esempi, dovrebbe anche essere in grado di gestire ogni composizione della terra quando si risolvono le PDE relative all'attività sismica o ogni tipo di materiale quando si risolvono le PDE relative alla conducibilità termica.

Super simulazione

I professori e i loro dottorandi non hanno fatto questa ricerca solo per divertimento teorico. Vogliono portare l'IA in discipline più scientifiche. È stato parlando con vari collaboratori in scienze del clima, sismologia e scienza dei materiali che Anandkumar ha deciso per la prima volta di affrontare la sfida PDE con i suoi colleghi e studenti. Ora stanno lavorando per mettere in pratica il loro metodo con altri ricercatori del Caltech e del Lawrence Berkeley National Laboratory.

Un argomento di ricerca di cui Anandkumar è particolarmente entusiasta: il cambiamento climatico. Navier-Stokes non è solo bravo a modellare la turbolenza dell'aria; è anche usato per modellare i modelli meteorologici. Avere previsioni meteorologiche buone e dettagliate su scala globale è un problema così impegnativo, dice, e anche sui più grandi supercomputer, oggi non possiamo farlo su scala globale. Quindi, se potessimo utilizzare questi metodi per accelerare l'intera pipeline, ciò avrebbe un enorme impatto.

Ci sono anche molte, molte altre applicazioni, aggiunge. In questo senso, il limite è il cielo, dal momento che abbiamo un modo generale per velocizzare tutte queste applicazioni.

nascondere