La startup che rende possibile il deep learning senza hardware specializzato

Magia neurale

La scoperta che ha portato Nir Shavit ad avviare un'azienda è avvenuta nel modo in cui la maggior parte delle scoperte fa: per caso. Il professore del MIT stava lavorando a un progetto per ricostruire una mappa del cervello di un topo e aveva bisogno dell'aiuto del deep learning. Non sapendo come programmare schede grafiche o GPU, la scelta hardware più comune per i modelli di deep learning, ha optato invece per un'unità di elaborazione centrale, o CPU, il chip per computer più generico che si trova in qualsiasi laptop medio.

Lo ed ecco, ricorda Shavit, mi sono reso conto che una CPU può fare ciò che fa una GPU, se programmata nel modo giusto.

Questa intuizione è ora la base per la sua startup, Neural Magic, che ha lanciato oggi la sua prima suite di prodotti. L'idea è quella di consentire a qualsiasi azienda di implementare un modello di deep learning senza la necessità di hardware specializzato. Non solo ridurrebbe i costi del deep learning, ma renderebbe anche l'IA più ampiamente accessibile.

Ciò significherebbe che potresti utilizzare le reti neurali su molte più macchine e molte altre esistente macchine, afferma Neil Thompson, ricercatore presso il Computer Science and Artificial Intelligence Laboratory del MIT, che non è coinvolto nella magia neurale. Non avresti bisogno di passare a qualcosa di speciale.

Le GPU sono diventate l'hardware preferito per il deep learning in gran parte per coincidenza. I chip sono stati inizialmente progettati per eseguire rapidamente il rendering della grafica in applicazioni come i videogiochi. A differenza delle CPU, che hanno da quattro a otto core complessi per eseguire una varietà di calcoli, le GPU hanno centinaia di core semplici che possono eseguire solo operazioni specifiche, ma i core possono affrontare le loro operazioni contemporaneamente anziché una dopo l'altra, riducendo il tempo ci vuole per completare un calcolo intensivo.

Non ci è voluto molto perché la comunità di ricerca sull'IA si rendesse conto che questa massiccia parallelizzazione rende le GPU ottime anche per il deep learning. Come il rendering grafico, il deep learning implica semplici calcoli matematici eseguiti centinaia di migliaia di volte. Nel 2011, in collaborazione con il produttore di chip Nvidia, Google fondare che un modello di visione artificiale che aveva addestrato su 2.000 CPU per distinguere i gatti dalle persone poteva ottenere le stesse prestazioni se addestrato su sole 12 GPU. Le GPU sono diventate di fatto il chip per l'addestramento e l'inferenza dei modelli, il processo di calcolo che si verifica quando un modello addestrato viene utilizzato per le attività per cui è stato addestrato.

Ma anche le GPU non sono perfette per il deep learning. Per prima cosa, non possono funzionare come chip standalone. Poiché sono limitati nei tipi di operazioni che possono eseguire, devono essere collegati alle CPU per gestire tutto il resto. Le GPU hanno anche una quantità limitata di memoria cache, l'area di archiviazione dei dati più vicina ai processori di un chip. Ciò significa che la maggior parte dei dati viene archiviata fuori dal chip e deve essere recuperata al momento dell'elaborazione. Il flusso di dati avanti e indietro finisce per essere un collo di bottiglia per il calcolo, limitando la velocità con cui le GPU possono eseguire algoritmi di deep learning.

Ufficio di Magia Neurale.

MAGIA NEURALE

In anni recenti, decine di aziende sono sorti per progettare chip AI che aggirano questi problemi. Il problema è che più l'hardware è specializzato, più diventa costoso.

Quindi Neural Magic intende invertire questa tendenza. Invece di armeggiare con l'hardware, l'azienda ha modificato il software. Ha riprogettato gli algoritmi di deep learning per funzionare in modo più efficiente su una CPU utilizzando l'ampia memoria disponibile dei chip e i core complessi. Sebbene l'approccio perda la velocità raggiunta attraverso la parallelizzazione di una GPU, secondo quanto riferito, recupera all'incirca la stessa quantità di tempo eliminando la necessità di trasferire i dati dentro e fuori dal chip. Gli algoritmi possono essere eseguiti su CPU a velocità GPU, afferma l'azienda, ma a una frazione del costo. Sembra che quello che hanno fatto sia escogitare un modo per sfruttare la memoria della CPU in un modo che le persone non hanno mai fatto prima, dice Thompson.

Neural Magic ritiene che potrebbero esserci alcuni motivi per cui nessuno ha adottato questo approccio in precedenza. Primo, è controintuitivo. L'idea che il deep learning necessiti di hardware specializzato è così radicata che altri approcci possono essere facilmente trascurati. In secondo luogo, l'applicazione dell'IA nel settore è ancora relativamente nuova e le aziende stanno appena iniziando a cercare modi più semplici per implementare algoritmi di deep learning. Ma non è ancora chiaro se la domanda sia abbastanza profonda da consentire il decollo di Neural Magic. L'azienda ha testato beta il suo prodotto con circa 10 aziende, solo un frammento del più ampio settore dell'IA.

Vogliamo migliorare non solo le reti neurali, ma anche l'informatica in generale.

Neil Thompson

Neural Magic attualmente offre la sua tecnica per inferenza di compiti nella visione artificiale. I clienti devono comunque addestrare i loro modelli su hardware specializzato, ma possono quindi utilizzare il software di Neural Magic per convertire il modello addestrato in un formato compatibile con la CPU. Un cliente, un grande produttore di apparecchiature per microscopia, sta ora provando questo approccio per aggiungere capacità di intelligenza artificiale sul dispositivo ai suoi microscopi, afferma Shavit. Poiché i microscopi sono già dotati di una CPU, non avranno bisogno di alcun hardware aggiuntivo. Al contrario, l'utilizzo di un modello di deep learning basato su GPU richiederebbe che le apparecchiature siano più ingombranti e più affamate di energia.

Un altro cliente desidera utilizzare Neural Magic per elaborare i filmati delle telecamere di sicurezza. Ciò gli consentirebbe di monitorare il traffico in entrata e in uscita da un edificio utilizzando i computer già disponibili in loco; in caso contrario, potrebbe dover inviare il filmato al cloud, il che potrebbe introdurre problemi di privacy o acquisire hardware speciale per ogni edificio monitorato.

Shavit dice che anche l'inferenza è solo l'inizio. Neural Magic prevede di espandere la propria offerta in futuro per aiutare le aziende treno anche i loro modelli AI su CPU. Crediamo che tra 10 e 20 anni, le CPU saranno il vero tessuto per l'esecuzione di algoritmi di apprendimento automatico, afferma.

Thompson non è così sicuro. L'economia è davvero cambiata intorno alla produzione di chip e questo porterà a una specializzazione molto maggiore, dice. Inoltre, sebbene la tecnica di Neural Magic ottenga maggiori prestazioni dall'hardware esistente, i progressi hardware fondamentali saranno comunque l'unico modo per continuare a far avanzare l'informatica. Sembra davvero un buon modo per migliorare le prestazioni nelle reti neurali, dice. Ma vogliamo migliorare non solo le reti neurali, ma anche l'informatica in generale.

nascondere