211service.com
La prossima esplosione dell'IA sarà definita dai chip che costruiamo per essa
Jeremy Portje
La progettazione dell'hardware, piuttosto che gli algoritmi, ci aiuterà a raggiungere la prossima grande svolta nell'IA. Questo è secondo Bill Dally, il capo scienziato di Nvidia, che è salito sul palco martedì alla conferenza sull'intelligenza artificiale di EmTech Digital, MIT Technology Review. La nostra attuale rivoluzione nel deep learning è stata resa possibile dall'hardware, ha affermato.
Come prova, ha indicato la storia del campo: molti degli algoritmi che usiamo oggi esistono dagli anni '80 e la svolta nell'utilizzo di grandi quantità di dati etichettati per addestrare le reti neurali è arrivata all'inizio degli anni 2000. Ma è stato solo all'inizio degli anni 2010, quando sono entrate in scena le unità di elaborazione grafica, o GPU, che la rivoluzione del deep learning è decollata.
Dobbiamo continuare a fornire hardware più capace, o i progressi nell'IA rallenteranno davvero, ha affermato Dally.
Nvidia sta ora esplorando tre percorsi principali da seguire: sviluppare chip più specializzati; ridurre il calcolo richiesto durante il deep learning; e sperimentando architetture di chip analogiche piuttosto che digitali.
Nvidia ha scoperto che i chip altamente specializzati progettati per un'attività computazionale specifica possono superare le prestazioni dei chip GPU che sono bravi a gestire molti diversi tipi di calcolo. La differenza, ha detto Dally, potrebbe essere fino a un aumento del 20% dell'efficienza a parità di prestazioni.
Dally ha anche fatto riferimento a uno studio condotto da Nvidia per testare il potenziale della potatura, l'idea che è possibile ridurre il numero di calcoli che devono essere eseguiti durante l'allenamento, senza sacrificare l'accuratezza di un modello di deep learning. I ricercatori dell'azienda hanno scoperto di essere in grado di saltare circa il 90% di questi calcoli mantenendo la stessa precisione di apprendimento. Ciò significa che le stesse attività di apprendimento possono aver luogo utilizzando architetture di chip molto più piccole.
Infine, Dally ha menzionato che Nvidia sta ora sperimentando il calcolo analogico. I computer memorizzano quasi tutte le informazioni, compresi i numeri, come una serie di 0 s o uno S. Ma il calcolo analogico consentirebbe di codificare direttamente tutti i tipi di valori, come 0,3 o 0,7. Ciò dovrebbe sbloccare un calcolo molto più efficiente, perché i numeri possono essere rappresentati in modo più succinto, anche se Dally ha affermato che il suo team attualmente non è sicuro di come l'analogico si adatterà al futuro della progettazione di chip.
Anche Naveen Rao, vicepresidente aziendale e direttore generale dell'AI Products Group presso Intel, è salito sul palco e ha paragonato l'importanza dell'evoluzione dell'hardware dell'IA al ruolo che l'evoluzione ha svolto in biologia. Ratti e umani, ha detto, sono divergenti nell'evoluzione di una scala temporale di alcune centinaia di milioni di anni. Nonostante le capacità notevolmente migliorate, tuttavia, gli esseri umani hanno le stesse unità di calcolo fondamentali delle loro controparti roditori.
Lo stesso principio vale quando si tratta di progetti di chip, ha detto Rao. Qualsiasi chip, specializzato o flessibile, digitale o analogico, ottico o altro, è semplicemente un substrato per la codifica e la manipolazione delle informazioni. Ma a seconda di come è progettato quel substrato, potrebbe fare la differenza tra le capacità di un topo e di un essere umano.
Anche gli insetti, come i topi, ha detto, sono costruiti con le stesse unità fondamentali degli umani. Ma gli insetti hanno architetture fisse mentre gli umani ne hanno di più flessibili. Nessuno dei due, ha affermato, è superiore all'altro, ma si sono chiaramente evoluti per soddisfare scopi diversi. Gli insetti possono probabilmente sopravvivere a una guerra nucleare, mentre gli esseri umani hanno capacità molto più sofisticate.
Anche in questo caso, questi principi possono essere applicati alla progettazione dei chip. Man mano che portiamo online più dispositivi intelligenti, non avrà sempre senso inviare i loro dati al cloud per essere elaborati attraverso un modello di deep learning. Potrebbe invece avere senso eseguire un modello di apprendimento profondo piccolo ed efficiente sul dispositivo stesso. Questa idea, nota come AI on the edge, potrebbe trarre vantaggio da architetture di chip fisse e specializzate che sono più efficienti. I data center che alimentano l'IA sul cloud, d'altra parte, funzionerebbero su architetture di chip completamente flessibili e programmabili, per gestire uno spettro molto più ampio di attività di apprendimento.
Rao ha osservato che qualunque progetto di chip che Intel e Nvidia decidano di perseguire, l'effetto sull'evoluzione dell'IA sarà significativo. Nel corso della storia, le singole civiltà si sono evolute in modi molto diversi a causa dei materiali unici a loro disposizione. Allo stesso modo, le operazioni che Intel e Nvidia rendono più semplici attraverso diversi design di chip influenzeranno pesantemente i tipi di attività di apprendimento che la comunità di intelligenza artificiale perseguirà.
Siamo in questa rapida esplosione precambriana [per le architetture di chip] in questo momento, ha detto Rao, e non tutte le soluzioni vinceranno.