La potenza di calcolo necessaria per addestrare l'IA sta ora aumentando sette volte più velocemente che mai

Il giocatore di Go Ke Jie gioca una partita contro il programma di intelligenza artificiale di Google, AlphaGo AP

Nel 2018, OpenAI ha scoperto che la quantità di potenza di calcolo utilizzata per addestrare i modelli di intelligenza artificiale più grandi era raddoppiata ogni 3,4 mesi dal 2012.

Il laboratorio di ricerca sull'IA a scopo di lucro con sede a San Francisco lo ha ora aggiunti nuovi dati alla sua analisi. Questo mostra come il raddoppio post-2012 si confronta con il tempo di raddoppio storico dall'inizio del campo. Dal 1959 al 2012, la quantità di energia utilizzata è raddoppiata ogni due anni, seguendo la legge di Moore. Ciò significa che le risorse utilizzate oggi stanno raddoppiando a un ritmo sette volte più veloce di prima.

OpenAI

Questo drammatico aumento delle risorse necessarie sottolinea quanto siano diventati costosi i risultati del settore. Tieni presente che il grafico sopra mostra una scala logaritmica. Su una scala lineare (sotto), puoi vedere più chiaramente come l'utilizzo del calcolo è aumentato di 300.000 volte negli ultimi sette anni.

Inoltre, il grafico non include alcune delle scoperte più recenti, incluso il modello linguistico su larga scala di Google BERT , il modello linguistico di OpenAI GPT-2 o il modello di gioco di StarCraft II di DeepMind AlphaStar .

OpenAI

Nell'ultimo anno, sempre più ricercatori hanno lanciato l'allarme sui costi esplosivi del deep learning. A giugno, un'analisi dei ricercatori dell'Università del Massachusetts, ad Amherst, ha mostrato come questi crescenti costi computazionali si traducano direttamente in emissioni di carbonio.

Nel loro articolo, hanno anche notato come la tendenza esacerba la privatizzazione della ricerca sull'IA perché mina la capacità dei laboratori accademici di competere con quelli privati ​​molto più ricchi di risorse.

In risposta a questa crescente preoccupazione, diversi gruppi industriali hanno formulato raccomandazioni. L'Allen Institute for Artificial Intelligence, una società di ricerca senza scopo di lucro di Seattle, ha proposto che i ricercatori pubblichino sempre i costi finanziari e computazionali dell'addestramento dei loro modelli insieme ai risultati delle prestazioni, ad esempio.

Nel proprio blog, OpenAI ha suggerito ai responsabili politici di aumentare i finanziamenti ai ricercatori accademici per colmare il divario di risorse tra i laboratori accademici e industriali.

Correzione: Una versione precedente di questo articolo affermava erroneamente che il tempo di raddoppio oggi è più di sette volte il tasso precedente. Le risorse utilizzate stanno raddoppiando sette volte più velocemente e il tempo di raddoppio stesso è un settimo della volta precedente.

nascondere