L'allenamento di un singolo modello di IA può emettere tanto carbonio quanto cinque auto nella loro vita

Un centro dati Dean Mouhtaropoulos | Getty; a cura di MIT Technology Review

L'industria dell'intelligenza artificiale è spesso paragonata all'industria petrolifera: una volta estratti e raffinati, i dati, come il petrolio, possono essere un bene altamente redditizio. Ora sembra che la metafora possa estendersi anche oltre. Come la sua controparte a combustibili fossili, il processo di deep learning ha un impatto ambientale smisurato.

In un nuova carta , i ricercatori dell'Università del Massachusetts, ad Amherst, hanno eseguito una valutazione del ciclo di vita per addestrare diversi modelli di IA di grandi dimensioni comuni. Hanno scoperto che il processo può emettere più di 626.000 libbre di anidride carbonica equivalente, quasi cinque volte le emissioni di un'auto americana media (e questo include la produzione dell'auto stessa).

È una quantificazione stridente di qualcosa che i ricercatori di intelligenza artificiale sospettavano da molto tempo. Mentre probabilmente molti di noi hanno pensato a questo in un livello astratto e vago, le cifre mostrano davvero l'entità del problema, afferma Carlos Gómez-Rodríguez, uno scienziato informatico dell'Università di La Coruña in Spagna, che non è stato coinvolto nel ricerca. Né io né altri ricercatori con cui li ho discussi pensavamo che l'impatto ambientale fosse così sostanziale.

L'impronta di carbonio dell'elaborazione del linguaggio naturale

Il documento esamina in modo specifico il processo di formazione del modello per l'elaborazione del linguaggio naturale (NLP), il sottocampo dell'IA che si concentra sull'insegnamento delle macchine per gestire il linguaggio umano. Negli ultimi due anni, la comunità della PNL ha raggiunto diversi traguardi di prestazioni degni di nota nella traduzione automatica, nel completamento delle frasi e in altre attività standard di benchmarking. Il famigerato modello GPT-2 di OpenAI, ad esempio, eccelleva nello scrivere articoli di fake news convincenti.

Ma tali progressi hanno richiesto la formazione di modelli sempre più grandi su insiemi di dati tentacolari di frasi raschiate da Internet. L'approccio è computazionalmente costoso e ad alta intensità energetica.

I ricercatori hanno esaminato quattro modelli sul campo che sono stati responsabili dei maggiori balzi in termini di prestazioni: Transformer, ELMo, BERT e GPT-2. Si sono allenati ciascuno su una singola GPU per un massimo di un giorno per misurarne l'assorbimento di potenza. Hanno quindi utilizzato il numero di ore di formazione elencate nei documenti originali del modello per calcolare l'energia totale consumata durante l'intero processo di formazione. Quel numero è stato convertito in libbre di anidride carbonica equivalente in base al mix energetico medio negli Stati Uniti, che corrisponde molto al mix energetico utilizzato da AWS di Amazon, il più grande fornitore di servizi cloud.

Hanno scoperto che i costi computazionali e ambientali della formazione sono cresciuti proporzionalmente alle dimensioni del modello e poi sono esplosi quando sono stati utilizzati passaggi di ottimizzazione aggiuntivi per aumentare la precisione finale del modello. In particolare, hanno scoperto che un processo di ottimizzazione noto come ricerca dell'architettura neurale, che tenta di ottimizzare un modello modificando in modo incrementale la progettazione di una rete neurale attraverso tentativi ed errori esaurienti, aveva costi associati straordinariamente elevati con scarsi vantaggi in termini di prestazioni. Senza di essa, il modello più costoso, BERT, aveva un'impronta di carbonio di circa 1.400 libbre di anidride carbonica equivalente, vicino a un volo transamericano di andata e ritorno per una persona.

Inoltre, i ricercatori osservano che le cifre dovrebbero essere considerate solo come linee di base. La formazione di un singolo modello è la quantità minima di lavoro che puoi fare, afferma Emma Strubell, dottoranda presso l'Università del Massachusetts, ad Amherst, e autrice principale del documento. In pratica, è molto più probabile che i ricercatori di IA sviluppino un nuovo modello da zero o adattino un modello esistente a un nuovo set di dati, entrambi i quali possono richiedere molti più cicli di addestramento e messa a punto.

Per capire meglio come potrebbe essere l'intera pipeline di sviluppo in termini di impronta di carbonio, Strubell e i suoi colleghi hanno utilizzato un modello che avevano prodotto in un carta precedente come caso di studio. Hanno scoperto che il processo di costruzione e test di un modello finale degno della carta ha richiesto la formazione di 4.789 modelli in un periodo di sei mesi. Convertito in CO2 equivalente, ha emesso più di 78.000 libbre ed è probabilmente rappresentativo del tipico lavoro sul campo.

Il significato di queste cifre è colossale, soprattutto se si considerano le tendenze attuali nella ricerca sull'IA. In generale, gran parte delle ultime ricerche sull'IA trascura l'efficienza, poiché le reti neurali molto grandi si sono rivelate utili per una varietà di compiti e le aziende e le istituzioni che hanno un ampio accesso alle risorse computazionali possono sfruttarlo per ottenere un vantaggio competitivo, dice Gómez-Rodríguez. Questo tipo di analisi doveva essere fatta per aumentare la consapevolezza sulle risorse spese [...] e susciterà un dibattito.

Ciò che probabilmente molti di noi non comprendevano è la portata fino a quando non abbiamo visto questi confronti, ha fatto eco Siva Reddy, un post-dottorato alla Stanford University che non era coinvolto nella ricerca.

La privatizzazione della ricerca sull'IA

I risultati sottolineano anche un altro problema crescente nell'IA: l'assoluta intensità delle risorse ora necessarie per produrre risultati degni della carta ha reso sempre più difficile per le persone che lavorano nel mondo accademico continuare a contribuire alla ricerca.

Questa tendenza verso l'addestramento di enormi modelli su tonnellate di dati non è fattibile per gli accademici, in particolare per gli studenti laureati, perché non abbiamo le risorse di calcolo, afferma Strubell. Quindi c'è un problema di accesso equo tra ricercatori nel mondo accademico e ricercatori nell'industria.

Strubell e i suoi coautori sperano che i loro colleghi presteranno attenzione ai risultati del documento e contribuiranno a livellare il campo di gioco investendo nello sviluppo di hardware e algoritmi più efficienti.

Reddy è d'accordo. Il cervello umano può fare cose straordinarie con un consumo ridotto di energia, dice. La domanda più grande è come possiamo costruire macchine del genere.

nascondere