211service.com
Come l'IA può continuare ad accelerare dopo la legge di Moore
È probabile che le nuove idee nella progettazione dei chip rendano il software più intelligente. 30 maggio 2017
Andrea Chronopoulos
Il CEO di Google Sundar Pichai era ovviamente entusiasta quando ha parlato con gli sviluppatori di un risultato di successo del suo laboratorio di apprendimento automatico all'inizio di questo mese. I ricercatori avevano capito come automatizzare parte del lavoro di creazione di software di apprendimento automatico, qualcosa che potrebbe rendere molto più semplice l'implementazione della tecnologia in nuove situazioni e settori.
Ma il progetto si era già guadagnato una reputazione tra i ricercatori di intelligenza artificiale per un altro motivo: il modo in cui illustrava le vaste risorse informatiche necessarie per competere all'avanguardia dell'apprendimento automatico.
Un documento dei ricercatori di Google afferma che hanno utilizzato simultaneamente fino a 800 dei potenti e costosi processori grafici che sono stati cruciali per il recente aumento della potenza del machine learning (vedi 10 Breakthrough Technologies 2013: Deep Learning). Loro dissero Revisione della tecnologia del MIT che il progetto aveva bloccato centinaia di chip per due settimane solide, rendendo la tecnica troppo dispendiosa in termini di risorse per essere più di un progetto di ricerca anche su Google.
Un programmatore senza un accesso immediato a un'enorme raccolta di GPU avrebbe bisogno di tasche profonde per replicare l'esperimento. Noleggiare 800 GPU dal servizio di cloud computing di Amazon per una sola settimana costerebbe circa $ 120.000 ai prezzi indicati.
Andrea Chronopoulos
L'alimentazione dei dati nel software di deep learning per addestrarli a un'attività particolare richiede molte più risorse rispetto all'esecuzione del sistema in un secondo momento, ma ciò richiede comunque un notevole impulso. La potenza di calcolo è un collo di bottiglia in questo momento per l'apprendimento automatico, afferma Reza Zadeh , professore a contratto presso la Stanford University e fondatore e CEO di Matroide , una startup che aiuta le aziende a utilizzare il software per identificare oggetti come automobili e persone in filmati di sicurezza e altri video.
L'improvvisa sete di nuova potenza per guidare l'IA arriva in un momento in cui l'industria informatica si sta adattando alla perdita di due elementi su cui ha fatto affidamento per 50 anni per mantenere i chip sempre più potenti. Uno è la legge di Moore, che prevede che il numero di transistor che potrebbero essere inseriti in una data area di un chip raddoppierebbe ogni due anni. L'altro è un fenomeno chiamato ridimensionamento di Dennard, che descrive come la quantità di potenza utilizzata dai transistor si riduce man mano che si restringono.
Nessuno dei due vale oggi. Intel ha rallentato il ritmo con cui introduce generazioni di nuovi chip con transistor più piccoli e più densi (vedi Moore's Law Is Dead. E adesso?). E i soliti guadagni di efficienza che i transistor hanno mostrato quando sono diventati più piccoli si sono fermati a metà degli anni 2000, rendendo il consumo di energia un grosso mal di testa.
La buona notizia per chi scommette sull'IA è che i chip grafici sono riusciti finora a sfidare la gravità. Alla recente conferenza del principale produttore di chip grafici Nvidia, il CEO Jensen Huang ha mostrato un grafico che mostra come le prestazioni dei suoi chip abbiano continuato ad accelerare esponenzialmente mentre la crescita delle prestazioni dei processori generici, o CPU, è rallentata.
Doug Burger, un eminente ingegnere presso la divisione NExT di Microsoft che lavora sulla commercializzazione di nuove tecnologie, afferma che un divario simile si sta aprendo tra il software convenzionale e quello di apprendimento automatico. Stai iniziando a vedere un plateau [delle prestazioni] per il software generale - ha smesso di migliorare a tassi storici - ma questa roba di IA sta ancora aumentando rapidamente, dice.
Burger pensa che la tendenza continuerà. Gli ingegneri hanno mantenuto le GPU sempre più potenti perché possono essere più specializzate nella particolare matematica di cui hanno bisogno per eseguire la grafica o l'apprendimento automatico, afferma.
La stessa idea è alla base di un progetto guidato da Burger presso Microsoft, che sta dando più potenza al software di intelligenza artificiale utilizzando chip riconfigurabili chiamati FPGA. Motiva anche le startup, e giganti come Google, a creare nuovi chip personalizzati per potenziare l'apprendimento automatico (vedi Google Reveals a Powerful New AI Chip and Supercomputer ).
A lungo termine, saranno necessari cambiamenti più radicali nel modo in cui funzionano i chip dei computer per mantenere l'IA sempre più potente. La creazione di chip che non si aggiungono accuratamente è un'opzione. I prototipi hanno dimostrato che possono rendere i computer più efficienti senza compromettere l'accuratezza dei risultati del software di apprendimento automatico (vedi Perché un chip che è cattivo in matematica potrebbe aiutare i computer ad affrontare problemi più difficili).
Anche i progetti di chip che copiano direttamente dalla biologia potrebbero essere cruciali. IBM e altri hanno costruito chip prototipo che calcolano utilizzando picchi di corrente, in modo simile a come si attivano i nostri neuroni (vedi Thinking in Silicon). Anche gli animali semplici, sottolinea Burger, usano poca energia per fare cose al di là di ciò che i robot e i software odierni possono realizzare, prova che i computer hanno molto altro da fare.
Guarda il calcolo che fa uno scarafaggio, dice. Esistono prove di esistenza che mostrano che sono disponibili molti più ordini di grandezza di prestazioni ed efficienza. Nell'IA possono rimanere decenni di ridimensionamento.