L'IA sta cavalcando un pony con un trucco?

Quasi tutti i progressi dell'IA di cui hai sentito parlare dipendono da una svolta vecchia di tre decenni. Tenere il passo con i progressi richiederà di affrontare i gravi limiti dell'IA. Di

• James Somers pagina di archivio

29 settembre 2017

Adam Deviazione

Mi trovo in quello che presto sarà il centro del mondo, o forse è solo una stanza molto grande al settimo piano di una torre scintillante nel centro di Toronto. Mi fa vedere Jordan Jacobs, cofondatore di questo luogo: il nascente Vector Institute, che aprirà le sue porte questo autunno e che punta a diventare l'epicentro globale dell'intelligenza artificiale.

Siamo a Toronto perché Geoffrey Hinton è a Toronto e Geoffrey Hinton è il padre del deep learning, la tecnica dietro l'attuale entusiasmo per l'IA. Tra 30 anni guarderemo indietro e diremo che Geoff è Einstein: dell'IA, del deep learning, quello che chiamiamo AI, dice Jacobs. Tra i ricercatori ai vertici del campo del deep learning, Hinton ha più citazioni delle tre successive messe insieme. I suoi studenti e dottorandi hanno continuato a gestire i laboratori di intelligenza artificiale presso Apple, Facebook e OpenAI; Lo stesso Hinton è uno scienziato capo del team di Google Brain AI. In effetti, quasi tutti i risultati raggiunti nell'ultimo decennio dell'IA (traduzione, riconoscimento vocale, riconoscimento di immagini e gioco) risalgono in qualche modo al lavoro di Hinton.

Questa storia faceva parte del nostro numero di novembre 2017

• Vedi il resto del problema
• sottoscrivi

Il Vector Institute, questo monumento all'ascesa delle idee di Hinton, è un centro di ricerca in cui aziende di Stati Uniti e Canada, come Google, Uber e Nvidia, sponsorizzeranno gli sforzi per commercializzare le tecnologie di intelligenza artificiale. Il denaro è arrivato più velocemente di quanto Jacobs potesse chiederlo; due dei suoi cofondatori hanno intervistato aziende nell'area di Toronto e la domanda di esperti di intelligenza artificiale ha finito per essere 10 volte quella che il Canada produce ogni anno. Vector è in un certo senso ground zero per il tentativo ormai mondiale di mobilitarsi attorno al deep learning: sfruttare la tecnica, insegnarla, perfezionarla e applicarla. Si stanno costruendo data center, si stanno riempiendo torri di startup, un'intera generazione di studenti sta entrando nel campo.

L'impressione che si ha in piedi sul pavimento di Vector, spoglio ed echeggiante e in procinto di essere riempito, è di essere all'inizio di qualcosa. Ma la cosa peculiare dell'apprendimento profondo è proprio l'età delle sue idee chiave. Il documento rivoluzionario di Hinton, con i colleghi David Rumelhart e Ronald Williams, è stato pubblicato nel 1986. Il documento ha elaborato una tecnica chiamata backpropagation, o backprop in breve. Backprop, nelle parole di Jon Cohen, uno psicologo computazionale di Princeton, è ciò su cui si basa tutto il deep learning, letteralmente tutto.

Quando lo riduci, l'IA oggi è deep learning e il deep learning è backprop, il che è sorprendente, considerando che il backprop ha più di 30 anni. Vale la pena capire come sia successo, come una tecnica potrebbe rimanere in attesa per così tanto tempo e poi causare un'esplosione del genere, perché una volta compresa la storia del backprop, inizierai a capire il momento attuale dell'IA, e in particolare il fatto che forse non siamo proprio all'inizio di una rivoluzione. Forse siamo alla fine di uno.

Rivendicazione

La passeggiata dal Vector Institute all'ufficio di Hinton a Google, dove trascorre la maggior parte del suo tempo (ora è professore emerito all'Università di Toronto), è una sorta di pubblicità vivente per la città, almeno in estate. Puoi capire perché Hinton, originario del Regno Unito, si è trasferito qui negli anni '80 dopo aver lavorato alla Carnegie Mellon University di Pittsburgh.

Quando esci, anche in centro vicino al distretto finanziario, ti senti come se fossi davvero immerso nella natura. È l'odore, penso: terriccio bagnato nell'aria. Toronto è stata costruita in cima a burroni boscosi e si dice che sia una città all'interno di un parco; poiché è stato urbanizzato, il governo locale ha stabilito rigide restrizioni per mantenere la chioma degli alberi. Mentre voli dentro, le parti esterne della città sembrano quasi lussureggianti da cartone animato.

Forse non siamo davvero all'inizio di una rivoluzione.

Toronto è la quarta città più grande del Nord America (dopo Città del Messico, New York e LA) e la più diversificata: più della metà della popolazione è nata fuori dal Canada. Puoi vederlo in giro. La folla nel corridoio tecnologico sembra meno San Francisco - giovani bianchi in felpa con cappuccio - e più internazionale. C'è assistenza sanitaria gratuita e buone scuole pubbliche, la gente è amichevole e l'ordine politico è relativamente di sinistra e stabile; e questa roba attira persone come Hinton, che dice di aver lasciato gli Stati Uniti a causa dell'affare Iran-Contra. È una delle prime cose di cui parliamo quando vado a incontrarlo, poco prima di pranzo.

La maggior parte delle persone alla CMU pensava che fosse perfettamente ragionevole che gli Stati Uniti invadessero il Nicaragua, dice. In qualche modo pensavano di possederlo. Mi dice che di recente ha avuto una grande svolta su un progetto: trovare un ingegnere junior molto bravo che lavora con me, una donna di nome Sara Sabour. Sabour è iraniana e le è stato rifiutato il visto per lavorare negli Stati Uniti. L'ufficio di Google di Toronto l'ha raccolta.

Hinton, che ha 69 anni, ha il viso gentile, magro e dall'aspetto inglese del Big Friendly Giant, con una bocca sottile, grandi orecchie e un naso fiero. È nato a Wimbledon, in Inghilterra, e suona, quando parla, come il narratore di un libro per bambini sulla scienza: curioso, coinvolgente, desideroso di spiegare le cose. È divertente e un po' uno showman. Rimane in piedi tutto il tempo che parliamo, perché, a quanto pare, sedersi è troppo doloroso. Mi sono seduto nel giugno del 2005 ed è stato un errore, mi dice, lasciando atterrare la linea bizzarra prima di spiegare che un disco alla schiena gli dà problemi. Significa che non può volare e quel giorno aveva dovuto portare un aggeggio che sembrava una tavola da surf nello studio del dentista in modo da poterci sdraiare mentre si faceva esaminare una radice di un dente incrinato.

Negli anni '80 Hinton era, come lo è oggi, un esperto di reti neurali, un modello molto semplificato della rete di neuroni e sinapsi nel nostro cervello. Tuttavia, a quel tempo era stato fermamente deciso che le reti neurali fossero un vicolo cieco nella ricerca sull'IA. Sebbene la prima rete neurale, il Perceptron, che iniziò a essere sviluppato negli anni '50, fosse stata salutata come un primo passo verso l'intelligenza artificiale a livello umano, un libro del 1969 di Marvin Minsky e Seymour Papert del MIT, intitolato Perceptron , ha dimostrato matematicamente che tali reti potrebbero svolgere solo le funzioni più elementari. Queste reti avevano solo due strati di neuroni, uno strato di input e uno strato di output. Reti con più strati tra i neuroni di input e di output potrebbero in teoria risolvere una grande varietà di problemi, ma nessuno sapeva come addestrarli, quindi in pratica erano inutili. Fatta eccezione per alcune resistenze come Hinton, Perceptron ha indotto la maggior parte delle persone a rinunciare completamente alle reti neurali.

La svolta di Hinton, nel 1986, è stata quella di dimostrare che la backpropagation potrebbe addestrare una rete neurale profonda, ovvero una con più di due o tre strati. Ma ci sono voluti altri 26 anni prima che l'aumento della potenza di calcolo rendesse efficace la scoperta. Un giornale del 2012 di Hinton e due dei suoi studenti di Toronto hanno dimostrato che le reti neurali profonde, addestrate utilizzando la backpropagation, battono i sistemi all'avanguardia nel riconoscimento delle immagini. Il deep learning è decollato. Al mondo esterno, l'IA sembrava svegliarsi dall'oggi al domani. Per Hinton, è stato un guadagno atteso da tempo.

Campo di distorsione della realtà

Una rete neurale viene solitamente disegnata come un club sandwich, con strati impilati uno sopra l'altro. Gli strati contengono neuroni artificiali, che sono piccole unità computazionali stupide che si eccitano, come si eccita un vero neurone, e trasmettono quell'eccitazione agli altri neuroni a cui sono collegati. L'eccitazione di un neurone è rappresentata da un numero, come 0,13 o 32,39, che dice quanto è eccitato. E c'è un altro numero cruciale, su ciascuna delle connessioni tra due neuroni, che determina quanta eccitazione dovrebbe passare dall'uno all'altro. Quel numero ha lo scopo di modellare la forza delle sinapsi tra i neuroni nel cervello. Quando il numero è più alto, significa che la connessione è più forte, quindi più eccitazione dell'uno scorre verso l'altro.

Un diagramma dal lavoro seminale sulla propagazione degli errori di Hinton, David Rumelhart e Ronald Williams.

Una delle applicazioni di maggior successo delle reti neurali profonde è nel riconoscimento delle immagini, come nella memorabile scena di HBO Silicon Valley dove il team crea un programma in grado di dire se c'è un hot dog in una foto. Programmi del genere esistono davvero e non sarebbero stati possibili dieci anni fa. Per farli funzionare, il primo passo è ottenere una foto. Diciamo che, per semplicità, è una piccola immagine in bianco e nero larga 100 pixel e alta 100 pixel. Invii questa immagine alla tua rete neurale impostando l'eccitazione di ciascun neurone simulato nel livello di input in modo che sia uguale alla luminosità di ciascun pixel. Questo è lo strato inferiore del club sandwich: 10.000 neuroni (100x100) che rappresentano la luminosità di ogni pixel dell'immagine.

Quindi colleghi questo grande strato di neuroni a un altro grande strato di neuroni sopra di esso, diciamo alcune migliaia, e questi a loro volta a un altro strato di altre poche migliaia di neuroni, e così via per alcuni strati. Infine, nello strato più alto del sandwich, lo strato di output, hai solo due neuroni, uno che rappresenta un hot dog e l'altro che non rappresenta un hot dog. L'idea è di insegnare alla rete neurale ad eccitare solo il primo di quei neuroni se c'è un hot dog nella foto, e solo il secondo se non c'è. La backpropagation, la tecnica su cui Hinton ha costruito la sua carriera, è il metodo per farlo.

Backprop è straordinariamente semplice, sebbene funzioni meglio con enormi quantità di dati. Ecco perché i big data sono così importanti nell'IA: perché Facebook e Google ne sono così affamati e perché il Vector Institute ha deciso di aprire un negozio in fondo alla strada di quattro dei più grandi ospedali del Canada e di sviluppare partnership di dati con loro.

In questo caso, i dati assumono la forma di milioni di immagini, alcune con hot dog e altre senza; il trucco è che queste immagini sono etichettate su quali hanno gli hot dog. Quando crei per la prima volta la tua rete neurale, le connessioni tra i neuroni potrebbero avere pesi casuali, numeri casuali che indicano quanta eccitazione trasmettere lungo ciascuna connessione. È come se le sinapsi del cervello non fossero ancora state sintonizzate. L'obiettivo del backprop è modificare quei pesi in modo che facciano funzionare la rete: in modo che quando si passa l'immagine di un hot dog allo strato più basso, il neurone dell'hot dog dello strato più in alto finisca per eccitarsi.

Supponiamo di prendere la tua prima immagine di allenamento, ed è una foto di un pianoforte. Converti le intensità dei pixel dell'immagine 100x100 in 10.000 numeri, uno per ogni neurone nel livello inferiore della rete. Man mano che l'eccitazione si diffonde nella rete in base alla forza della connessione tra i neuroni negli strati adiacenti, alla fine finirà in quell'ultimo strato, quello con i due neuroni che dicono se c'è un hot dog nell'immagine. Poiché l'immagine è di un pianoforte, idealmente il neurone dell'hot dog dovrebbe avere uno zero su di esso, mentre il neurone non dell'hot dog dovrebbe avere un numero alto. Ma diciamo che non funziona in questo modo. Diciamo che la rete ha torto su questa immagine. Backprop è una procedura per riconfigurare la forza di ogni connessione nella rete in modo da correggere l'errore per un determinato esempio di addestramento.

Il modo in cui funziona è che inizi con gli ultimi due neuroni e capisci quanto si sbagliavano: quanta differenza c'è tra ciò che avrebbero dovuto essere i numeri di eccitazione e ciò che erano effettivamente? Quando ciò è fatto, dai un'occhiata a ciascuna delle connessioni che portano a quei neuroni, quelli nel livello inferiore successivo, e capisci il loro contributo all'errore. Continui a farlo finché non sei arrivato fino al primo set di connessioni, proprio in fondo alla rete. A quel punto sai quanto ogni singola connessione ha contribuito all'errore complessivo e, in un passaggio finale, modifichi ciascuno dei pesi nella direzione che meglio riduce l'errore complessivo. La tecnica è chiamata backpropagation perché stai propagando gli errori indietro (o giù) attraverso la rete, a partire dall'output.

La cosa incredibile è che quando lo fai con milioni o miliardi di immagini, la rete inizia a diventare abbastanza brava a dire se un'immagine contiene un hot dog. E ciò che è ancora più notevole è che i singoli livelli di queste reti di riconoscimento delle immagini iniziano a essere in grado di vedere le immagini in un modo simile al nostro sistema visivo. Cioè, il primo strato potrebbe finire per rilevare i bordi, nel senso che i suoi neuroni si eccitano quando ci sono bordi e non si eccitano quando non ci sono; il livello sopra quello che si potrebbe essere in grado di rilevare insiemi di bordi, come gli angoli; lo strato sopra il quale si potrebbero iniziare a vedere le forme; e lo strato sopra quello si potrebbe iniziare a trovare cose come panino aperto o panino chiuso, nel senso di avere neuroni che rispondono a entrambi i casi. La rete si organizza, in altre parole, in strati gerarchici senza essere mai stata programmata esplicitamente in questo modo.

Una vera intelligenza non si rompe quando modifichi leggermente il problema.

Questa è la cosa che ha affascinato tutti. Non è solo che le reti neurali sono brave a classificare le immagini di hot dog o altro: sembrano in grado di costruire rappresentazioni di idee. Con il testo puoi vederlo ancora più chiaramente. Puoi alimentare il testo di Wikipedia, lungo molti miliardi di parole, in una semplice rete neurale, addestrandolo a sputare fuori, per ogni parola, un grande elenco di numeri che corrispondono all'eccitazione di ogni neurone in uno strato. Se pensi a ciascuno di questi numeri come a una coordinata in uno spazio complesso, allora essenzialmente quello che stai facendo è trovare un punto, noto in questo contesto come un vettore, per ogni parola da qualche parte in quello spazio. Ora, allena la tua rete in modo tale che le parole che appaiono una accanto all'altra sulle pagine di Wikipedia finiscano con coordinate simili, e voilà, succede qualcosa di folle: le parole che hanno significati simili iniziano a comparire l'una accanto all'altra nello spazio. Cioè, pazzo e sconvolto avranno coordinate vicine l'una all'altra, così come tre e sette e così via. Inoltre, la cosiddetta aritmetica vettoriale consente, ad esempio, di sottrarre il vettore per la Francia dal vettore per Parigi, aggiungere il vettore per l'Italia e finire nel quartiere di Roma. Funziona senza che nessuno dica esplicitamente alla rete che Roma sta per l'Italia come Parigi sta per la Francia.

È incredibile, dice Hinton. È scioccante. Si può pensare che le reti neurali cerchino di prendere le cose - immagini, parole, registrazioni di qualcuno che parla, dati medici - e di inserirle in quello che i matematici chiamano uno spazio vettoriale ad alta dimensione, dove la vicinanza o la distanza delle cose riflette alcune caratteristiche importanti del mondo reale. Hinton crede che questo sia ciò che fa il cervello stesso. Se vuoi sapere cos'è un pensiero, dice, posso esprimerlo per te in una serie di parole. Posso dire 'John ha pensato, Whoops'. Ma se chiedi: 'Qual è il pensiero? Cosa significa per John avere quel pensiero?' Non è che nella sua testa ci sia una citazione di apertura, e un 'Whoops' e una citazione di chiusura, o anche una versione ripulita di quello. Dentro la sua testa c'è un grande schema di attività neurale. Grandi schemi di attività neurale, se sei un matematico, possono essere catturati in uno spazio vettoriale, con l'attività di ciascun neurone corrispondente a un numero e ogni numero a una coordinata di un vettore davvero grande. Per Hinton, ecco cos'è il pensiero: una danza di vettori.

Geoffrey Hinton Per gentile concessione di Google

Non è un caso che l'istituto di intelligenza artificiale di punta di Toronto sia stato chiamato per questo fatto. Hinton è stato colui che ha inventato il nome Vector Institute.

C'è una sorta di campo di distorsione della realtà che Hinton crea, un'aria di certezza ed entusiasmo, che ti dà la sensazione che non ci sia nulla che i vettori non possano fare. Dopotutto, guarda cosa sono già stati in grado di produrre: automobili che si guidano da sole, computer che rilevano il cancro, macchine che traducono istantaneamente la lingua parlata. E guarda questo affascinante scienziato britannico che parla della discesa del gradiente negli spazi ad alta dimensione!

È solo quando esci dalla stanza che ricordi: questi sistemi di deep learning sono ancora piuttosto stupidi, nonostante a volte sembrino intelligenti. Un computer che vede l'immagine di una pila di ciambelle ammucchiate su un tavolo e la didascalia, automaticamente, come una pila di ciambelle ammucchiate su un tavolo sembra capire il mondo; ma quando quello stesso programma vede l'immagine di una ragazza che si lava i denti e dice Il ragazzo tiene in mano una mazza da baseball, ti rendi conto di quanto sia sottile quella comprensione, se mai c'era.

Le reti neurali sono solo sconsiderati riconoscitori di pattern fuzzy e, per quanto utili possano essere i riconoscitori di pattern fuzzy, da qui la fretta di integrarli in quasi tutti i tipi di software, rappresentano, nella migliore delle ipotesi, un tipo limitato di intelligenza, facilmente ingannabile . Una rete neurale profonda che riconosce le immagini può essere totalmente ostacolata quando si cambia un singolo pixel o si aggiunge un rumore visivo impercettibile per un essere umano. In effetti, quasi tutte le volte che troviamo nuovi modi per applicare il deep learning, ne scopriamo sempre di più i limiti. Le auto a guida autonoma possono non riuscire a navigare in condizioni mai viste prima. Le macchine hanno problemi ad analizzare le frasi che richiedono una comprensione del buon senso di come funziona il mondo.

L'apprendimento profondo in qualche modo imita ciò che accade nel cervello umano, ma solo in modo superficiale, il che forse spiega perché la sua intelligenza a volte può sembrare così superficiale. In effetti, il backprop non è stato scoperto sondando in profondità nel cervello, decodificando il pensiero stesso; è nato da modelli di come gli animali imparano per tentativi ed errori in vecchi esperimenti di condizionamento classico. E la maggior parte dei grandi salti che sono avvenuti durante lo sviluppo non hanno comportato nuove intuizioni sulle neuroscienze; erano miglioramenti tecnici, raggiunti da anni di matematica e ingegneria. Ciò che sappiamo sull'intelligenza non è nulla contro la vastità di ciò che ancora non sappiamo.

David Duvenaud, assistente professore nello stesso dipartimento di Hinton all'Università di Toronto, afferma che il deep learning è stato un po' come l'ingegneria prima della fisica. Qualcuno scrive un foglio e dice: 'Ho fatto questo ponte ed è rimasto in piedi!' Un altro ragazzo ha un foglio: 'Ho fatto questo ponte ed è caduto, ma poi ho aggiunto dei pilastri, e poi è rimasto in piedi.' Quindi i pilastri sono una cosa nuova e calda. Qualcuno esce con gli archi ed è come, 'Gli archi sono fantastici!' Con la fisica, dice, puoi effettivamente capire cosa funzionerà e perché. Solo di recente, dice, abbiamo iniziato a entrare in quella fase di comprensione effettiva con l'intelligenza artificiale.

Lo stesso Hinton dice: La maggior parte delle conferenze consiste nel fare piccole variazioni... invece di pensare intensamente e dire: 'Che cosa c'è di veramente carente in quello che stiamo facendo ora? Con cosa ha difficoltà? Concentriamoci su quello.'

Può essere difficile apprezzarlo dall'esterno, quando tutto ciò che vedi è un grande progresso propagandato dopo l'altro. Ma l'ultima ondata di progressi nell'IA è stata meno scienza che ingegneria, persino armeggiare. E sebbene abbiamo iniziato a capire meglio quali tipi di modifiche miglioreranno i sistemi di apprendimento profondo, siamo ancora in gran parte all'oscuro su come funzionano quei sistemi o se potrebbero mai sommarsi a qualcosa di così potente come il mente umana.

Vale la pena chiedersi se abbiamo strizzato quasi tutto ciò che possiamo dal backprop. In tal caso, ciò potrebbe significare un plateau per il progresso nell'intelligenza artificiale.

Pazienza

Se vuoi vedere la prossima grande cosa, qualcosa che potrebbe costituire la base di macchine con un'intelligenza molto più flessibile, dovresti probabilmente dare un'occhiata a una ricerca che assomiglia a quella che avresti trovato se avessi incontrato backprop negli anni '80: persone intelligenti attaccandoti a idee che non funzionano ancora.

Alcuni mesi fa sono andato al Center for Minds, Brains, and Machines, uno sforzo multi-istituzionale con sede al MIT, per vedere un mio amico, Eyal Dechter, difendere la sua tesi in scienze cognitive. Poco prima dell'inizio del discorso, sua moglie Amy, il loro cane Ruby e la loro figlia Susannah si stavano aggirando, augurandogli ogni bene. Sullo schermo c'era una foto di Ruby, e accanto ad essa una di Susannah da piccola. Quando papà ha chiesto a Susannah di farsi notare, ha schiaffeggiato felicemente un lungo puntatore a scomparsa contro la sua foto del bambino. Uscendo dalla stanza, ha portato un passeggino giocattolo dietro sua madre e ha urlato Buona fortuna, papà! sopra la sua spalla. Vamanos! disse finalmente. Lei ha due

Il fatto che non funzioni è solo un fastidio temporaneo.

Eyal ha iniziato il suo discorso con una domanda seducente: come è possibile che Susannah, dopo due anni di esperienza, possa imparare a parlare, a suonare, a seguire le storie? Cosa c'è nel cervello umano che lo fa imparare così bene? Un computer sarà mai in grado di apprendere così velocemente e in modo così fluido?

Diamo un senso ai nuovi fenomeni in termini di cose che già comprendiamo. Dividiamo un dominio in pezzi e impariamo i pezzi. Eyal è un matematico e un programmatore di computer e considera i compiti, come fare un soufflé, come programmi per computer davvero complessi. Ma non è che impari a fare un soufflé imparando tutte le migliaia di micro-istruzioni del programma, come Ruotare il gomito di 30 gradi, poi guardare in basso verso il piano di lavoro, quindi allungare l'indice, poi... Se proprio dovessi farlo che per ogni nuovo compito, l'apprendimento sarebbe troppo difficile e rimarrai bloccato con ciò che già conosci. Invece, eseguiamo il programma in termini di passaggi di alto livello, come Montare gli albumi, che sono essi stessi composti da sottoprogrammi, come Rompere le uova e Separare i tuorli.

Storia correlata

Storia correlata Nessuno sa davvero come fanno gli algoritmi più avanzati. Potrebbe essere un problema.

I computer non lo fanno, e questa è una grande parte del motivo per cui sono stupidi. Per fare in modo che un sistema di deep learning riconosca un hot dog, potresti dovergli dare da mangiare 40 milioni di immagini di hot dog. Per convincere Susannah a riconoscere un hot dog, mostrale un hot dog. E in poco tempo avrà una comprensione del linguaggio che va più in profondità del riconoscere che certe parole spesso appaiono insieme. A differenza di un computer, avrà in mente un modello su come funziona il mondo intero. È incredibile per me che le persone abbiano paura che i computer prendano lavoro, dice Eyal. Non è che i computer non possano sostituire gli avvocati perché gli avvocati fanno cose davvero complicate. È perché gli avvocati leggono e parlano con le persone. Non è che siamo vicini. Siamo così lontani.

Una vera intelligenza non si rompe quando modifichi leggermente i requisiti del problema che sta cercando di risolvere. E la parte fondamentale della tesi di Eyal è stata la sua dimostrazione, in linea di principio, di come si potrebbe far funzionare un computer in quel modo: applicare in modo fluido ciò che già conosce a nuove attività, per avviare rapidamente la propria strada dal non sapere quasi nulla di un nuovo dominio ad essere un esperto.

Hinton ha realizzato questo schizzo per la sua prossima grande idea, organizzare reti neurali con 'capsule'.

In sostanza, è una procedura che chiama algoritmo di esplorazione-compressione. Fa funzionare un computer in qualche modo come un programmatore che costruisce una libreria di componenti modulari riutilizzabili mentre costruisce programmi sempre più complessi. Senza che gli venga detto nulla su un nuovo dominio, il computer cerca di strutturare la conoscenza su di esso semplicemente giocando, consolidando ciò che è stato trovato e giocando ancora un po', come fa un bambino umano.

Il suo consigliere, Joshua Tenenbaum, è uno dei ricercatori più citati nell'IA. Il nome di Tenenbaum è emerso in metà delle conversazioni che ho avuto con altri scienziati. Alcune delle persone chiave di DeepMind, il team dietro AlphaGo, che ha scioccato gli informatici battendo un giocatore campione del mondo nel complesso gioco di Go nel 2016, avevano lavorato come suo post-dottorato. È coinvolto in una startup che sta cercando di dare alle auto a guida autonoma un po' di intuizione sulla fisica di base e sulle intenzioni di altri conducenti, in modo che possano anticipare meglio cosa accadrebbe in una situazione che non hanno mai visto prima, come quando un camion si sfreccia davanti a loro o quando qualcuno cerca di fondersi in modo molto aggressivo.

La tesi di Eyal non si traduce ancora in quel tipo di applicazioni pratiche, per non parlare di programmi che farebbero notizia per battere un essere umano. I problemi su cui sta lavorando Eyal sono davvero molto difficili, ha detto Tenenbaum. Ci vorranno molte, molte generazioni.

Tenenbaum ha i capelli lunghi, ricci e schiariti, e quando ci siamo seduti per un caffè indossava una camicia abbottonata con pantaloni neri. Mi ha detto che cerca ispirazione dalla storia del backprop. Per decenni, il backprop è stato un ottimo calcolo matematico che in realtà non ha portato a nulla. Quando i computer sono diventati più veloci e l'ingegneria è diventata più sofisticata, all'improvviso è successo. Spera che la stessa cosa possa accadere con il suo lavoro e quello dei suoi studenti, ma potrebbero volerci altri due decenni.

Quanto a Hinton, è convinto che superare i limiti dell'IA significhi costruire un ponte tra informatica e biologia. Backprop era, da questo punto di vista, un trionfo della computazione biologicamente ispirata; l'idea inizialmente non proveniva dall'ingegneria ma dalla psicologia. Quindi ora Hinton sta cercando di tirare fuori un trucco simile.

Le reti neurali oggi sono costituite da grandi strati piatti, ma nella neocorteccia umana i neuroni reali sono disposti non solo orizzontalmente in strati ma verticalmente in colonne. Hinton pensa di sapere a cosa servono le colonne: nella visione, ad esempio, sono cruciali per la nostra capacità di riconoscere gli oggetti anche se il nostro punto di vista cambia. Quindi sta costruendo una versione artificiale - le chiama capsule - per testare la teoria. Finora, non è andato a buon fine; le capsule non hanno migliorato notevolmente le prestazioni delle sue reti. Ma questa era la stessa situazione in cui si trovava con il backprop da quasi 30 anni.

Questa cosa deve essere giusta, dice a proposito della teoria della capsula, ridendo della propria audacia. E il fatto che non funzioni è solo un fastidio temporaneo.

James Somers è uno scrittore e programmatore con sede a New York City. Il suo precedente articolo per Revisione della tecnologia del MIT è stato Toolkits for the Mind a maggio/giugno 2015, che ha mostrato come le startup Internet siano modellate dai linguaggi di programmazione che utilizzano.

nascondere