Geoff Hinton, pioniere dell'IA: il deep learning sarà in grado di fare tutto

Noè Berger/AP

• Sulle lacune nel campo dell'intelligenza artificiale: 'Ci dovranno essere alcune scoperte concettuali... abbiamo anche bisogno di un massiccio aumento di scala'.
• Sui punti deboli delle reti neurali: 'Le reti neurali sono sorprendentemente brave a gestire una quantità piuttosto piccola di dati, con un numero enorme di parametri, ma le persone sono anche migliori'.
• Su come funzionano i nostri cervelli: 'Quello che c'è dentro il cervello sono questi grandi vettori di attività neurale'.

La moderna rivoluzione dell'IA è iniziata durante un oscuro concorso di ricerca. Era il 2012, il terzo anno del concorso annuale ImageNet, che sfidava i team a costruire sistemi di visione artificiale in grado di riconoscere 1.000 oggetti, dagli animali ai paesaggi alle persone.

Nei primi due anni, le squadre migliori non erano riuscite a raggiungere nemmeno il 75% di precisione. Ma nel terzo, una banda di tre ricercatori, un professore e i suoi studenti, ha improvvisamente superato questo tetto. Hanno vinto la competizione con uno sbalorditivo 10,8 punti percentuali. Quel professore era Geoffrey Hinton e la tecnica che usavano era chiamata deep learning.

Hinton aveva effettivamente lavorato con il deep learning dagli anni '80, ma la sua efficacia era stata limitata dalla mancanza di dati e potenza di calcolo. La sua ferma convinzione nella tecnica alla fine ha pagato enormi dividendi. Il quarto anno della competizione ImageNet, quasi tutti i team utilizzavano il deep learning e ottenevano guadagni di precisione miracolosi. Ben presto il deep learning è stato applicato ad attività che vanno oltre il riconoscimento delle immagini e anche all'interno di un'ampia gamma di settori.

L'anno scorso, per i suoi contributi fondamentali sul campo, Hinton ha ricevuto il Turing Award, insieme ad altri pionieri dell'IA Yann LeCun e Yoshua Bengio. Il 20 ottobre, ho parlato con lui alla conferenza annuale EmTech MIT del MIT Technology Review sullo stato del campo e su dove pensa che dovrebbe essere diretto.

Quanto segue è stato modificato e condensato per chiarezza.

Pensi che il deep learning sarà sufficiente per replicare tutta l'intelligenza umana. Cosa ti rende così sicuro?

Credo che il deep learning sarà in grado di fare tutto, ma penso che dovranno esserci alcune scoperte concettuali. Ad esempio, nel 2017 Ashish Vaswani et al . introdotto trasformatori , che derivano vettori davvero validi che rappresentano i significati delle parole. È stata una svolta concettuale. Ora è utilizzato in quasi tutte le migliori elaborazioni del linguaggio naturale. Avremo bisogno di un sacco di altre scoperte del genere.

E se avremo queste scoperte, saremo in grado di approssimare tutta l'intelligenza umana attraverso il deep learning?

Sì. In particolare le scoperte che hanno a che fare con il modo in cui ottieni grandi vettori di attività neurale per implementare cose come la ragione. Ma abbiamo anche bisogno di un massiccio aumento di scala. Il cervello umano ha circa 100 trilioni di parametri o sinapsi. Quello che ora chiamiamo un modello davvero grande, tipo GPT-3 , ha 175 miliardi. È mille volte più piccolo del cervello. GPT-3 ora può generare un testo dall'aspetto piuttosto plausibile ed è ancora minuscolo rispetto al cervello.

Quando dici scala, intendi reti neurali più grandi, più dati o entrambi?

Entrambi. C'è una sorta di discrepanza tra ciò che accade nell'informatica e ciò che accade con le persone. Le persone hanno un'enorme quantità di parametri rispetto alla quantità di dati che stanno ottenendo. Le reti neurali sono sorprendentemente brave a gestire una quantità piuttosto piccola di dati, con un numero enorme di parametri, ma le persone sono anche migliori.

Molte persone sul campo credono che il buon senso sia la prossima grande capacità da affrontare. Sei d'accordo?

Sono d'accordo che questa è una delle cose molto importanti. Penso anche che il controllo motorio sia molto importante e le reti neurali profonde ora stanno diventando brave in questo. In particolare, alcuni lavori recenti su Google hanno dimostrato che puoi controllare i motori di precisione e combinarli con il linguaggio, in modo da poter aprire un cassetto ed estrarre un blocco, e il sistema può dirti in linguaggio naturale cosa sta facendo.

Per cose come GPT-3, che genera questo testo meraviglioso, è chiaro che deve capire molto per generare quel testo, ma non è del tutto chiaro quanto capisca. Ma se qualcosa apre il cassetto e tira fuori un blocco e dice, ho appena aperto un cassetto e ne ho tirato fuori un blocco, è difficile dire che non capisca cosa sta facendo.

Il campo dell'IA ha sempre considerato il cervello umano come la sua più grande fonte di ispirazione e diversi approcci all'IA sono derivati ​​da diverse teorie nelle scienze cognitive. Credi che il cervello costruisca effettivamente rappresentazioni del mondo esterno per capirlo, o è solo un modo utile di pensarci?

Molto tempo fa nelle scienze cognitive c'era un dibattito tra due scuole di pensiero. Uno era guidato da Stephen Kosslyn, e credeva che quando manipoli immagini visive nella tua mente, quello che hai è una serie di pixel e li stai spostando. L'altra scuola di pensiero era più in linea con l'IA convenzionale. Diceva: No, no, è una sciocchezza. Sono descrizioni gerarchiche e strutturali. Hai una struttura simbolica nella tua mente, e quello è cosa stai manipolando.

Penso che entrambi stessero commettendo lo stesso errore. Kosslyn pensava che manipolassimo i pixel perché le immagini esterne sono fatte di pixel, e questa è una rappresentazione che comprendiamo. Il simbolo che le persone pensavano che abbiamo manipolato i simboli perché rappresentiamo anche le cose in simboli, e quello è una rappresentazione che comprendiamo. Penso che sia ugualmente sbagliato. Quello che c'è dentro il cervello sono questi grandi vettori di attività neurale.

Ci sono alcune persone che credono ancora che la rappresentazione simbolica sia uno degli approcci per l'IA.

Assolutamente. Ho buoni amici come Hector Levesque, che crede davvero nell'approccio simbolico e ha fatto un ottimo lavoro in questo. Non sono d'accordo con lui, ma l'approccio simbolico è una cosa perfettamente ragionevole da provare. Ma la mia ipotesi è che alla fine ci renderemo conto che i simboli esistono solo là fuori nel mondo esterno e facciamo operazioni interne su grandi vettori.

Quale pensi sia la tua visione più contrarian sul futuro dell'IA?

Bene, il mio problema è che ho queste opinioni contrarian e poi cinque anni dopo, sono mainstream. La maggior parte delle mie opinioni contrarian degli anni '80 sono ora ampiamente accettate. È piuttosto difficile ora trovare persone che non siano d'accordo con loro. Quindi sì, sono stato in qualche modo minato nelle mie opinioni contrarian.

nascondere