Geoffrey Hinton ha un'idea del futuro dell'IA

Kiel Muschelknaus

A novembre, l'informatico e psicologo cognitivo Geoffrey Hinton ha avuto un'intuizione. Dopo mezzo secolo di tentativi, alcuni di grande successo, era arrivato a un'altra promettente intuizione su come funziona il cervello e su come replicare i suoi circuiti in un computer.

Al momento è la mia migliore scommessa su come le cose si incastrano, dice Hinton dal suo ufficio di casa a Toronto, dove è stato sequestrato durante la pandemia. Se la sua scommessa dà i suoi frutti, potrebbe innescare la prossima generazione di reti neurali artificiali: sistemi di calcolo matematico, vagamente ispirati ai neuroni e alle sinapsi del cervello, che sono al centro dell'intelligenza artificiale di oggi. La sua motivazione onesta, come dice lui, è la curiosità. Ma la motivazione pratica - e, idealmente, la conseguenza - è un'IA più affidabile e affidabile.

Un collega di ingegneria di Google e cofondatore del Vector Institute for Artificial Intelligence, Hinton ha scritto la sua intuizione a singhiozzo e alla fine di febbraio annunciato tramite Twitter che aveva pubblicato a Carta di 44 pagine su arXiv server di prestampa. Ha iniziato con un disclaimer: questo documento non descrive un sistema funzionante, ha scritto. Piuttosto, presenta un sistema immaginario. L'ha chiamato GLOM. Il termine deriva da agglomerato e l'espressione glom insieme.

Hinton pensa a GLOM come a un modo per modellare la percezione umana in una macchina: offre un nuovo modo di elaborare e rappresentare le informazioni visive in una rete neurale. A livello tecnico, le viscere di esso implicano un gloming insieme di vettori simili. I vettori sono fondamentali per le reti neurali: un vettore è una matrice di numeri che codifica le informazioni. L'esempio più semplice è il xyz coordinate di un punto: tre numeri che indicano dove si trova il punto nello spazio tridimensionale. Un vettore a sei dimensioni contiene altre tre informazioni, forse i valori rosso-verde-blu per il colore del punto. In una rete neurale, i vettori in centinaia o migliaia di dimensioni rappresentano intere immagini o parole. E trattando dimensioni ancora più elevate, Hinton crede che ciò che accade nel nostro cervello coinvolga grandi vettori di attività neurale.

Per analogia, Hinton paragona il suo raggruppamento di vettori simili alla dinamica di una camera d'eco, l'amplificazione di credenze simili. Una camera dell'eco è un completo disastro per la politica e la società, ma per le reti neurali è una grande cosa, dice Hinton. La nozione di camere d'eco mappate su reti neurali chiama isole di vettori identici, o più colloquialmente isole di accordo: quando i vettori sono d'accordo sulla natura delle loro informazioni, puntano nella stessa direzione.

Se le reti neurali fossero più simili alle persone, almeno possono andare storte allo stesso modo delle persone, e quindi avremo un'idea di ciò che potrebbe confonderle.

Geoffrey Hinton

Nello spirito, GLOM raggiunge anche l'obiettivo sfuggente di modellare l'intuizione: Hinton pensa che l'intuizione sia cruciale per la percezione. Definisce l'intuizione come la nostra capacità di fare analogie senza sforzo. Dall'infanzia attraverso il corso della nostra vita, diamo un senso al mondo usando il ragionamento analogico, mappando le somiglianze da un oggetto, un'idea o un concetto a un altro o, come dice Hinton, da un grande vettore all'altro. Le somiglianze dei grandi vettori spiegano come le reti neurali eseguano un ragionamento analogico intuitivo, dice. Più in generale, l'intuizione cattura quell'ineffabile modo in cui un cervello umano genera intuizione. Lo stesso Hinton lavora in modo molto intuitivo: scientificamente, è guidato dall'intuizione e dallo strumento per creare analogie. E la sua teoria su come funziona il cervello è tutta incentrata sull'intuizione. Sono molto coerente, dice.

Hinton spera che GLOM possa essere una delle numerose scoperte che secondo lui sono necessarie prima che l'IA sia in grado di risolvere i problemi in modo veramente agile, il tipo di pensiero simile a quello umano che consentirebbe a un sistema di dare un senso a cose mai incontrate prima; attingere a somiglianze da esperienze passate, giocare con le idee, generalizzare, estrapolare, capire. Se le reti neurali fossero più simili alle persone, dice, almeno possono andare storte allo stesso modo delle persone, e quindi avremo un'idea di ciò che potrebbe confonderle.

Per il momento, tuttavia, GLOM stesso è solo un'intuizione: è un vaporware, afferma Hinton. E riconosce che, come acronimo, corrisponde perfettamente a Geoff's Last Original Model. È, come minimo, il suo ultimo.

Fuori dagli schemi

La devozione di Hinton alle reti neurali artificiali (un'invenzione della metà del XX secolo) risale ai primi anni '70. Nel 1986 aveva fatto notevoli progressi: mentre inizialmente le reti comprendevano solo un paio di strati di neuroni, input e output, Hinton e collaboratori hanno escogitato una tecnica per una rete più profonda e multistrato. Ma ci sono voluti 26 anni prima che la potenza di calcolo e la capacità dei dati raggiungessero e sfruttassero la profonda architettura.

Nel 2012, Hinton ha guadagnato fama e ricchezza grazie a una svolta nel deep learning. Con due studenti, ha implementato una rete neurale multistrato che è stata addestrata a riconoscere oggetti in enormi set di dati di immagini. La rete neurale ha imparato a migliorare in modo iterativo nella classificazione e nell'identificazione di vari oggetti, ad esempio un acaro, un fungo, uno scooter, un gatto del Madagascar. E si è comportato con una precisione inaspettatamente spettacolare.

Storia correlata

L'IA sta cavalcando un pony con un trucco? Quasi tutti i progressi dell'IA di cui hai sentito parlare dipendono da una svolta vecchia di tre decenni. Tenere il passo con i progressi richiederà di affrontare i gravi limiti dell'IA.

Il deep learning ha dato il via all'ultima rivoluzione dell'IA, trasformando la visione artificiale e il campo nel suo insieme. Hinton crede il deep learning dovrebbe essere quasi tutto ciò che serve per replicare pienamente l'intelligenza umana.

Ma nonostante i rapidi progressi, ci sono ancora grandi sfide. Esponi una rete neurale a un set di dati sconosciuto o a un ambiente estraneo e si rivela fragile e inflessibile. Le auto a guida autonoma e i generatori di linguaggi per scrivere saggi impressionano, ma le cose possono andare storte. I sistemi visivi dell'IA possono essere facilmente confusi: una tazza da caffè riconosciuta di lato sarebbe un'incognita dall'alto se il sistema non fosse stato addestrato su quella vista; e con la manipolazione di pochi pixel, un panda può essere scambiato per uno struzzo o addirittura per uno scuolabus.

GLOM affronta due dei problemi più difficili per i sistemi di percezione visiva: comprendere un'intera scena in termini di oggetti e loro parti naturali; e riconoscere gli oggetti quando visti da un nuovo punto di vista (l'attenzione di GLOM è sulla visione, ma Hinton si aspetta che l'idea possa essere applicata anche al linguaggio.)

Un oggetto come il viso di Hinton, ad esempio, è costituito dai suoi occhi vivaci anche se stanchi di cane (troppe persone che fanno domande; troppo poco sonno), bocca e orecchie e un naso prominente, il tutto sormontato da un non troppo -disordine disordinato per lo più grigio. E dato il suo naso, è facilmente riconoscibile anche a prima vista nella vista di profilo.

Entrambi questi fattori - la relazione parte-tutto e il punto di vista - sono, dal punto di vista di Hinton, cruciali per il modo in cui gli esseri umani vedono. Se GLOM funzionerà mai, dice, farà la percezione in un modo molto più simile a quello umano delle attuali reti neurali.

Raggruppare le parti in interi, tuttavia, può essere un problema difficile per i computer, poiché le parti a volte sono ambigue. Un cerchio potrebbe essere un occhio, una ciambella o una ruota. Come spiega Hinton, la prima generazione di sistemi di visione con intelligenza artificiale ha cercato di riconoscere gli oggetti basandosi principalmente sulla geometria della relazione parte-tutto: l'orientamento spaziale tra le parti e tra le parti e il tutto. La seconda generazione si basava invece principalmente sul deep learning, consentendo alla rete neurale di allenarsi su grandi quantità di dati. Con GLOM, Hinton combina gli aspetti migliori di entrambi gli approcci.

C'è una certa umiltà intellettuale che mi piace, dice Gary Marcus, fondatore e CEO di Robust.AI e noto critico della forte dipendenza dal deep learning. Marcus ammira la volontà di Hinton di sfidare qualcosa che gli ha portato la fama, ammettendo che non sta funzionando. È coraggioso, dice. Ed è un ottimo correttivo dire: 'Sto cercando di pensare fuori dagli schemi'.

L'architettura GLOM

In creazione GLOM , Hinton ha cercato di modellare alcune delle scorciatoie mentali - strategie intuitive o euristiche - che le persone usano per dare un senso al mondo. GLOM, e in effetti gran parte del lavoro di Geoff, riguarda l'esame dell'euristica che le persone sembrano avere, la costruzione di reti neurali che potrebbero esse stesse avere quelle euristiche e quindi dimostrare che di conseguenza le reti hanno una visione migliore, afferma Nick Frosst, un computer scienziato presso una startup linguistica a Toronto che ha lavorato con Hinton presso Google Brain.

Con la percezione visiva, una strategia consiste nell'analizzare parti di un oggetto, come i diversi tratti del viso, e quindi comprendere l'intero. Se vedi un certo naso, potresti riconoscerlo come parte della faccia di Hinton; è una gerarchia in parte. Per costruire un sistema di visione migliore, dice Hinton, ho una forte intuizione che dobbiamo usare gerarchie parte-tutto. I cervelli umani comprendono questa composizione parte-tutto creando quello che viene chiamato un albero di analisi, un diagramma ramificato che dimostra la relazione gerarchica tra il tutto, le sue parti e le sue sottoparti. La faccia stessa è in cima all'albero e gli occhi, il naso, le orecchie e la bocca che compongono i componenti formano i rami sottostanti.

Uno degli obiettivi principali di Hinton con GLOM è replicare l'albero di analisi in una rete neurale: questo lo distinguerebbe dalle reti neurali precedenti. Per motivi tecnici, è difficile da fare. È difficile perché ogni singola immagine verrebbe analizzata da una persona in un unico albero di analisi, quindi vorremmo che una rete neurale facesse lo stesso, afferma Frostt. È difficile ottenere qualcosa con un'architettura statica, una rete neurale, per assumere una nuova struttura, un albero di analisi, per ogni nuova immagine che vede. Hinton ha fatto vari tentativi. GLOM è un'importante revisione del suo precedente tentativo nel 2017, combinato con altri progressi correlati nel campo.

Sono parte di un naso!

GOMMA vettore

MS TECH | EVIATAR BACH VIA WIKIMEDIA

Un modo generale di pensare all'architettura GLOM è il seguente: l'immagine di interesse (ad esempio, una fotografia del volto di Hinton) è divisa in una griglia. Ogni regione della griglia è una posizione sull'immagine: una posizione potrebbe contenere l'iride di un occhio, mentre un'altra potrebbe contenere la punta del naso. Per ogni posizione nella rete ci sono circa cinque livelli, o livelli. E livello dopo livello, il sistema fa una previsione, con un vettore che rappresenta il contenuto o le informazioni. A un livello vicino al fondo, il vettore che rappresenta la posizione della punta del naso potrebbe prevedere: sono parte di un naso! E al livello successivo, nel costruire una rappresentazione più coerente di ciò che sta vedendo, il vettore potrebbe prevedere: faccio parte di una faccia vista ad angolo laterale!

Ma poi la domanda è: i vettori vicini allo stesso livello sono d'accordo? Quando sono d'accordo, i vettori puntano nella stessa direzione, verso la stessa conclusione: Sì, apparteniamo entrambi allo stesso naso. O più in alto nell'albero di analisi. Sì, apparteniamo entrambi alla stessa faccia.

Alla ricerca del consenso sulla natura di un oggetto, su quale sia esattamente l'oggetto, in definitiva, i vettori di GLOM in modo iterativo, posizione per posizione e strato su strato, in media con i vettori vicini accanto, così come i vettori previsti dai livelli superiori e inferiori .

Tuttavia, la rete, volenti o nolenti, non ha una media con qualsiasi cosa nelle vicinanze, dice Hinton. Calcola la media in modo selettivo, con previsioni vicine che mostrano somiglianze. Questo è abbastanza noto in America, si chiama camera dell'eco, dice. Quello che fai è accettare solo opinioni da persone che sono già d'accordo con te; e poi quello che succede è che ottieni una camera dell'eco in cui un intero gruppo di persone ha esattamente la stessa opinione. GLOM in realtà lo usa in modo costruttivo. Il fenomeno analogo nel sistema di Hinton sono quelle isole di accordo.

Geoff è un pensatore molto insolito...'

Sue Becker

Immagina un gruppo di persone in una stanza, che gridano lievi variazioni della stessa idea, dice Frost, o immagina quelle persone come vettori che puntano in lievi variazioni nella stessa direzione. Dopo un po' sarebbero convergenti su un'idea e l'avrebbero sentita tutti più forte, perché l'avevano confermata dalle altre persone intorno a loro. È così che i vettori di GLOM rafforzano e amplificano le loro previsioni collettive su un'immagine.

GLOM usa queste isole di vettori concordanti per realizzare il trucco di rappresentare un albero di analisi in una rete neurale. Considerando che alcune reti neurali recenti utilizzano l'accordo tra i vettori per Attivazione , GLOM usa l'accordo per rappresentazione —costruire rappresentazioni delle cose all'interno della rete. Ad esempio, quando diversi vettori concordano sul fatto che rappresentano tutti parte del naso, il loro piccolo gruppo di accordi rappresenta collettivamente il naso nell'albero di analisi della rete per la faccia. Un altro piccolo gruppo di vettori concordanti potrebbe rappresentare la bocca nell'albero di analisi; e il grande grappolo in cima all'albero rappresenterebbe la conclusione emergente che l'immagine nel suo insieme è il volto di Hinton. Il modo in cui l'albero di analisi è rappresentato qui, spiega Hinton, è che a livello di oggetto hai una grande isola; le parti dell'oggetto sono isole minori; le sottoparti sono isole ancora più piccole e così via.

Figura 2 dal documento GLOM di Hinton. Le isole di vettori identici (frecce dello stesso colore) ai vari livelli rappresentano un albero di analisi.

GEOFFREY SUGGERIMENTO

Secondo Yoshua Bengio, un amico e collaboratore di lunga data di Hinton, uno scienziato informatico dell'Università di Montreal, se GLOM riuscisse a risolvere la sfida ingegneristica di rappresentare un albero di analisi in una rete neurale, sarebbe un'impresa: sarebbe importante per far funzionare correttamente le reti neurali. Geoff ha prodotto molte volte nella sua carriera intuizioni incredibilmente potenti, molte delle quali si sono rivelate giuste, dice Bengio. Quindi, presto attenzione a loro, specialmente quando si sente fortemente per loro come fa per GLOM.

La forza della convinzione di Hinton è radicata non solo nell'analogia della camera d'eco, ma anche in analogie matematiche e biologiche che hanno ispirato e giustificato alcune delle decisioni di progettazione nella nuova ingegneria di GLOM.

Geoff è un pensatore molto insolito in quanto è in grado di attingere a concetti matematici complessi e integrarli con vincoli biologici per sviluppare teorie, afferma Sue Becker, ex studentessa di Hinton, ora neuroscienziata cognitiva computazionale alla McMaster University. È molto meno probabile che i ricercatori che si concentrano più strettamente sulla teoria matematica o sulla neurobiologia risolvano il puzzle infinitamente avvincente di come sia le macchine che gli esseri umani potrebbero imparare e pensare.

Trasformare la filosofia in ingegneria

Finora, la nuova idea di Hinton è stata ben accolta, specialmente in alcune delle più grandi camere d'eco del mondo. Su Twitter ho ricevuto molti Mi piace, dice. E un Youtube tutorial rivendicava il termine MeGLOMania.

Hinton è il primo ad ammettere che al momento GLOM è poco più che una riflessione filosofica (ha trascorso un anno come studente di filosofia prima di passare alla psicologia sperimentale). Se un'idea suona bene in filosofia, è buona, dice. Come potresti mai avere un'idea filosofica che suona come spazzatura, ma che in realtà si rivela vera? Non passerebbe per un'idea filosofica. La scienza, in confronto, è piena di cose che suonano come spazzatura completa ma che si rivelano funzionare molto bene, ad esempio le reti neurali, dice.

GLOM è progettato per suonare filosoficamente plausibile. Ma funzionerà?

Chris Williams, professore di machine learning presso la School of Informatics dell'Università di Edimburgo, si aspetta che GLOM possa generare grandi innovazioni. Tuttavia, dice, la cosa che distingue l'IA dalla filosofia è che possiamo usare i computer per testare tali teorie. È possibile che un difetto nell'idea possa essere esposto, forse anche riparato, da tali esperimenti, dice. Al momento non credo che abbiamo prove sufficienti per valutare il reale significato dell'idea, anche se credo che abbia molte promesse.

Gli input del modello di test GLOM sono dieci ellissi che formano una pecora o una faccia.

LAURA CULO

Alcuni dei colleghi di Hinton presso Google Research di Toronto sono nelle primissime fasi di indagine sperimentale su GLOM. Laura Culp, un'ingegnere del software che implementa nuove architetture di reti neurali, sta utilizzando una simulazione al computer per verificare se GLOM può produrre le isole di accordo di Hinton nella comprensione di parti e insiemi di un oggetto, anche quando le parti di input sono ambigue. Negli esperimenti, le parti sono 10 ellissi, ovali di varie dimensioni, che possono essere disposte a formare una faccia o una pecora.

Con input casuali di un'ellisse o di un'altra, il modello dovrebbe essere in grado di fare previsioni, dice Culp, e affrontare l'incertezza se l'ellisse fa parte o meno di una faccia o di una pecora e se è la zampa di una pecora , o la testa di una pecora. Di fronte a qualsiasi perturbazione, il modello dovrebbe anche essere in grado di correggersi. Un passo successivo è stabilire una linea di base, che indichi se una rete neurale di apprendimento profondo standard sarebbe confusa da un tale compito. Al momento, GLOM è altamente supervisionato: Culp crea ed etichetta i dati, sollecitando e spingendo il modello a trovare previsioni corrette e avere successo nel tempo. (La versione senza supervisione si chiama GLUM: è uno scherzo, dice Hinton.)

In questo stato preliminare, è troppo presto per trarre grandi conclusioni. Culp aspetta altri numeri. Hinton è già impressionato comunque. Una versione semplice di GLOM può guardare 10 ellissi e vedere una faccia e una pecora in base alle relazioni spaziali tra le ellissi, dice. Questo è complicato, perché una singola ellisse non comunica nulla sul tipo di oggetto a cui appartiene o quale parte di quell'oggetto è.

E nel complesso, Hinton è felice del feedback. Volevo solo pubblicarlo per la comunità, così chiunque ami può provarlo, dice. Oppure prova una sottocombinazione di queste idee. E poi questo trasformerà la filosofia in scienza.

nascondere