Un dibattito tra esperti di intelligenza artificiale mostra una battaglia sul futuro della tecnologia

Gary Marcus e Danny Lange Marco: R. Farrell/ITU; Lange: Cody Glenn/Web Summit

Dagli anni '50, l'intelligenza artificiale ha ripetutamente promesso in modo eccessivo e insufficiente. Mentre gli ultimi anni hanno visto incredibili passi avanti grazie al deep learning, l'IA oggi è ancora ristretta: è fragile di fronte agli attacchi, non può generalizzare per adattarsi agli ambienti mutevoli ed è piena di pregiudizi. Tutte queste sfide rendono difficile fidarsi della tecnologia e limitano il suo potenziale a beneficio della società.

Il 26 marzo all'evento annuale EmTech Digital del MIT Technology Review, due figure di spicco dell'IA sono salite sul palco virtuale per discutere di come il campo potrebbe superare questi problemi.

Gary Marcus, professore emerito alla NYU e fondatore e CEO di Robust.AI, è un noto critico del deep learning. Nel suo libro Riavvio dell'IA , pubblicato lo scorso anno, ha affermato che le carenze dell'IA sono inerenti alla tecnica. I ricercatori devono quindi guardare oltre il deep learning, sostiene, e combinarlo con sistemi di intelligenza artificiale classici o simbolici che codificano la conoscenza e sono in grado di ragionare.

Danny Lange, vicepresidente dell'intelligenza artificiale e dell'apprendimento automatico presso Unity, siede esattamente nel campo del deep learning. Ha costruito la sua carriera sulla promessa e sul potenziale della tecnica, essendo stato responsabile del machine learning presso Uber, direttore generale di Amazon Machine Learning e product lead presso Microsoft incentrato sull'apprendimento automatico su larga scala. In Unity, ora aiuta laboratori come DeepMind e OpenAI a costruire ambienti di formazione virtuali che insegnano ai loro algoritmi il senso del mondo.

Durante l'evento, ogni relatore ha tenuto una breve presentazione e poi si è seduto per una tavola rotonda. I disaccordi che hanno espresso rispecchiano molti degli scontri all'interno del campo, evidenziando quanto potentemente la tecnologia sia stata plasmata da una persistente battaglia di idee e quanta poca certezza ci sia su dove andrà dopo.

Di seguito, la loro tavola rotonda è stata condensata e leggermente modificata per chiarezza.

Gary, attingi alla tua esperienza in neuroscienze e psicologia per capire cosa manca attualmente nell'IA. Che cos'è dell'IA classica che pensi lo renda il sistema giusto da combinare con il deep learning?

Gary Marco: La prima cosa che dirò è che potremmo aver bisogno di ibridi più complicati del semplice deep learning più l'IA classica. Abbiamo bisogno di meno quello. Ma potrebbero esserci un sacco di cose che non abbiamo ancora nemmeno sognato. Dobbiamo essere di mentalità aperta.

Perché aggiungere l'IA classica al mix? Bene, facciamo ogni tipo di ragionamento basato sulla nostra conoscenza nel mondo. Il deep learning semplicemente non lo rappresenta. Non c'è modo in questi sistemi di rappresentare cos'è una palla o cos'è una bottiglia e cosa queste cose si fanno l'un l'altro. Quindi i risultati sembrano grandiosi, ma in genere non sono molto generalizzabili.

L'IA classica: questa è la sua timoneria. Può, ad esempio, analizzare una frase nella sua rappresentazione semantica o avere conoscenza di ciò che sta accadendo nel mondo e quindi fare inferenze al riguardo. Ha i suoi problemi: di solito non ha abbastanza copertura, perché troppa è scritta a mano e così via. Ma almeno in linea di principio, è l'unico modo che conosciamo per creare sistemi in grado di fare cose come l'inferenza logica e l'inferenza induttiva sulla conoscenza astratta. Non significa ancora che sia assolutamente giusto, ma è di gran lunga il migliore che abbiamo.

E poi ci sono molte prove psicologiche che le persone possono fare un certo livello di rappresentazione simbolica. Nella mia vita precedente come persona di sviluppo cognitivo, ho fatto esperimenti con bambini di sette mesi e ho mostrato che quei bambini potevano generalizzare la conoscenza simbolica. Quindi, se un bambino di sette mesi può farlo, allora perché ci teniamo le mani dietro la schiena cercando di costruire l'IA senza i meccanismi che hanno i bambini?

Hai visto progetti in cui hanno combinato con successo il deep learning e l'IA simbolica in modi promettenti?

GM: In un articolo ho scritto chiamato Il prossimo decennio dell'IA , ho elencato circa 20 diversi progetti recenti che cercano di mettere insieme modelli ibridi che hanno un apprendimento profondo e una conoscenza simbolica. Un esempio che tutti conoscono è la ricerca su Google. Quando digiti una query di ricerca, c'è un'intelligenza artificiale classica che sta cercando di disambiguare le parole. Sta cercando di capire quando parli di Parigi, stai parlando di Paris Hilton, Parigi, Texas o Parigi, Francia, utilizzando il grafico della conoscenza di Google. E poi usa il deep learning per fare altre cose, ad esempio per trovare sinonimi usando il modello BERT . Ovviamente, la ricerca su Google non è l'IA che speriamo di ottenere, ma è una prova piuttosto solida che questo non è un sogno impossibile.

Danny, sei d'accordo sul fatto che dovremmo guardare questi modelli ibridi?

Danny Lange: No, non sono d'accordo. Il problema che ho con l'IA simbolica è il suo tentativo di imitare il cervello umano in un senso molto profondo. Mi ricorda un po', sai, che nel 18° secolo se volevi un trasporto più veloce, avresti lavorato alla costruzione di un cavallo meccanico piuttosto che inventare il motore a combustione. Quindi sono molto scettico sul tentativo di risolvere l'IA cercando di imitare il cervello umano.

Il deep learning non è necessariamente un proiettile d'argento, ma se gli fornisci abbastanza dati e hai la giusta architettura di rete neurale, è in grado di apprendere astrazioni che noi umani non siamo in grado di interpretare ma ciò rende il sistema molto efficiente nel risolvere un'ampia gamma di compiti.

Sembra che fondamentalmente entrambi siate in disaccordo su quale sia l'obiettivo dell'IA.

GM: Penso che ci sia un'ironia. Quando ho avuto un dibattito con Yoshua Bengio a dicembre, Bengio ha detto che l'unico impegno del deep learning era che fosse basato sulla neurologia. Quindi ho sentito entrambi gli estremi opposti del deep learning. È un po' strano e non credo che dovremmo prendere sul serio queste argomentazioni.

Dovremmo invece dire: i simboli possono aiutarci? E la risposta è, in modo schiacciante, sì. Quasi tutto il software del mondo è costruito su simboli. E poi devi dire, empiricamente, le cose di deep learning fanno quello che vogliamo che faccia? E il problema finora è che è stato senza modello. Vicarious [una startup di robotica industriale basata sull'intelligenza artificiale] aveva a grande dimostrazione di un sistema di apprendimento di giochi Atari che DeepMind ha reso molto popolare, in cui ha imparato a giocare a Breakout a un livello sovrumano. Ma poi Vicarious ha spostato la paletta di alcuni pixel e il tutto è andato in pezzi, perché il livello di apprendimento era troppo basso. Non aveva il concetto di una pagaia, una palla, un set di mattoni. Un algoritmo simbolico per Breakout sarebbe molto facilmente in grado di compensare queste cose.

Il motivo per guardare gli esseri umani è perché ci sono alcune cose che gli esseri umani fanno molto meglio dei sistemi di apprendimento profondo. Ciò non significa che gli esseri umani alla fine saranno il modello giusto. Vogliamo sistemi che abbiano alcune proprietà dei computer e alcune proprietà che sono state prese in prestito dalle persone. Non vogliamo che i nostri sistemi di intelligenza artificiale abbiano una cattiva memoria solo perché le persone lo fanno. Ma poiché le persone sono l'unico modello di un sistema in grado di sviluppare una profonda comprensione di qualcosa, letteralmente l'unico modello che abbiamo, dobbiamo prendere sul serio quel modello.

DL: Sì, quindi l'esempio che i linguaggi di programmazione del mondo sono basati su simboli, è vero perché sono progettati per consentire agli esseri umani di implementare le loro idee e pensieri.

Il deep learning non è una replica del cervello umano. Forse puoi dire che è ispirato al mondo neurale, ma è un pezzo di software. Non siamo ancora andati a fondo con il deep learning. Finora abbiamo avuto una quantità limitata di dati di allenamento. Abbiamo avuto strutture limitate con potenza di calcolo limitata. Ma il punto chiave è che il deep learning apprende il concetto, ne apprende le caratteristiche. Non è una cosa progettata dall'uomo. Penso che la grande differenza tra l'approccio di Gary e il mio approccio sia se gli ingegneri umani danno intelligenza al sistema o se il sistema apprende l'intelligenza stessa.

Danny, hai detto che non abbiamo davvero visto il potenziale del deep learning a causa delle limitazioni nei dati e nel calcolo. Non dovremmo sviluppare nuove tecniche, dato che il deep learning è così inefficiente? Abbiamo dovuto aumentare drasticamente il calcolo per sbloccare nuove capacità di apprendimento profondo.

DL: Uno dei problemi con il deep learning è che finora si è davvero basato su una sorta di approccio classico: si genera un grande set di dati di allenamento e poi lo si alimenta. Una cosa che potrebbe davvero migliorare il deep learning è avere un processo di apprendimento in cui la rete viene addestrata per ottimizzare i dati di formazione. Non devi semplicemente inserire una quantità sbalorditiva di dati per migliorare il processo di apprendimento. Puoi personalizzare costantemente i tuoi dati di allenamento per indirizzare un'area specifica.

Gary, indichi le vulnerabilità del deep learning a pregiudizio e a attacchi contraddittori . Danny, hai detto che i dati sintetici sono una soluzione a questo perché non ci sono pregiudizi e puoi eseguire milioni di simulazioni che presumibilmente eliminano le vulnerabilità del contraddittorio. Quali sono le tue risposte a questo?

GM: I dati da soli non sono ancora una soluzione. I dati sintetici non aiuteranno con cose come pregiudizi nei prestiti o pregiudizi nei colloqui di lavoro. Il vero problema è che questi sistemi hanno la tendenza a perpetuare pregiudizi che esistevano per ragioni storiche. Non è ovvio che i dati sintetici siano la soluzione, al contrario di costruire sistemi sufficientemente sofisticati da comprendere i pregiudizi culturali che stiamo cercando di sostituire.

Gli attacchi avversari sono un tipo diverso di cose. I dati potrebbero aiutare con alcuni di essi, ma finora non abbiamo davvero eliminato i molti diversi tipi di attacchi contraddittori. Ti ho mostrato la palla da baseball con la schiuma sopra descritta come espresso. Se qualcuno pensa in anticipo di fare palle da baseball con l'espresso in simulazione ed etichettarle con cura, bene. Ci saranno sempre dei casi a cui nessuno ha pensato. Un sistema basato esclusivamente sui dati continuerà a essere vulnerabile.

DL: I dati del mondo reale sono molto distorti, qualunque cosa tu faccia. Raccogli i dati in un determinato ambiente, diciamo per i veicoli a guida autonoma, e hai una rappresentazione forse del 90% di adulti e del 10% di bambini nelle strade. Questa è la distribuzione normale. Ma un sistema di apprendimento automatico deve allenarsi su un numero pari di adulti e bambini per evitare di colpire in sicurezza nessuno dei due. Quindi con i dati sintetici sei praticamente in grado di bilanciare ed evitare il pregiudizio se stai attento. Ciò non significa che non puoi creare nuovi pregiudizi. Devi stare attento a questo. Certamente risolvi i problemi di privacy, perché non ci sono veri esseri umani o bambini veri in nessuno dei tuoi dati di allenamento.

Per quanto riguarda gli esempi contraddittori, il problema con molti di essi è che vengono fondamentalmente sviluppati contro modelli di visione artificiale deboli, modelli che sono stati addestrati su 10 o 20 milioni di immagini, ad esempio, da ImageNet. Non sono sufficienti dati per generalizzare effettivamente un modello. Abbiamo bisogno di grandi quantità di set di dati con quantità incredibili di randomizzazione del dominio per generalizzare questi modelli di visione artificiale in modo che non si facciano ingannare.

Qual è la cosa di cui sei più entusiasta per il futuro dell'IA?

GM: C'è stato un vero movimento verso i modelli ibridi nell'ultimo anno. Le persone stanno esplorando cose nuove che non avevano prima, ed è eccitante.

DL: Penso che siano davvero sistemi multi-modello, sistemi che sono stati composti da molti modelli diversi per la percezione e il comportamento insieme per risolvere compiti complessi reali.

nascondere