Il deep learning potrebbe rivelare perché il mondo funziona in quel modo

L'immagine di un domino che cade Getty

Questa settimana, la comunità di ricerca sull'IA si è riunita a New Orleans per il Conferenza internazionale sulle rappresentazioni dell'apprendimento (ICLR, pronunciato eye-clear), una delle sue principali conferenze annuali. Ci sono oltre 3.000 partecipanti e 1.500 invii cartacei, rendendolo uno dei forum più importanti per lo scambio di nuove idee nel campo.

Quest'anno i colloqui e i documenti accettati sono fortemente incentrati sull'affrontare quattro grandi sfide del deep learning: equità, sicurezza, generalizzabilità e causalità. Se hai seguito la copertura di MIT Technology Review, riconoscerai i primi tre. Abbiamo parlato di come gli algoritmi di apprendimento automatico nel loro stato attuale siano distorti, suscettibili agli attacchi del contraddittorio e incredibilmente limitati nella loro capacità di generalizzare i modelli che trovano in un set di dati di addestramento per più applicazioni. Ora la comunità di ricerca è impegnata a cercare di rendere la tecnologia sufficientemente sofisticata da mitigare queste debolezze.

Quello di cui non abbiamo parlato molto è la sfida finale: la causalità. Questo è qualcosa su cui i ricercatori hanno perplesso per un po' di tempo. L'apprendimento automatico è ottimo per trovare correlazioni nei dati, ma può mai capirlo causa ? Un tale risultato sarebbe un'enorme pietra miliare: se gli algoritmi potessero aiutarci a far luce sulle cause e gli effetti di diversi fenomeni in sistemi complessi, approfondirebbero la nostra comprensione del mondo e sbloccherebbero strumenti più potenti per influenzarlo.

Lunedì, in una stanza gremita, l'acclamato ricercatore Léon Bottou, ora all'unità di ricerca sull'intelligenza artificiale di Facebook e alla New York University, ha presentato un nuovo quadro su cui ha lavorato con i collaboratori per come potremmo arrivarci. Ecco il mio riassunto del suo intervento. Puoi anche guardarlo per intero di seguito, a partire dalle 12:00 circa.

Idea n. 1

Immagini di esempio dal set di dati MNIST. Wikipedia

Cominciamo con la prima grande idea di Bottou e del suo team: un nuovo modo di pensare alla causalità. Supponiamo di voler costruire un sistema di visione artificiale che riconosca i numeri scritti a mano. (Questo è un classico problema introduttivo che utilizza il set di dati MNIST ampiamente disponibile illustrato sopra.) Addestreresti una rete neurale su tonnellate di immagini di numeri scritti a mano, ognuno etichettato con il numero che rappresentano, e finirai con un sistema abbastanza decente per riconoscerne di nuovi che non aveva mai visto prima.

Ma supponiamo che il tuo set di dati di allenamento sia leggermente modificato e ciascuno dei numeri scritti a mano abbia anche un colore, rosso o verde, associato ad esso. Sospendi per un momento la tua incredulità e immagina di non sapere se il colore o la forma dei segni è un predittore migliore per la cifra. La pratica standard oggi consiste semplicemente nell'etichettare ogni dato di addestramento con entrambe le funzionalità e inserirlo nella rete neurale affinché sia ​​lei a decidere.

Campioni da un set di dati MNIST colorato. Leon Bottou

Ecco dove le cose si fanno interessanti. Il set di dati MNIST colorato è volutamente fuorviante. Nel mondo reale sappiamo che il colore dei segni è completamente irrilevante, ma in questo particolare set di dati il ​​colore è in effetti un predittore più forte per la cifra rispetto alla sua forma. Quindi la nostra rete neurale impara a usare il colore come predittore primario. Va bene quando poi utilizziamo la rete per riconoscere altri numeri scritti a mano che seguono gli stessi schemi di colorazione. Ma le prestazioni si annullano completamente quando invertiamo i colori dei numeri. (Quando Bottou e i suoi collaboratori hanno eseguito questo esperimento mentale con dati di addestramento reali e una vera rete neurale, hanno ottenuto una precisione di riconoscimento dell'84,3% nel primo scenario e del 10% nel secondo.)

In altre parole, la rete neurale ha trovato quella che Bottou chiama una correlazione spuria, che la rende completamente inutile al di fuori del contesto angusto in cui è stata addestrata. In teoria, se potessi sbarazzarti di tutte le correlazioni spurie in un modello di apprendimento automatico, rimarresti solo con quelle invarianti, quelle che sono vere indipendentemente dal contesto.

L'invarianza a sua volta permetterebbe di comprendere la causalità, spiega Bottou. Se si conoscono le proprietà invarianti di un sistema e si conosce l'intervento eseguito su un sistema, si dovrebbe essere in grado di dedurre la conseguenza di tale intervento. Ad esempio, se sai che la forma di una cifra scritta a mano ne determina sempre il significato, puoi dedurre che modificarne la forma (causa) ne cambierebbe il significato (effetto). Un altro esempio: se sai che tutti gli oggetti sono soggetti alla legge di gravità, puoi dedurre che quando lasci andare una palla (causa), cadrà a terra (effetto).

Ovviamente, questi sono semplici esempi di causa ed effetto basati su proprietà invarianti che già conosciamo, ma pensa a come potremmo applicare questa idea a sistemi molto più complessi che non comprendiamo ancora. E se potessimo trovare le proprietà invarianti dei nostri sistemi economici, ad esempio, in modo da poter comprendere gli effetti dell'implementazione del reddito di base universale? O le proprietà invarianti del sistema climatico terrestre, quindi potremmo valutare l'impatto di vari stratagemmi di geoingegneria?

Idea n. 2

Quindi, come possiamo sbarazzarci di queste correlazioni spurie? Questa è la seconda grande idea della squadra di Bottou. Nell'attuale pratica di apprendimento automatico, l'intuizione predefinita è quella di accumulare quanti più dati diversi e rappresentativi possibile in un unico set di formazione. Ma Bottou dice che questo approccio fa un disservizio. Dati diversi provenienti da contesti diversi, raccolti in momenti diversi, in luoghi diversi o in condizioni sperimentali diverse, dovrebbero essere conservati come insiemi separati anziché mescolati e combinati. Quando sono consolidate, come lo sono ora, importanti informazioni contestuali vanno perse, portando a una probabilità molto più elevata di correlazioni spurie.

Con più set di dati specifici del contesto, l'addestramento di una rete neurale è molto diverso. La rete non riesce più a trovare le correlazioni che valgono solo in un unico set di dati di addestramento diversificato; deve trovare le correlazioni che sono invarianti in tutti i diversi set di dati. E se questi insiemi sono selezionati in modo intelligente da uno spettro completo di contesti, le correlazioni finali dovrebbero anche corrispondere strettamente alle proprietà invarianti della verità fondamentale.

Quindi torniamo al nostro semplice esempio MNIST colorato ancora una volta. Basandosi sulla loro teoria per trovare proprietà invarianti, Bottou e collaboratori hanno ripetuto il loro esperimento originale. Questa volta hanno utilizzato due set di dati MNIST colorati, ciascuno con modelli di colore diversi. Hanno quindi addestrato la loro rete neurale per trovare le correlazioni che erano vere in entrambi i gruppi. Quando hanno testato questo modello migliorato su nuovi numeri con gli stessi modelli di colore invertiti, ha ottenuto una precisione di riconoscimento del 70% per entrambi. I risultati hanno dimostrato che la rete neurale aveva imparato a ignorare il colore ea concentrarsi solo sulle forme dei segni.

Bottou afferma che il lavoro del suo team su queste idee non è terminato e ci vorrà del tempo alla comunità di ricerca per testare le tecniche su problemi più complicati dei numeri colorati. Ma il quadro suggerisce il potenziale dell'apprendimento profondo per aiutarci a capire perché le cose accadono e quindi darci un maggiore controllo sul nostro destino.

nascondere