211service.com
Le reti neurali stanno imparando cosa ricordare e cosa dimenticare
Il deep learning sta cambiando il modo in cui utilizziamo e pensiamo alle macchine. Le attuali incarnazioni sono migliori degli umani in tutti i tipi di compiti, dagli scacchi e Go al riconoscimento facciale e al riconoscimento degli oggetti.
Ma molti aspetti dell'apprendimento automatico sono molto indietro rispetto alle prestazioni umane. In particolare, gli esseri umani hanno la straordinaria capacità di aggiornare costantemente i propri ricordi con le conoscenze più importanti sovrascrivendo informazioni che non sono più utili.
Questa è un'abilità importante. Il mondo fornisce una fonte inesauribile di dati, molti dei quali sono irrilevanti per il complicato affare della sopravvivenza e la maggior parte dei quali è impossibile da archiviare in una memoria limitata. Quindi gli esseri umani e le altre creature hanno sviluppato modi per conservare abilità importanti dimenticando quelle irrilevanti.
Le reti neurali ora vengono insegnate a dimenticare.
Lo stesso non si può dire delle macchine. Qualsiasi abilità appresa viene rapidamente sovrascritta, indipendentemente da quanto sia importante. Al momento non esiste un meccanismo affidabile che possano utilizzare per dare priorità a queste abilità, decidendo cosa ricordare e cosa dimenticare.
Oggi le cose sembrano destinate a cambiare grazie al lavoro di Rahaf Aljundi e ai suoi amici dell'Università di Leuven in Belgio e di Facebook AI Research. Questi ragazzi hanno dimostrato che l'approccio utilizzato dai sistemi biologici per imparare e dimenticare può funzionare anche con le reti neurali artificiali.
La chiave è un processo noto come apprendimento hebbiano, proposto per la prima volta negli anni '40 dallo psicologo canadese Donald Hebb per spiegare il modo in cui i cervelli apprendono attraverso la plasticità sinaptica. La teoria di Hebb può essere riassunta come le cellule che sparano insieme si collegano insieme.
In altre parole, le connessioni tra i neuroni si rafforzano se si attivano insieme, e queste connessioni sono quindi più difficili da rompere. Questo è il modo in cui impariamo: l'attivazione sincronizzata ripetuta dei neuroni rende le connessioni tra di loro più forti e più difficili da sovrascrivere.
Quindi Aljundi e colleghi hanno sviluppato un modo in cui le reti neurali artificiali si comportano allo stesso modo. Lo fanno misurando gli output di una rete neurale e monitorando quanto sono sensibili ai cambiamenti nelle connessioni all'interno della rete.
Questo dà loro un'idea di quali parametri di rete sono più importanti e dovrebbero quindi essere preservati. Quando si impara un nuovo compito, le modifiche a parametri importanti sono penalizzate, afferma il team. Dicono che la rete risultante abbia sinapsi consapevoli della memoria.
Hanno messo alla prova questa idea con una serie di test in cui una rete neurale addestrata a fare una cosa riceve quindi dati che la addestrano a fare qualcos'altro. Ad esempio, una rete addestrata a riconoscere i fiori viene quindi mostrata agli uccelli. I ricercatori poi mostrano che fiorisce di nuovo per vedere quanto di questa abilità viene preservato.
Le reti neurali con sinapsi consapevoli della memoria risultano avere prestazioni migliori in questi test rispetto ad altre reti. In altre parole, conservano maggiormente l'abilità originaria rispetto alle reti prive di tale capacità, anche se i risultati lasciano sicuramente margini di miglioramento
Il punto chiave, tuttavia, è che il team ha trovato un modo per le reti neurali di utilizzare l'apprendimento hebbiano. Mostriamo che una versione locale del nostro metodo è un'applicazione diretta della regola di Hebb nell'identificare le connessioni importanti tra i neuroni, affermano Aljundi e co.
Ciò ha implicazioni per il futuro dell'apprendimento automatico. Se questi scienziati possono migliorare la loro versione dell'apprendimento hebbiano, dovrebbero rendere le macchine più flessibili nel loro apprendimento. E ciò consentirà loro di adattarsi meglio al mondo reale.
Rif: arxiv.org/abs/1711.09601 : Sinapsi consapevoli della memoria: imparare cosa (non) dimenticare