Un algoritmo che impara attraverso le ricompense può mostrare come fa anche il nostro cervello

Vie neurali Wikimedia Commons

Nel 1951, Marvin Minsky, allora studente ad Harvard, prese in prestito osservazioni dal comportamento degli animali per provare a progettare una macchina intelligente. Attingendo alle idee dal lavoro del fisiologo Ivan Pavlov, che notoriamente ha usato i cani per mostrare come gli animali imparano attraverso punizioni e ricompense, Minsky creato un computer che potrebbe imparare continuamente attraverso un rinforzo simile per risolvere un labirinto virtuale.

A quel tempo, i neuroscienziati dovevano ancora capire i meccanismi all'interno del cervello che consentono agli animali di apprendere in questo modo. Ma Minsky era ancora in grado di imitare vagamente il comportamento, facendo avanzare così l'intelligenza artificiale. Diversi decenni dopo, mentre l'apprendimento per rinforzo ha continuato a maturare, a sua volta ha aiutato il campo delle neuroscienze scoprire quei meccanismi, alimentando un circolo virtuoso di avanzamento tra i due campi.

In un documento pubblicato in Nature oggi, DeepMind, la sussidiaria AI di Alphabet, ha utilizzato ancora una volta le lezioni dell'apprendimento per rinforzo per proporre una nuova teoria sui meccanismi di ricompensa all'interno del nostro cervello. L'ipotesi, supportata dai risultati sperimentali iniziali, potrebbe non solo migliorare la nostra comprensione della salute mentale e della motivazione. Potrebbe anche convalidare l'attuale direzione della ricerca sull'intelligenza artificiale verso la costruzione di un'intelligenza generale più simile a quella umana.

Ad alto livello, l'apprendimento per rinforzo segue l'intuizione derivata dai cani di Pavlov: è possibile insegnare a un agente a padroneggiare compiti complessi e nuovi attraverso solo feedback positivi e negativi. Un algoritmo inizia ad apprendere un compito assegnato prevedendo casualmente quale azione potrebbe fargli guadagnare una ricompensa. Quindi intraprende l'azione, osserva la vera ricompensa e regola la sua previsione in base al margine di errore. Nel corso di milioni o addirittura miliardi di prove, gli errori di previsione dell'algoritmo convergono a zero, a quel punto sa esattamente quali azioni intraprendere per massimizzare la sua ricompensa e quindi completare il suo compito.

Si scopre che il sistema di ricompensa del cervello funziona più o meno allo stesso modo, una scoperta fatta negli anni '90, ispirata da algoritmi di apprendimento per rinforzo. Quando un essere umano o un animale sta per compiere un'azione, i suoi neuroni della dopamina fanno una previsione sulla ricompensa attesa. Una volta ricevuta la ricompensa effettiva, emettono una quantità di dopamina che corrisponde all'errore di previsione. Una ricompensa migliore del previsto innesca un forte rilascio di dopamina, mentre una ricompensa peggiore del previsto sopprime la produzione della sostanza chimica. La dopamina, in altre parole, funge da segnale di correzione, dicendo ai neuroni di adattare le loro previsioni fino a quando non convergono alla realtà. Il fenomeno, noto come errore di previsione della ricompensa, funziona in modo molto simile a un algoritmo di apprendimento per rinforzo.

Il nuovo documento di DeepMind si basa sulla stretta connessione tra questi meccanismi di apprendimento naturali e artificiali. Nel 2017, i suoi ricercatori hanno introdotto un algoritmo di apprendimento per rinforzo migliorato che da allora ha sbloccato prestazioni sempre più impressionanti su vari compiti. Ora credono che questo nuovo metodo potrebbe offrire una spiegazione ancora più precisa di come funzionano i neuroni della dopamina nel cervello.

In particolare, l'algoritmo migliorato cambia il modo in cui prevede i premi. Mentre il vecchio approccio stimava i premi come un unico numero, inteso a eguagliare il risultato medio atteso, il nuovo approccio li rappresenta in modo più accurato come distribuzione. (Pensa per un momento a una slot machine: puoi vincere o perdere a seguito di una certa distribuzione. Ma in nessun caso riceverai mai il risultato medio atteso.)

La modifica si presta a una nuova ipotesi: i neuroni della dopamina predicono anche le ricompense nello stesso modo distributivo?

Per testare questa teoria, DeepMind ha collaborato con un gruppo ad Harvard per osservare il comportamento dei neuroni della dopamina nei topi. Hanno assegnato ai topi un compito e li hanno premiati in base al lancio di dadi, misurando gli schemi di attivazione dei loro neuroni dopaminergici. Hanno scoperto che ogni neurone rilascia quantità diverse di dopamina, il che significa che tutti avevano previsto risultati diversi. Mentre alcuni erano troppo ottimisti, prevedendo ricompense più elevate di quelle effettivamente ricevute, altri erano più pessimisti, minimizzando la realtà. Quando i ricercatori hanno tracciato la distribuzione di quelle previsioni, ha seguito da vicino la distribuzione delle ricompense effettive. Questi dati offrono prove convincenti che il cervello utilizza effettivamente le previsioni della ricompensa distributiva per rafforzare il suo algoritmo di apprendimento.

Attraverso la misurazione del comportamento dei neuroni della dopamina nei topi, i ricercatori hanno scoperto che la distribuzione delle previsioni dei neuroni (decodificate) seguiva da vicino la distribuzione delle ricompense effettive (verità di base). Mente Profonda

Questa è una bella estensione della nozione di codifica della dopamina dell'errore di previsione della ricompensa, ha scritto Wolfram Schultz, un pioniere del comportamento dei neuroni della dopamina che non è stato coinvolto nello studio, in una e-mail. È sorprendente come questa semplicissima risposta alla dopamina segua prevedibilmente i modelli intuitivi dei processi di apprendimento biologico di base che ora stanno diventando una componente dell'IA.

Lo studio ha implicazioni sia per l'IA che per le neuroscienze. In primo luogo, convalida l'apprendimento per rinforzo distributivo come un percorso promettente verso capacità di intelligenza artificiale più avanzate. Se il cervello lo sta usando, probabilmente è una buona idea, ha affermato Matt Botvinick, direttore della ricerca sulle neuroscienze di DeepMind e uno degli autori principali del documento, durante una conferenza stampa. Ci dice che questa è una tecnica computazionale che può scalare in situazioni del mondo reale. Si adatterà bene ad altri processi computazionali.

In secondo luogo, potrebbe offrire un importante aggiornamento a una delle teorie canoniche nelle neuroscienze sui sistemi di ricompensa nel cervello, che a sua volta potrebbe migliorare la nostra comprensione di tutto, dalla motivazione alla salute mentale. Cosa potrebbe significare, ad esempio, avere neuroni dopaminergici pessimisti e ottimisti? Se il cervello ascoltasse selettivamente solo l'uno o l'altro, potrebbe portare a squilibri chimici e indurre depressione?

Fondamentalmente, attraverso ulteriori processi di decodifica nel cervello, i risultati fanno luce anche su ciò che crea l'intelligenza umana. Ci offre una nuova prospettiva su ciò che accade nel nostro cervello durante la vita di tutti i giorni, ha detto Botvinick.

nascondere