Gli algoritmi di lettura della mente ricostruiscono ciò che stai vedendo utilizzando i dati di scansione cerebrale

Un confronto tra le tecniche di ricostruzione dell'immagine cerebrale. Le immagini originali sono mostrate nella riga superiore, mentre i risultati del nuovo modello generativo profondo multiview sono mostrati nella riga inferiore.

Uno degli obiettivi più interessanti delle neuroscienze è ricostruire le immagini percepite analizzando le scansioni cerebrali. L'idea è di capire cosa stanno guardando le persone monitorando l'attività nella loro corteccia visiva.

La difficoltà, ovviamente, è trovare modi per elaborare in modo efficiente i dati dalle scansioni di risonanza magnetica funzionale (fMRI). Il compito è mappare l'attività nei voxel tridimensionali all'interno del cervello ai pixel bidimensionali in un'immagine.

Che risulta essere difficile. Le scansioni fMRI sono notoriamente rumorose ed è noto che l'attività in un voxel è influenzata dall'attività in altri voxel. Questo tipo di correlazione è computazionalmente costoso da gestire; in effetti, la maggior parte degli approcci semplicemente lo ignora. E ciò riduce significativamente la qualità delle ricostruzioni di immagini che producono.

Quindi un obiettivo importante è trovare modi migliori per sgranocchiare i dati dalle scansioni fMRI e quindi produrre ricostruzioni di immagini cerebrali più accurate.

Oggi, Changde Du del Centro di ricerca per l'intelligenza ispirata dal cervello a Pechino, in Cina, e un paio di amici, affermano di aver sviluppato proprio una tecnica del genere. Il loro trucco consiste nell'elaborare i dati utilizzando tecniche di apprendimento profondo che gestiscono le correlazioni non lineari tra i voxel in modo più efficiente. Il risultato è un modo molto migliore per ricostruire il modo in cui un cervello percepisce le immagini.

Changde e colleghi iniziano con diversi set di dati di scansioni fMRI della corteccia visiva di un soggetto umano che osserva un'immagine semplice, ad esempio una singola cifra o una singola lettera. Ciascun set di dati è costituito dalle scansioni e dall'immagine originale.

Il compito è trovare un modo per utilizzare le scansioni fMRI per riprodurre l'immagine percepita. In totale, il team ha accesso a oltre 1.800 scansioni fMRI e immagini originali.

Lo trattano come un semplice compito di apprendimento profondo. Usano il 90 percento dei dati per addestrare la rete a comprendere la correlazione tra la scansione cerebrale e l'immagine originale.

Quindi testano la rete sui dati rimanenti alimentandola con le scansioni e chiedendole di ricostruire le immagini originali.

Il grande vantaggio di questo approccio è che la rete impara quali voxel utilizzare per ricostruire l'immagine. Ciò evita la necessità di elaborare i dati da tutti loro.

Impara anche come sono correlati i dati di questi voxel. Questo è importante perché se le correlazioni vengono ignorate, finiscono per essere trattate come rumore e scartate. Quindi il nuovo approccio, il cosiddetto modello multiview generativo profondo, sfrutta queste correlazioni e le distingue dal rumore reale.

Per valutare il modello multiview generativo profondo, Changde e colleghi confrontano i suoi risultati con quelli di una serie di altre tecniche di ricostruzione dell'immagine cerebrale. Lo fanno utilizzando metodi di confronto delle immagini standard per vedere quanto le immagini ricostruite corrispondono agli originali.

I risultati costituiscono una lettura interessante. In generale, le immagini ricostruite sono chiare rappresentazioni degli originali. In molti casi, sono significativamente più accurati di quanto altre tecniche possano gestire.

Le metriche di confronto delle immagini lo confermano. Ampi confronti sperimentali dimostrano che il nostro approccio può ricostruire immagini visive da misurazioni fMRI in modo più accurato, affermano Changde e co.

È un lavoro interessante con implicazioni significative. La capacità di ricostruire le immagini del cervello è un importante trampolino di lancio nel lavoro per creare migliori interfacce cervello-macchina. I prossimi passi includeranno modi per analizzare scene più complesse e immagini in movimento. Changde e colleghi affermano che il loro approccio potrebbe essere applicato anche ad altri problemi di codifica del cervello come compiti audio e fisici.

Oltre a questo, chissà. Da qui, è solo un breve salto di immaginazione alle tecniche di scansione cerebrale che rivelano ciò che le persone stanno pensando o sognando. Basta immaginare!

Rif: arxiv.org/abs/1704.07575 : Condivisione della rappresentazione generativa profonda per la ricostruzione dell'immagine percepita dall'attività cerebrale umana

nascondere