211service.com
Il software ispirato al cervello di Google descrive ciò che vede in immagini complesse
I ricercatori di Google hanno creato Software che può utilizzare frasi complete per descrivere accuratamente le scene mostrate nelle foto: un progresso significativo nel campo della visione artificiale. Quando è stata mostrata una foto di un gioco di frisbee definitivo, ad esempio, il software ha risposto con la descrizione Un gruppo di giovani che giocano a frisbee. Il software può anche contare, dando risposte come Due pizze su un fornello.
Il software sperimentale di Google può descrivere accuratamente le scene nelle foto, come le due a sinistra. Ma sbaglia ancora, come si vede dalle due foto a destra.
In precedenza, la maggior parte degli sforzi per creare software in grado di comprendere le immagini si sono concentrati sul compito più semplice di identificare singoli oggetti.
È molto eccitante, dice Oriol Vinali , ricercatore presso Google. Sono sicuro che ci saranno alcune potenziali applicazioni che usciranno da questo.
Il nuovo software è l'ultimo prodotto della ricerca di Google sull'utilizzo di grandi raccolte di neuroni simulati per elaborare i dati (vedi 10 Breakthrough Technologies 2013: Deep Learning). Nessuno in Google ha programmato il nuovo software con regole su come interpretare le scene. Invece, le sue reti hanno imparato consumando dati. Anche se per ora è solo un progetto di ricerca, dice Vinyals, lui e altri in Google hanno già iniziato a pensare a come potrebbe essere utilizzato per migliorare la ricerca di immagini o aiutare i non vedenti a navigare online o nel mondo reale.
I ricercatori di Google hanno creato il software attraverso una sorta di chirurgia cerebrale digitale, collegando insieme due reti neurali sviluppate separatamente per compiti diversi. Una rete era stata addestrata per elaborare le immagini in una rappresentazione matematica dei loro contenuti, in preparazione all'identificazione degli oggetti. L'altro era stato addestrato a generare frasi in inglese completo come parte di un software di traduzione automatica.
Quando le reti vengono combinate, la prima può guardare un'immagine e quindi inserire la descrizione matematica di ciò che vede nella seconda, che utilizza tali informazioni per generare una frase leggibile dall'uomo. La rete combinata è stata addestrata per generare descrizioni più accurate mostrandole decine di migliaia di immagini con descrizioni scritte da esseri umani. Stiamo vedendo attraverso il linguaggio ciò che pensava fosse l'immagine, dice Vinyals.
Dopo quel processo di addestramento, il software è stato rilasciato su diversi set di dati di grandi dimensioni di immagini da Flickr e altre fonti e gli è stato chiesto di descriverli. L'accuratezza delle sue descrizioni è stata quindi valutata con un test automatizzato utilizzato per confrontare il software di visione artificiale. Il software di Google ha pubblicato punteggi negli anni '60 su una scala di 100 punti. Gli esseri umani che eseguono il test in genere ottengono un punteggio negli anni '70, afferma Vinyals.
Questo risultato suggerisce che Google è molto più avanti di altri ricercatori che lavorano per creare un software per la descrizione della scena. Ricercatori di Stanford di recente dettagli pubblicati del proprio sistema e ha riferito di aver ottenuto un punteggio compreso tra 40 e 50 nello stesso test standard.
Tuttavia, Vinyals osserva che i ricercatori di Google e altrove sono ancora nelle prime fasi di comprensione di come creare e testare questo tipo di software. Quando Google ha chiesto agli esseri umani di valutare le descrizioni delle immagini del suo software su una scala da 1 a 4, ha ottenuto una media di solo 2,5, suggerendo che ha ancora molta strada da fare.
Vinyals prevede che la ricerca sulla comprensione e la descrizione delle scene ora si intensificherà. Un problema che potrebbe rallentare le cose: sebbene siano stati creati ampi database di immagini etichettate a mano per addestrare il software a riconoscere singoli oggetti, ci sono meno foto etichettate di scene più naturali.
Microsoft quest'anno ha lanciato un database chiamato NOCE DI COCCO per cercare di risolverlo. Google ha utilizzato COCO nella sua nuova ricerca, ma è ancora relativamente piccolo. Spero che altre parti interverranno e miglioreranno le cose, afferma Vinyals.