Come Google 'traduce' le immagini in parole usando la matematica dello spazio vettoriale

Tradurre una lingua in un'altra è sempre stato un compito difficile. Ma negli ultimi anni Google ha trasformato questo processo sviluppando algoritmi di traduzione automatica che cambiano la natura delle comunicazioni interculturali attraverso Google Translate.

Ora quell'azienda sta utilizzando la stessa tecnica di apprendimento automatico per tradurre le immagini in parole. Il risultato è un sistema che genera automaticamente didascalie delle immagini che descrivono accuratamente il contenuto delle immagini. È qualcosa che sarà utile per i motori di ricerca, per la pubblicazione automatizzata e per aiutare i non vedenti a navigare sul Web e, in effetti, nel mondo intero.

L'approccio convenzionale alla traduzione linguistica è un processo iterativo che inizia traducendo le parole individualmente e poi riordinando le parole e le frasi per migliorare la traduzione. Ma negli ultimi anni, Google ha elaborato come utilizzare il suo enorme database di ricerca per tradurre il testo in un modo completamente diverso.

L'approccio consiste essenzialmente nel contare la frequenza con cui le parole appaiono accanto o vicino ad altre parole e quindi definirle in uno spazio vettoriale astratto in relazione l'una con l'altra. Ciò consente a ogni parola di essere rappresentata da un vettore in questo spazio e alle frasi di essere rappresentate da combinazioni di vettori.

Google continua a fare un presupposto importante. Questo è che le parole specifiche hanno la stessa relazione tra loro indipendentemente dalla lingua. Ad esempio, il vettore re - uomo + donna = regina dovrebbe valere in tutte le lingue.

Ciò rende la traduzione linguistica un problema di matematica dello spazio vettoriale. Google Translate si avvicina trasformando una frase in un vettore e quindi utilizzando quel vettore per generare la frase equivalente in un'altra lingua.

Ora Oriol Vinyals e amici di Google stanno utilizzando un approccio simile per tradurre le immagini in parole. La loro tecnica consiste nell'utilizzare una rete neurale per studiare un set di dati di 100.000 immagini e le relative didascalie e quindi imparare a classificare il contenuto delle immagini.

Ma invece di produrre un insieme di parole che descrivono l'immagine, il loro algoritmo produce un vettore che rappresenta la relazione tra le parole. Questo vettore può quindi essere inserito nell'algoritmo di traduzione esistente di Google per produrre una didascalia in inglese, o addirittura in qualsiasi altra lingua. In effetti, l'approccio di apprendimento automatico di Google ha imparato a tradurre le immagini in parole.

Per testare l'efficacia di questo approccio, hanno utilizzato valutatori umani reclutati da Mechanical Turk di Amazon per valutare i sottotitoli generati automaticamente in questo modo insieme a quelli generati da altri approcci automatizzati e dagli esseri umani.

I risultati mostrano che il nuovo sistema, che Google chiama Neural Image Caption, funziona bene. Utilizzando un noto set di dati di immagini chiamato PASCAL, Neural image Capture ha chiaramente superato altri approcci automatizzati. NIC ha ottenuto un punteggio BLEU di 59, da confrontare con l'attuale stato dell'arte di 25, mentre le prestazioni umane raggiungono 69, afferma Vinyals e co.

Non è male e l'approccio sembra destinato a migliorare con l'aumento delle dimensioni dei set di dati di addestramento. È chiaro da questi esperimenti che, con l'aumento delle dimensioni dei set di dati disponibili per la descrizione delle immagini, aumenteranno anche le prestazioni di approcci come NIC, afferma il team di Google.

Chiaramente, questo è un altro compito per il quale sono contati i giorni della supremazia umana sulle macchine.

Rif: arxiv.org/abs/1411.4555 : Mostra e racconta: un generatore di didascalie di immagini neurali

nascondere