Come Google ha convertito la traduzione linguistica in un problema di matematica dello spazio vettoriale

L'informatica sta cambiando la natura della traduzione di parole e frasi da una lingua all'altra. Chiunque abbia provato babel pesce o Google Traduttore saprà che forniscono servizi di traduzione utili ma che sono tutt'altro che perfetti.

L'idea di base è confrontare un corpus di parole in una lingua con lo stesso corpus di parole tradotte in un'altra. Le parole e le frasi che condividono proprietà statistiche simili sono considerate equivalenti.

Il problema, ovviamente, è che le traduzioni iniziali si basano su dizionari che devono essere compilati da esperti umani e ciò richiede tempo e sforzi significativi.

Ora Tomas Mikolov e un paio di amici di Google a Mountain View hanno sviluppato una tecnica che genera automaticamente dizionari e tabelle di frasi che convertono una lingua in un'altra.

La nuova tecnica non si basa su versioni dello stesso documento in lingue diverse. Invece, utilizza tecniche di data mining per modellare la struttura di una singola lingua e quindi confrontarla con la struttura di un'altra lingua.

Questo metodo fa poche supposizioni sulle lingue, quindi può essere usato per estendere e perfezionare dizionari e tabelle di traduzione per qualsiasi coppia linguistica, dicono.

Il nuovo approccio è relativamente semplice. Si basa sulla nozione che ogni lingua deve descrivere un insieme simile di idee, quindi anche le parole che lo fanno devono essere simili. Ad esempio, la maggior parte delle lingue avrà parole per animali comuni come gatto, cane, mucca e così via. E queste parole sono probabilmente usate allo stesso modo in frasi come un gatto è un animale più piccolo di un cane.

Lo stesso vale per i numeri. L'immagine sopra mostra le rappresentazioni vettoriali dei numeri da uno a cinque in inglese e spagnolo e dimostra quanto siano simili.

Questo è un indizio importante. Il nuovo trucco è rappresentare un'intera lingua usando la relazione tra le sue parole. L'insieme di tutte le relazioni, il cosiddetto spazio linguistico, può essere pensato come un insieme di vettori che puntano ciascuno da una parola all'altra. E negli ultimi anni, i linguisti hanno scoperto che è possibile gestire matematicamente questi vettori. Ad esempio, l'operazione 're' - 'uomo' + 'donna' risulta in un vettore simile a 'regina'.

Si scopre che lingue diverse condividono molte somiglianze in questo spazio vettoriale. Ciò significa che il processo di conversione di una lingua in un'altra è equivalente a trovare la trasformazione che converte uno spazio vettoriale nell'altro.

Questo trasforma il problema della traduzione da uno di linguistica a uno di matematica. Quindi il problema per il team di Google è trovare un modo per mappare accuratamente uno spazio vettoriale sull'altro. Per questo usano un piccolo dizionario bilingue compilato da esperti umani: confrontare lo stesso corpus di parole in due lingue diverse dà loro una trasformazione lineare già pronta che fa il trucco.

Identificata questa mappatura, è quindi semplice applicarla agli spazi linguistici più grandi. Mikolov e compagni dicono che funziona molto bene. Nonostante la sua semplicità, il nostro metodo è sorprendentemente efficace: possiamo raggiungere quasi il 90% di precision@5 per la traduzione di parole tra inglese e spagnolo, dicono.

Il metodo può essere utilizzato per estendere e perfezionare i dizionari esistenti e persino per individuare errori in essi. In effetti, il team di Google fa esattamente questo con un dizionario inglese-ceco, trovando numerosi errori.

Infine, il team sottolinea che, poiché la tecnica fa poche supposizioni sui linguaggi stessi, può essere utilizzata su argomenti completamente non correlati. Quindi, mentre lo spagnolo e l'inglese hanno una storia indoeuropea comune, Mikolov e colleghi mostrano che la nuova tecnica funziona altrettanto bene anche per coppie di lingue meno strettamente correlate, come l'inglese e il vietnamita.

Questo è un utile passo avanti per il futuro della comunicazione multilingue. Ma la squadra dice che questo è solo l'inizio. Chiaramente, c'è ancora molto da esplorare, concludono.

Rif: arxiv.org/abs/1309.4168 : Sfruttare le somiglianze tra i linguaggi per la traduzione automatica

nascondere