La svolta linguistica annuncia la traduzione automatica per migliaia di lingue rare

L'ipotesi migliore è che gli esseri umani attualmente parlino circa 6.900 lingue diverse. Più della metà della popolazione mondiale comunica usando solo una manciata di loro: cinese, inglese, hindi, spagnolo e russo. Infatti, il 95% delle persone comunica utilizzando solo 100 lingue.

Gli altri argot sono molto meno comuni. In effetti, i linguisti stimano che circa un terzo delle lingue del mondo siano parlate da meno di 1.000 persone e rischiano di estinguersi nei prossimi 100 anni circa. Con loro andrà il patrimonio culturale unico che incarnano: storie, frasi, battute, rimedi erboristici e persino emozioni uniche.

È facile pensare che l'apprendimento automatico possa aiutare. Il problema è che la traduzione automatica si basa su enormi set di dati annotati per esercitare il suo mestiere. Questi set di dati sono costituiti da vasti corpora di libri, articoli e siti Web che sono stati tradotti manualmente in altre lingue. Funziona come una stele di Rosetta per gli algoritmi di apprendimento automatico e più grande è il set di dati, meglio imparano.

Una mappa che mostra come gli indicatori del passato si raggruppano per 100 delle lingue studiate.

Ma questi enormi set di dati semplicemente non esistono per la maggior parte delle lingue. Ecco perché la traduzione automatica funziona solo per una piccola parte dei gerghi più comuni. Google Translate, ad esempio, parla solo 90 lingue.

Quindi una sfida importante per i linguisti è trovare un modo per analizzare automaticamente le lingue meno comuni per comprenderle meglio.

Oggi Ehsaneddin Asgari e Hinrich Schutze dell'Università Ludwig-Maximilian di Monaco in Germania affermano di aver fatto proprio questo. Il loro nuovo approccio rivela elementi importanti di quasi tutte le lingue che possono quindi essere utilizzati come trampolino di lancio per la traduzione automatica.

La nuova tecnica si basa su un unico testo che è stato tradotto in almeno 2.000 lingue diverse. Questa è la Bibbia ei linguisti ne hanno da tempo riconosciuto l'importanza nella loro disciplina.

Di conseguenza, hanno creato un database chiamato Parallel Bible Corpus, che consiste in traduzioni del Nuovo Testamento in 1.169 lingue. Questo set di dati non è abbastanza grande per il tipo di apprendimento automatico industriale eseguito da Google e altri. Quindi Asgari e Schutze hanno escogitato un altro approccio basato sul modo in cui i tempi appaiono nelle diverse lingue.

La maggior parte delle lingue utilizza parole o combinazioni di lettere specifiche per indicare i tempi. Quindi il nuovo trucco consiste nell'identificare manualmente questi segnali in diverse lingue e quindi utilizzare tecniche di data mining per cercare altre traduzioni alla ricerca di parole o stringhe di lettere che svolgono lo stesso ruolo.

Ad esempio, in inglese il presente è indicato dalla parola is, il futuro dalla parola will e il passato dalla parola was. Naturalmente, ci sono anche altri significanti.

L'idea di Asgari e Schutze è di trovare tutte queste parole nella traduzione inglese della Bibbia insieme ad altri esempi di una manciata di traduzioni in altre lingue. Quindi cerca le stringhe di parole o lettere che svolgono lo stesso ruolo in altre lingue. Ad esempio, la stringa di lettere -ed indica anche il passato in inglese.

Ma c'è una svolta. Asgari e Schutze non iniziano con l'inglese perché è una lingua relativamente vecchia con molte eccezioni alla regola, il che lo rende difficile da imparare.

Invece, iniziano con un insieme di lingue creole che si sono sviluppate da una miscela di altre lingue. Poiché sono più giovani, le lingue creole hanno avuto meno tempo per sviluppare queste idiosincrasie linguistiche. E ciò significa che generalmente contengono marcatori migliori di caratteristiche linguistiche come il tempo. La nostra logica è che le lingue creole sono più regolari di altre lingue perché sono giovani e non hanno accumulato 'bagaglio storico' che potrebbe rendere l'analisi computazionale più difficile, dicono.

Una di queste lingue è il creolo delle Seychelles, che usa la parola ti per indicare il passato. Ad esempio, mon travay significa che lavoro in questa lingua, mentre mon ti travay significa che ho lavorato e mon ti pe travay significa che stavo lavorando. Quindi ti è un buon significante del passato.

Asgari e Schutze compilano un elenco di significanti del passato in 10 altre lingue e quindi estraggono il Corpus della Bibbia parallela per altre parole e stringhe di lettere che svolgono la stessa funzione. Lo ripetono per il presente e il futuro.

I risultati costituiscono una lettura interessante. La tecnica rivela costruzioni linguistiche relative al tempo in lingue comuni come -ed in inglese e -te in tedesco, così come le parole e le frasi che svolgono le stesse funzioni in lingue molto meno comuni come il significante passato den nel Gourmanchema lingua del Burkino Faso e yi in Yalunka, parlata in Mali, e così via.

Questo lavoro consente ai ricercatori di creare mappe che mostrano come le lingue che utilizzano costruzioni di tempi simili sono correlate (vedi diagramma).

È un lavoro interessante. Asgari e Schutze hanno sviluppato un metodo computazionale per analizzare il modo in cui le persone usano il passato, il presente e il futuro in oltre 1.000 lingue. Questo è il più grande studio computazionale multilingua mai intrapreso. In effetti, il numero di lingue coinvolte è un ordine di grandezza maggiore rispetto ad altri studi.

Il lavoro ha un'applicazione significativa. Le mappe dei tempi linguistici consentono ai ricercatori di elaborare rapidamente le relazioni tra le lingue e il modo in cui sono collegate. Potrebbe essere usato per comprendere meglio l'evoluzione del linguaggio.

E lo stesso approccio potrebbe essere utilizzato anche per altre caratteristiche linguistiche. Richiediamo solo che una caratteristica linguistica sia apertamente contrassegnata in alcune delle migliaia di lingue invece di richiedere che sia contrassegnata in tutte le lingue oggetto di indagine, affermano Asgari e Schutze.

Le implicazioni vanno oltre. La linguistica computazionale ha avuto un profondo impatto sulla nostra comprensione del linguaggio, sul modo in cui varia nel mondo e su come le macchine possono capirlo. Questa disciplina emergente ha permesso di tradurre automaticamente molte lingue direttamente in altre in forma scritta e parlata. In effetti, la promessa è che la traduzione automatica istantanea presto corrisponderà e quindi supererà le capacità degli interpreti umani.

Ma l'utilità della traduzione automatica per alcune lingue le rende più popolari a scapito delle lingue che non sono soddisfatte. Ecco perché la traduzione automatica potrebbe accelerare la scomparsa delle lingue in via di estinzione.

In effetti, i linguisti hanno assistito a un fenomeno simile con altre forme di comunicazione di massa, come i servizi di TV satellitare. Questi generalmente trasmettono in un'unica lingua, che diventa quindi più desiderabile e popolare delle lingue che non vengono trasmesse.

Il lavoro di Asgari e Schutze potrebbe aiutare a invertire questo modello di declino. Certo, è un grande passo da questo lavoro a una traduzione automatica accurata, ma è un passo nella giusta direzione.

Rif: arxiv.org/abs/1704.08914 : Passato, presente, futuro: un'indagine computazionale sulla tipologia del tempo verbale in 1.000 lingue

nascondere