211service.com
I traduttori umani sono ancora in cima, per ora
Potresti esserti perso lo scoppio dei tappi di champagne e la pioggia di nastri adesivi, ma negli ultimi mesi i linguisti computazionali hanno iniziato a sostenere che la traduzione automatica neurale ora corrisponde alle prestazioni dei traduttori umani.
La tecnica dell'utilizzo di una rete neurale per tradurre il testo da una lingua all'altra è migliorata a passi da gigante negli ultimi anni, grazie alle continue innovazioni nell'apprendimento automatico e nell'intelligenza artificiale. Quindi non è davvero una sorpresa che le macchine si siano avvicinate alle prestazioni degli esseri umani. In effetti, i linguisti computazionali hanno buone prove a sostegno di questa affermazione.
Ma oggi Samuel Laubli dell'Università di Zurigo e un paio di colleghi dicono che lo champagne dovrebbe tornare sul ghiaccio. Non contestano i risultati dei loro colleghi, ma affermano che il protocollo di test non tiene conto del modo in cui gli esseri umani leggono interi documenti. Quando questo viene valutato, le macchine sono molto indietro rispetto agli esseri umani, dicono.
Il problema è come valutare la traduzione automatica. Questo è attualmente fatto su due misure: adeguatezza e fluidità. L'adeguatezza di una traduzione è determinata da traduttori umani professionisti che leggono sia il testo originale che la traduzione per vedere quanto bene esprime il significato della fonte. La fluidità è giudicata da lettori monolingui che vedono solo la traduzione e determinano quanto bene sia espressa in inglese.
I linguisti computazionali concordano sul fatto che questo sistema dia valutazioni utili. Ma secondo Laubli e co, l'attuale protocollo confronta solo le traduzioni a livello di frase, mentre gli esseri umani valutano anche il testo a livello di documento.
Quindi hanno sviluppato un nuovo protocollo per confrontare le prestazioni dei traduttori automatici e umani a livello di documento. Hanno chiesto a traduttori professionisti di valutare in che modo macchine e esseri umani hanno tradotto oltre 100 articoli di notizie scritti in cinese in inglese. Gli esaminatori hanno valutato ogni traduzione per l'adeguatezza e la fluidità a livello di frase ma, soprattutto, anche a livello dell'intero documento.
I risultati costituiscono una lettura interessante. Per cominciare, Laubli e colleghi non hanno riscontrato differenze significative nel modo in cui i traduttori professionisti hanno valutato l'adeguatezza delle frasi tradotte a macchina e umane. In base a questa misura, gli esseri umani e le macchine sono ugualmente buoni traduttori, il che è in linea con i risultati precedenti.
Tuttavia, quando si tratta di valutare l'intero documento, le traduzioni umane sono giudicate più adeguate e più fluide rispetto alle traduzioni automatiche. I valutatori umani che valutano l'adeguatezza e la fluidità mostrano una maggiore preferenza per la traduzione umana rispetto a quella automatica quando valutano i documenti rispetto a frasi isolate, dicono.
I ricercatori pensano di sapere perché. Ipotizziamo che la valutazione a livello di documento sveli errori come la traduzione errata di una parola ambigua, o errori relativi alla coesione e coerenza testuale, che rimangono difficili o impossibili da individuare in una valutazione a livello di frase, dicono.
Ad esempio, il team fornisce l'esempio di una nuova app chiamata 微信挪车, che gli esseri umani traducono costantemente come WeChat Move the Car ma che le macchine spesso traducono in diversi modi nello stesso articolo. Le macchine traducono questa frase come Twitter Move Car, WeChat mobile e WeChat Move. Questo tipo di incoerenza, affermano Laubli e compagni, rende i documenti più difficili da seguire.
Ciò suggerisce che il modo in cui viene valutata la traduzione automatica deve evolversi da un sistema in cui le macchine considerano ogni frase isolatamente.
Con il miglioramento della qualità della traduzione automatica, le traduzioni diventeranno più difficili da discriminare in termini di qualità e potrebbe essere il momento di passare alla valutazione a livello di documento, che offre ai valutatori più contesto per comprendere il testo originale e la sua traduzione, ed espone anche errori di traduzione correlati a fenomeni discorsivi che restano invisibili in una valutazione a livello di frase, affermano Laubli e co.
Questo cambiamento dovrebbe aiutare la traduzione automatica a migliorare. Il che significa che è ancora destinato a superare la traduzione umana, ma non ancora.
Rif: arxiv.org/abs/1808.07048 : La traduzione automatica ha raggiunto la parità umana? Un caso per la valutazione a livello di documento