Il software traduce la tua voce in un'altra lingua

I ricercatori di Microsoft hanno realizzato un software in grado di apprendere il suono della tua voce e quindi usarlo per parlare una lingua che non conosci. Il sistema potrebbe essere utilizzato per rendere più personale il software di tutoraggio linguistico o per creare strumenti per i viaggiatori.

Martedì, in una dimostrazione al campus di Microsoft a Redmond, Washington, il ricercatore Microsoft Frank Soong ha mostrato come il suo software potesse leggere il testo in spagnolo usando la voce del suo capo, Rick Rashid, che guida gli sforzi di ricerca di Microsoft. In una seconda dimostrazione, Soong ha utilizzato il suo software per concedere a Craig Mundie, chief research and strategy officer di Microsoft, la capacità di parlare il mandarino.

Ascolta la voce di Rick Rashid nella sua lingua madre e poi tradotta in diverse altre lingue:

Italiano: Ascolta una clip di Rick Rashid che parla normalmente.

Spagnolo: ascoltalo in spagnolo.

Italiano: ascoltalo in italiano.

Mandarino: ascoltalo in mandarino.

In inglese, una versione sintetica della voce di Mundie ha accolto il pubblico a un open day tenuto da Microsoft Research, concludendo: Con l'aiuto di questo sistema, ora posso parlare il mandarino. La frase è stata ripetuta in cinese mandarino, con quella che era ancora riconoscibilmente la voce di Mundie.

Saremo in grado di realizzare alcune applicazioni di scenario, ha affermato Soong, che ha creato il sistema con i colleghi di Microsoft Research Asia, il secondo laboratorio di ricerca dell'azienda, a Pechino, in Cina.

Per un oratore monolingue che viaggia in un paese straniero, eseguiremo il riconoscimento vocale seguito dalla traduzione, seguito dall'output finale di sintesi vocale [in] una lingua diversa, ma sempre con la propria voce, ha affermato Soong.

La nuova tecnica potrebbe essere utilizzata anche per aiutare gli studenti a imparare una lingua, ha affermato Soong. Fornire esempi di frasi straniere con la voce di una persona potrebbe essere incoraggiante o più facile da imitare. Soong ha anche mostrato come il suo nuovo sistema potrebbe migliorare un'app telefonica per le indicazioni di navigazione, consentendo a una voce inglese sintetica di serie di leggere senza interruzioni il testo scritto sui segnali stradali cinesi mentre trasmetteva le istruzioni per un percorso a Pechino.

Il sistema richiede circa un'ora di formazione per sviluppare un modello in grado di leggere qualsiasi testo con la propria voce. Quel modello viene convertito in un modello in grado di leggere il testo in un'altra lingua confrontandolo con un modello di sintesi vocale standard per la lingua di destinazione. I singoli suoni usati dal primo modello per costruire parole usando la voce di una persona nella propria lingua vengono accuratamente modificati per dare al nuovo modello di sintesi vocale una piena capacità di suonare frasi nella seconda lingua.

Soong afferma che questo approccio può convertire qualsiasi coppia di 26 lingue, tra cui cinese mandarino, spagnolo e italiano.

Preservare la voce di una persona durante la sintesi del discorso per loro in un'altra lingua sarebbe probabilmente rassicurante per un utente e potrebbe rendere più significative le interazioni che dipendono dal software di traduzione, afferma Shrikanth Narayanan , professore alla University of Southern California, a Los Angeles, guida un gruppo di ricerca che lavora sui sistemi per tradurre il discorso in situazioni come le consultazioni medico-paziente.

La parola è solo una parte di ciò che una persona sta dicendo, afferma, e per trasmettere veramente tutte le informazioni nel discorso di una persona, i sistemi di traduzione dovranno essere in grado di preservare le voci e molto altro. Preservare la voce, preservare l'intonazione, queste cose contano, e questo progetto lo sa chiaramente, dice Narayanan. I nostri sistemi devono catturare l'espressione che una persona sta cercando di trasmettere, chi sono e come lo stanno dicendo.

Il suo gruppo di ricerca sta studiando come caratteristiche come l'enfasi, l'intonazione e il modo in cui le persone usano le pause o l'esitazione influenzino l'efficacia e la qualità percepita di una traduzione parola per parola. Chiediamo se è possibile creare sistemi in grado di mediare tra le persone e sostituire semplicemente le parole, dice. Considero questa [ricerca Microsoft] una parte del modo in cui lo fai accadere.

nascondere