L'IA di Google ora può tradurre il tuo discorso mantenendo la tua voce

Un'immagine del segretario generale delle Nazioni Unite Ban Ki-moon mentre ascolta un dispositivo di traduzione EMILIO MORENATTI / AP

Ascolta questo clip audio spagnolo.

Ecco come potrebbe suonare la sua traduzione in inglese se sottoposta a un tradizionale sistema di traduzione automatizzata.

Ecco come suona quando viene inserito nel nuovo sistema di traduzione automatica di Google.

I risultati non sono perfetti, ma puoi in qualche modo sentire come il traduttore di Google è stato in grado di mantenere la voce e il tono dell'oratore originale. Può farlo perché converte l'input audio direttamente in output audio senza passaggi intermedi . Al contrario, i sistemi di traduzione tradizionali convertono l'audio in testo, traducono il testo e quindi sintetizzano nuovamente l'audio, perdendo lungo il percorso le caratteristiche della voce originale.

Il nuovo sistema, soprannominato il Traduttore, ha tre componenti, che guardano tutti allo spettrogramma audio dell'oratore: un'istantanea visiva delle frequenze utilizzate durante la riproduzione del suono, spesso chiamata impronta vocale. Il primo componente utilizza una rete neurale addestrata per mappare lo spettrogramma audio nella lingua di input allo spettrogramma audio nella lingua di output. Il secondo converte lo spettrogramma in un'onda audio che può essere riprodotta. Il terzo componente può quindi sovrapporre le caratteristiche vocali dell'altoparlante originale all'uscita audio finale.

Questo approccio non solo produce traduzioni più sfumate conservando importanti segnali non verbali, ma in teoria dovrebbe anche ridurre al minimo l'errore di traduzione, perché riduce il compito a meno passaggi.

Translatotron è attualmente un proof of concept. Durante i test, i ricercatori hanno testato il sistema solo con la traduzione dallo spagnolo all'inglese, che ha già richiesto molti dati di addestramento accuratamente curati. Ma le uscite audio come la clip sopra dimostrano il potenziale per un sistema commerciale più avanti. Puoi ascoltarne di più qui .

nascondere