211service.com
La nuova IA poliglotta di Facebook può tradurre tra 100 lingue
Edurne Chopeitia / Unsplash
Le notizie: Facebook è open source un nuovo modello linguistico AI chiamato M2M-100 che può tradurre tra qualsiasi coppia tra 100 lingue. Delle 4.450 possibili combinazioni linguistiche, ne traduce direttamente 1.100. Ciò è in contrasto con i precedenti modelli multilingue, che si basano fortemente sull'inglese come intermedio. Una traduzione dal cinese al francese, ad esempio, passa in genere dal cinese all'inglese e quindi dall'inglese al francese, il che aumenta le possibilità di introdurre errori.
Cura dei dati: Il modello è stato addestrato su 7,5 miliardi di coppie di frasi. Per compilare un set di dati così grande, i ricercatori hanno fatto molto affidamento sulla cura automatizzata. Hanno usato i web crawler per raschiare miliardi di frasi dal web e hanno fatto identificare la lingua a un altro modello linguistico chiamato FastText. (Non hanno utilizzato alcun dato di Facebook.) Quindi hanno utilizzato un programma chiamato LASER 2.0, sviluppato in precedenza dal laboratorio di ricerca sull'intelligenza artificiale di Facebook, che utilizza l'apprendimento non supervisionato, l'apprendimento automatico che non richiede dati etichettati manualmente, per abbinare le frasi in tutte le lingue in base a il loro significato.
LASER 2.0 crea quelli che sono noti come incorporamenti da grandi insiemi di dati non strutturati di frasi. Si allena sugli esempi di frasi disponibili all'interno di ciascuna lingua e traccia le loro relazioni reciproche in base alla frequenza e alla vicinanza con cui vengono utilizzate. Questi incorporamenti aiutano il modello di apprendimento automatico ad approssimare il significato di ogni frase, che quindi consente a LASER 2.0 di accoppiare automaticamente frasi che condividono lo stesso significato in lingue diverse.
Lingue di abbinamento: I ricercatori si sono concentrati sulle combinazioni linguistiche che ritenevano sarebbero state più comunemente richieste. Hanno raggruppato le lingue in base a somiglianze linguistiche, geografiche e culturali, partendo dal presupposto che le persone che vivono nella stessa regione comunicherebbero più spesso. Un gruppo linguistico, ad esempio, includeva le lingue più comuni parlate in India, tra cui bengalese, hindi, tamil e urdu. LASER 2.0 ha quindi mirato alla ricerca di coppie di frasi su tutte le possibili combinazioni linguistiche all'interno di ciascun gruppo.
Sfide in corso: Le lingue parlate in luoghi come l'Africa e il sud-est asiatico soffrono ancora di problemi di qualità della traduzione perché sono disponibili troppo pochi dati linguistici per essere recuperati dal web, afferma Angela Fan, la ricercatrice capo del progetto. Data la dipendenza dai dati web, i ricercatori devono anche capire le tecniche per identificare e sradicare qualsiasi sessismo, razzismo e altri pregiudizi discriminatori incorporati. In questo momento, i ricercatori hanno utilizzato un filtro volgarità per ripulire alcune lingue particolarmente eclatanti, ma è per lo più limitato all'inglese.
Solo ricerca: Facebook non ha attualmente in programma di utilizzare il modello nei suoi prodotti. M2M-100 è pensato solo per scopi di ricerca, afferma Fan. In definitiva, tuttavia, l'obiettivo è che il modello migliori ed espanda le capacità di traduzione esistenti di Facebook. Le applicazioni potrebbero includere la comunicazione con l'utente (ad esempio, la funzione che consente alle persone di tradurre i post nella propria lingua madre) e forse la moderazione dei contenuti.