Primo computer per abbinare gli esseri umani nel riconoscimento vocale conversazionale

Una dopo l'altra, le competenze che ci separano dalle macchine stanno cadendo nella colonna delle macchine. Prima c'erano gli scacchi, poi Pericolo! , quindi Vai, quindi riconoscimento oggetti, riconoscimento facciale e videogiochi in generale. Potresti essere perdonato se pensi che gli umani stiano diventando obsoleti.

Ma prova qualsiasi software di riconoscimento vocale e la tua fiducia nell'umanità verrà rapidamente ripristinata. Sebbene siano buoni e stiano migliorando, questi sistemi non sono affatto perfetti. Stai ordinando un gelato o dici che urlo? Probabilmente entrambi, se è una macchina con cui stai parlando.

Quindi dovrebbe essere rassicurante sapere che il normale riconoscimento vocale conversazionale è qualcosa a cui le macchine continuano a lottare, che gli esseri umani sono ancora padroni della propria lingua.

Potrebbe essere necessario cambiare questa visione. Rapidamente. Oggi, Geoff Zweig e gli amici di Microsoft Research a Redmond, Washington, affermano di aver violato questo tipo di riconoscimento vocale e che i loro algoritmi di apprendimento automatico ora superano per la prima volta gli esseri umani nel riconoscere il normale discorso conversazionale.

La ricerca sul riconoscimento vocale ha una lunga storia. Negli anni '50, i primi computer potevano riconoscere fino a 10 parole pronunciate chiaramente da un singolo oratore. Negli anni '80, i ricercatori hanno costruito macchine in grado di trascrivere un discorso semplice con un vocabolario di 1.000 parole. Negli anni '90 sono passati alle registrazioni di una persona che leggeva il giornale di Wall Street , e poi nel telegiornale in onda.

Questi scenari sono tutti sempre più ambiziosi. Ma sono anche più semplici del linguaggio ordinario a causa di vari vincoli. Il vocabolario nel giornale di Wall Street è limitato agli affari e alla finanza e le frasi sono ben strutturate e grammaticalmente corrette, il che non è necessariamente vero per il linguaggio ordinario. Il discorso del telegiornale è meno formale ma comunque altamente strutturato e chiaramente pronunciato. Tutti questi esempi sono stati infine conquistati dalle macchine.

Ma il compito più difficile, la trascrizione del normale discorso colloquiale, ha resistito fermamente all'assalto.

Il discorso ordinario è significativamente più difficile a causa delle dimensioni del vocabolario e anche per i rumori diversi dalle parole che le persone fanno quando parlano. Gli esseri umani utilizzano una gamma di rumori per gestire il cambio di turno nella conversazione, un tipo di comunicazione che i linguisti chiamano backchannel.

Per esempio, Uh Huh viene utilizzato per riconoscere l'oratore e segnalare che dovrebbe continuare a parlare. Ma ehm è un'esitazione che indica che l'oratore ha altro da dire, un avvertimento che c'è altro a venire. A sua volta la gestione, ehm svolge il ruolo opposto a Uh Huh .

Gli esseri umani hanno poche difficoltà ad analizzare questi suoni e comprendere il loro ruolo in una conversazione. Ma le macchine hanno sempre lottato con loro.

Nel 2000, il National Institute of Standards and Technology ha rilasciato un set di dati per aiutare i ricercatori ad affrontare questo problema. I dati consistevano in registrazioni di conversazioni ordinarie al telefono. Alcuni di questi erano conversazioni tra individui su un argomento assegnato. Il resto erano conversazioni tra amici e parenti su qualsiasi argomento.

La maggior parte dei dati serviva ad addestrare un algoritmo di apprendimento automatico per riconoscere il parlato. Il resto era un test che le macchine dovevano trascrivere.

La misura delle prestazioni era il numero di parole che la macchina sbagliava e l'obiettivo finale era svolgere il compito meglio degli umani.

Allora quanto sono bravi gli umani? Il consenso generale è che quando si tratta di trascrizione, gli esseri umani hanno un tasso di errore di circa il 4%. In altre parole, trascrivono erroneamente quattro parole su cento. In passato, le macchine non si avvicinavano affatto a questo benchmark.

Ora Microsoft afferma di aver finalmente eguagliato le prestazioni umane, anche se con un importante avvertimento. I ricercatori Microsoft hanno iniziato rivalutando le prestazioni umane nelle attività di trascrizione. Lo hanno fatto inviando le registrazioni telefoniche nel set di dati del NIST a un servizio di trascrizione professionale e misurando il tasso di errore.

Con loro sorpresa, hanno scoperto che questo servizio aveva un tasso di errore del 5,9% per le conversazioni tra individui su un argomento assegnato e dell'11,3% per le conversazioni tra amici e familiari. È molto più alto di quanto si pensasse.

Successivamente, Zweig e co hanno ottimizzato i propri sistemi di deep learning basati su reti neurali convoluzionali con un numero variabile di livelli, ognuno dei quali elabora un diverso aspetto del discorso. Hanno quindi utilizzato il set di dati di addestramento per insegnare alla macchina a comprendere il parlato ordinario e lasciar perdere il set di dati di prova.

I risultati: nel complesso, il sistema di riconoscimento vocale di Microsoft ha un tasso di errore simile a quello degli esseri umani, ma i tipi di errori che commette sono piuttosto diversi.

L'errore più comune che fa la macchina Microsoft è confondere i suoni del backchannel uh e uh-eh . Al contrario, gli esseri umani raramente commettono quell'errore e invece tendono a confondere parole come a e il o ehm e a .

Non vi è alcun motivo in linea di principio per cui una macchina non possa essere addestrata a riconoscere i suoni del backchannel. Zweig e colleghi pensano che la difficoltà che la macchina ha con questi sia probabilmente a che fare con il modo in cui questi rumori sono etichettati nel set di dati di allenamento. Le prestazioni relativamente scarse del sistema automatico qui potrebbero essere semplicemente dovute a confusione nelle annotazioni dei dati di addestramento, dicono.

Nel complesso, tuttavia, la macchina corrisponde al tasso di errore umano del 5,9% per le conversazioni su un argomento assegnato, ma supera gli umani nel compito di trascrivere conversazioni di amici e familiari con un tasso di errore dell'11,1%. Per la prima volta, riportiamo le prestazioni del riconoscimento automatico alla pari con le prestazioni umane in questo compito, affermano Zweig e co.

È un lavoro interessante. Microsoft potrebbe aver spostato i pali nel registrare questa vittoria per le sue macchine, ma la scritta è chiaramente sul muro. Le macchine stanno diventando migliori degli umani nel riconoscimento vocale. Ciò avrà implicazioni significative per il modo in cui interagiamo con le macchine, non ultimo quando si tratta di ordinare il gelato.

Rif: arxiv.org/abs/1610.05256 : Raggiungere la parità umana nel riconoscimento vocale conversazionale

nascondere