Una nuova classe immersiva utilizza l'intelligenza artificiale e la realtà virtuale per insegnare il cinese mandarino

Un'immagine di studenti in piedi nell'ambiente virtuale immersivo Rensselaer Politecnico

Spesso il modo migliore per imparare una lingua è immergersi in un ambiente in cui le persone la parlano. L'esposizione costante, insieme alla pressione per comunicare, ti aiuta a raccogliere e praticare rapidamente nuovo vocabolario. Ma non tutti hanno l'opportunità di vivere o studiare all'estero.

In una nuova collaborazione con IBM Research, Rensselaer Polytechnic Institute (RPI), un'università con sede a Troy, New York, offre ora ai suoi studenti che studiano cinese un'altra opzione: un ambiente virtuale a 360 gradi che li teletrasporta nelle trafficate strade di Pechino o in una affollato ristorante cinese. Gli studenti possono contrattare con i venditori ambulanti o ordinare cibo e l'ambiente è dotato di diverse capacità di intelligenza artificiale per rispondere loro in tempo reale. Sebbene l'aula sia in gran parte sperimentale, questa estate viene utilizzata per la prima volta in un corso di credito di sei settimane presso l'università.

Il progetto è stato ispirato da due docenti della RPI che spesso usavano giochi di ruolo per aiutare i loro studenti a imparare il cinese. Parallelamente, negli ultimi anni, parecchi studi hanno scoperto che gli ambienti di apprendimento interattivi possono aumentare la comprensione e la conservazione della lingua. Uno studio pubblicato nel 2018 trovato anche che l'apprendimento del giapponese in un ambiente virtuale 3D ha reso gli studenti più propensi a imparare il vocabolario che hanno incontrato casualmente attraverso la simulazione. Sulla base di queste idee, i professori hanno stretto una collaborazione con IBM Research per esplorare se potevano replicare tali vantaggi per i propri studenti.

Oltre a circondare gli studenti con proiezioni digitali di una scena, l'ambiente utilizza diversi tipi di sensori per adattarsi dinamicamente alle parole e alle azioni degli studenti. I microfoni, indossati dai partecipanti, alimentano il loro audio direttamente negli algoritmi di riconoscimento vocale. Le telecamere tengono traccia dei loro movimenti e gesti per registrarli quando puntano a vari oggetti o si avvicinano a diversi agenti virtuali. Se uno studente indica un piatto di cibo nella scena del ristorante e chiede quale sia, ad esempio, un agente virtuale può rispondere con il nome e la descrizione. La tecnologia di generazione narrativa consente inoltre a ciascun agente di costruire risposte più sofisticate a domande a braccio (Qual è la storia del piatto?) Utilizzando la conoscenza di Wikipedia. (Gli argomenti di conversazione sono ancora in qualche modo vincolati, tuttavia, a qualsiasi compito lo studente stia cercando di completare.)

Telecamere e sensori tracciano i gesti degli studenti in modo che possano puntare liberamente verso gli oggetti in una scena da coinvolgere. Rensselaer Politecnico

Molte delle tecnologie nell'ambiente sono prodotti disponibili in commercio che sono stati intrecciati insieme in un'esperienza coesa. Ma alcuni dovevano essere sviluppati specificamente per il progetto. Il cinese mandarino ha cinque toni, ad esempio, che sono impegnativi per molti nuovi studenti ma cruciali per trasmettere un significato. Pronuncia la parola vendere (卖 macinazione ) un po' fuori e potresti finire per dire compra (买 mǎi ) invece. Quindi i ricercatori hanno creato un algoritmo per analizzare i toni nella pronuncia degli studenti. Li confronta con quelli di madrelingua e mostra dove differiscono, quindi fornisce feedback audio e visivo direttamente nell'ambiente. Consente agli studenti di chiedere a un agente virtuale come dire qualcosa e iniziare immediatamente a praticare il nuovo vocabolario.

Hui Su, direttore del Cognitive and Immersive Systems Laboratory, la collaborazione tra IBM Research e RPI che ha guidato l'iniziativa, afferma che il suo team è ancora nelle prime fasi per capire quanto sia efficace. Ma in un pilota alla fine del 2017, i ricercatori hanno scoperto qualitativamente che ha aumentato il coinvolgimento e il divertimento degli studenti nell'apprendimento delle lingue e li ha aiutati ad acquisire rapidamente nuove parole.

Prima di un esercizio di ordinazione del ristorante, ad esempio, agli studenti non è stato insegnato come pagare il cibo, ma osservando i loro coetanei e conversando con gli agenti virtuali, molti hanno acquisito il vocabolario necessario per farlo. È stata una sorpresa, dice Su. Uno degli studenti ha commentato che questo dovrebbe essere il modo di insegnare la lingua, aggiunge.

Un algoritmo fornisce agli studenti un feedback visivo sulla pronuncia del tono. Rensselaer Politecnico

Nel primo anno, il nuovo corso utilizzerà l'ambiente virtuale per quasi la metà del tempo e un'aula tradizionale per il resto, anche se questa disposizione potrebbe cambiare in futuro.

Se la classe fornisce prove evidenti del miglioramento dei risultati di apprendimento degli studenti, potrebbe fungere da modello per gli altri. L'idea più ovvia sarebbe quella di estenderlo ad altre lingue. Ma potrebbe anche essere utilizzato al di fuori delle università per istruire i dirigenti, formare il personale governativo o condurre qualsiasi altra attività di preparazione che potrebbe trarre vantaggio dalla simulazione di scenari e dal gioco di ruolo.

In definitiva, l'iniziativa aiuterà la missione a lungo termine dei ricercatori a capire come gli ambienti cognitivi e immersivi possono influenzare l'apprendimento, la collaborazione e la creazione di senso, afferma Su.

Per ricevere più storie come questa direttamente nella tua casella di posta, iscriviti alla nostra newsletter AI nominata da Webby The Algorithm. È gratis.

nascondere