Facebook afferma che il suo nuovo chatbot batte quello di Google come il migliore al mondo

Nonostante tutti i progressi fatti dai chatbot e dagli assistenti virtuali, sono ancora dei terribili conversatori. La maggior parte sono altamente orientati al compito: tu fai una richiesta e loro si conformano. Alcuni sono molto frustranti: sembrano non ottenere mai quello che stai cercando. Altri sono terribilmente noiosi: mancano del fascino di un compagno umano. Va bene quando stai solo cercando di impostare un timer. Ma man mano che questi robot diventano sempre più popolari come interfacce per qualsiasi cosa, dalla vendita al dettaglio all'assistenza sanitaria ai servizi finanziari, le inadeguatezze diventano sempre più evidenti.

Ora Facebook ha open source a nuovo chatbot che afferma di poter parlare di quasi tutto in un modo coinvolgente e interessante. Blender potrebbe non solo aiutare gli assistenti virtuali a risolvere molte delle loro carenze, ma anche segnare progressi verso l'ambizione più grande che guida gran parte della ricerca sull'IA: replicare l'intelligenza. Il dialogo è una specie di problema di 'intelligenza artificiale completa', afferma Stephen Roller, un ingegnere ricercatore di Facebook che ha co-diretto il progetto. Dovresti risolvere tutta l'IA per risolvere i dialoghi e, se risolvi i dialoghi, hai risolto tutta l'IA.

L'abilità di Blender deriva dall'immensa scala dei suoi dati di allenamento. È stato addestrato per la prima volta su 1,5 miliardi di conversazioni Reddit pubblicamente disponibili, per dargli una base per generare risposte in un dialogo. È stato quindi messo a punto con set di dati aggiuntivi per ciascuna delle tre abilità: conversazioni che contenevano una sorta di emozione , per insegnargli l'empatia (se un utente dice che ho ricevuto una promozione, ad esempio, può dire Congratulazioni!); conversazioni ricche di informazioni con un esperto, per insegnargli la conoscenza; e conversazioni tra persone con personaggi distinti , per insegnargli la personalità. Il modello risultante è 3,6 volte più grande di Il chatbot di Google Meena , che è stato annunciato a gennaio, così grande che non può stare su un singolo dispositivo e deve invece funzionare su due chip di elaborazione.

Un esempio di conversazione tra un essere umano e Blender.

FACEBOOK

A quel tempo, Google proclamò che Meena era il miglior chatbot del mondo. Nei test di Facebook, tuttavia, il 75% dei valutatori umani ha trovato Blender più coinvolgente di Meena e il 67% ha ritenuto che suonasse più come un essere umano. Il chatbot ha anche ingannato i valutatori umani il 49% delle volte facendogli pensare che i suoi registri delle conversazioni fossero più umani dei registri delle conversazioni tra persone reali, il che significa che non c'era molta differenza qualitativa tra i due. Google non aveva risposto a una richiesta di commento prima della pubblicazione di questa storia.

Nonostante questi risultati impressionanti, tuttavia, le abilità di Blender non sono ancora affatto vicine a quelle di un essere umano. Finora, il team ha valutato il chatbot solo su brevi conversazioni con 14 turni. Se continuasse a chattare più a lungo, sospettano i ricercatori, smetterebbe presto di avere senso. Questi modelli non sono in grado di andare molto in profondità, afferma Emily Dinan, l'altra leader del progetto. Non sono in grado di ricordare la cronologia delle conversazioni oltre pochi turni.

Blender ha anche la tendenza ad allucinare la conoscenza, o inventare fatti, una limitazione diretta delle tecniche di deep learning utilizzate per costruirla. Alla fine sta generando le sue frasi da correlazioni statistiche piuttosto che da un database di conoscenza. Di conseguenza, può mettere insieme una descrizione dettagliata e coerente di una celebrità famosa, ad esempio, ma con informazioni completamente false. Il team prevede di sperimentare l'integrazione di un database di conoscenze nella generazione di risposta del chatbot.

I valutatori umani hanno confrontato le conversazioni a più turni con diversi chatbot.

FACEBOOK

Un'altra grande sfida con qualsiasi sistema di chatbot aperto è impedirgli di dire cose tossiche o di parte. Poiché alla fine tali sistemi vengono addestrati sui social media, possono finire per rigurgitare il vetriolo di Internet. (Questo è successo infamemente a Il chatbot di Microsoft Tay nel 2016.) Il team ha cercato di affrontare questo problema chiedendo ai crowdworker di filtrare il linguaggio dannoso dai tre set di dati utilizzati per la messa a punto, ma non ha fatto lo stesso per il set di dati Reddit a causa delle sue dimensioni. (Chiunque abbia trascorso molto tempo su Reddit saprà perché potrebbe essere problematico.)

Il team spera di sperimentare meccanismi di sicurezza migliori, incluso un classificatore di linguaggi tossici che potrebbe ricontrollare la risposta del chatbot. I ricercatori ammettono, tuttavia, che questo approccio non sarà completo. A volte una frase come Sì, è fantastico può sembrare buona, ma in un contesto delicato, ad esempio in risposta a un commento razzista, può assumere significati dannosi.

A lungo termine, il team AI di Facebook è anche interessato a sviluppare agenti conversazionali più sofisticati in grado di rispondere a segnali visivi oltre che solo a parole. Un progetto sta sviluppando un sistema chiamato Image Chat, ad esempio, che può dialogare in modo sensato e con personalità sulle foto che un utente potrebbe inviare.

nascondere