Google afferma che il suo nuovo chatbot Meena è il migliore al mondo

Categoria: Intelligenza artificiale Inserito 30 gennaio

Google ha rilasciato un chatbot basato su rete neurale chiamato Meena che afferma sia migliore di qualsiasi altro chatbot là fuori.

Consumo di dati: Meena è stata addestrata su ben 341 gigabyte di chat pubbliche sui social media, 8,5 volte più dati del GPT-2 di OpenAI. Google dice che Meena può parlare praticamente di qualsiasi cosa e può persino inventare (cattive) battute .

Perchè importa: La conversazione aperta che copre un'ampia gamma di argomenti è difficile e la maggior parte dei chatbot non riesce a tenere il passo. Ad un certo punto la maggior parte dice cose che non hanno senso o rivelano una mancanza di conoscenza di base sul mondo. Un chatbot che evita tali errori farà molto per far sentire le IA più umane e rendere i personaggi dei videogiochi più realistici.

Senso e specificità: Per mettere alla prova Meena, Google ha sviluppato una nuova metrica, chiamata SSA (sensibilità e specificità), che acquisisce attributi importanti per conversazioni naturali, ad esempio se ogni espressione ha senso nel contesto, cosa che molti chatbot possono fare, ed è specifico per quanto appena detto, che è più difficile.

Cosa intendi? Ad esempio, se dici che mi piace il tennis e un chatbot risponde È carino, la risposta ha senso ma non è specifica. Molti chatbot si affidano a trucchi come questo per nascondere il fatto che non sanno di cosa stai parlando. D'altra parte, una risposta come me: non ne ho mai abbastanza di Roger Federer è specifica. Google ha utilizzato i crowdworker per generare conversazioni di esempio e per valutare le espressioni in circa 100 conversazioni. Meena ha ottenuto un punteggio SSA del 79%, rispetto al 56% di Mitsuku, un chatbot all'avanguardia che ha vinto il Premio Loebner negli ultimi quattro anni. Anche i partner di conversazione umani hanno ottenuto solo l'86% in questo nuovo test.

Posso parlare con Meena? Non ancora. Google afferma che non rilascerà una demo pubblica fino a quando non avrà verificato il modello per sicurezza e pregiudizi, il che probabilmente è una buona cosa. Quando Microsoft ha rilasciato il suo chatbot Tay su Twitter nel 2016, ha iniziato a vomitare invettive razziste e misogine in poche ore.