211service.com
Gli assistenti dell'IA dicono cose stupide e stiamo per scoprire perché
Fratello Regno Unito | Flickr
Siri e Alexa sono chiaramente tutt'altro che perfetti, ma c'è la speranza che il costante progresso nell'apprendimento automatico li trasformi in articolati aiutanti in breve tempo. Un nuovo test, tuttavia, può aiutare a dimostrare che è necessario un approccio fondamentalmente diverso affinché i sistemi di IA possano effettivamente padroneggiare il linguaggio.
Sviluppato dai ricercatori del Istituto Allen per l'IA (AI2), un'organizzazione no profit con sede a Seattle, il Sfida di ragionamento AI2 (ARC) porrà domande scientifiche a scelta multipla a livello di scuola elementare. Ogni domanda richiederà una certa comprensione di come funziona il mondo. Il progetto è descritto in un relativo documento di ricerca (PDF).
Ecco una domanda: Quale articolo qui sotto non è realizzato con un materiale coltivato in natura? (A) una maglietta di cotone (B) una sedia di legno (C) un cucchiaio di plastica (D) un cestino per l'erba
Una domanda del genere è facile per chi sa che la plastica non è qualcosa che cresce. La risposta attinge a un'immagine di buon senso del mondo che anche i bambini piccoli possiedono.
È questo il buon senso che manca all'IA dietro assistenti vocali, chatbot e software di traduzione. Ed è uno dei motivi per cui sono così facilmente confusi.
I sistemi linguistici che si basano sull'apprendimento automatico possono spesso fornire risposte convincenti alle domande se hanno già visto molti esempi simili in precedenza. Un programma addestrato su molte migliaia di chat di supporto IT, ad esempio, potrebbe essere in grado di spacciarsi per un assistente del supporto tecnico in situazioni limitate. Ma un tale sistema fallirebbe se gli venisse chiesto qualcosa che richiedesse una conoscenza più ampia.
Dobbiamo usare il nostro buon senso per colmare le lacune attorno al linguaggio che vediamo per formare un quadro coerente di ciò che viene affermato, afferma Peter Clark, il ricercatore capo del progetto ARC. Le macchine non hanno questo buon senso, e quindi vedono solo ciò che è scritto in modo esplicito e perdono le molte implicazioni e presupposti che stanno alla base di un pezzo di testo.
Il nuovo test fa parte di un'iniziativa di AI2 per infondere nei sistemi di intelligenza artificiale una tale comprensione del mondo. Ed è importante perché determinare quanto bene un sistema linguistico capisca ciò che sta dicendo può essere complicato.
Ad esempio, a gennaio i ricercatori di Microsoft e un altro gruppo di Alibaba hanno sviluppato programmi di domande e risposte che hanno superato gli umani in un semplice test chiamato Stanford Question Answering Dataset. Questi progressi sono stati accompagnati da titoli che proclamavano che i programmi di intelligenza artificiale ora potevano leggere meglio degli umani. Ma i programmi non potrebbero rispondere a domande più complesse o attingere ad altre fonti di conoscenza.
Le aziende tecnologiche continueranno a promuovere le capacità dei sistemi di intelligenza artificiale in questo modo. Microsoft annuncia oggi di aver sviluppato un software in grado di tradurre le notizie dall'inglese al cinese e viceversa, con risultati che i volontari indipendenti ritengono pari al lavoro dei traduttori professionisti. I ricercatori dell'azienda hanno utilizzato tecniche avanzate di deep learning per raggiungere un nuovo livello di accuratezza. Anche se questo è potenzialmente molto utile, il sistema faticherebbe se gli venisse chiesto di tradurre conversazioni o testi liberi da un dominio sconosciuto, come le note mediche.
Gary Marco , un professore alla NYU che ha sostenuto l'importanza del buon senso nell'IA, è incoraggiato dalla sfida AI2. Penso che questo sia un ottimo antidoto al tipo di benchmark superficiali che sono diventati così comuni nel campo dell'apprendimento automatico, dice. Dovrebbe davvero costringere i ricercatori di intelligenza artificiale a migliorare il loro gioco.