Uber ha decifrato due classici videogiochi degli anni '80 fornendo a un algoritmo di intelligenza artificiale un nuovo tipo di memoria

Squakenet

Un nuovo tipo di algoritmo di apprendimento automatico ha appena dominato un paio di videogiochi di ritorno al passato che si sono rivelati un grosso mal di testa per l'IA.

Chi segue saprà che gli algoritmi di intelligenza artificiale hanno battuto i migliori giocatori umani del mondo nell'antico ed elegante gioco di strategia Go, uno dei giochi più difficili che si possa immaginare. Ma due classici pixelati dell'era dei giochi per computer a 8 bit - Montezuma's Revenge e Pitfall! - hanno ostacolato i ricercatori di intelligenza artificiale.

C'è una ragione per questa apparente contraddizione. Sebbene ingannevolmente semplici, sia Montezuma's Revenge che Pitfall! sono stati immuni alla padronanza tramite l'apprendimento per rinforzo, una tecnica altrimenti abile nell'imparare a conquistare i videogiochi. DeepMind, una sussidiaria di Alphabet focalizzata sull'intelligenza artificiale, l'ha usata notoriamente per sviluppare algoritmi in grado di imparare a giocare a diversi videogiochi classici a livello di esperti. Gli algoritmi di apprendimento per rinforzo si adattano bene alla maggior parte dei giochi, perché modificano il loro comportamento in risposta al feedback positivo, il punteggio sale. Il successo dell'approccio ha generato la speranza che gli algoritmi di intelligenza artificiale possano insegnare a se stessi a fare ogni sorta di cose utili che sono attualmente impossibili per le macchine.

Il problema sia con Montezuma's Revenge che Pitfall! è che ci sono pochi segnali di ricompensa affidabili. Entrambi i titoli coinvolgono scenari tipici: i protagonisti esplorano mondi a blocchi pieni di creature mortali e trappole. Ma in ogni caso, molti comportamenti necessari per avanzare nel gioco non aiutano ad aumentare il punteggio se non molto più tardi. I normali algoritmi di apprendimento per rinforzo di solito non riescono a uscire dalla prima stanza in Montezuma's Revenge e in Pitfall! segnano esattamente zero.

I nuovi algoritmi provengono dal team di ricerca sull'intelligenza artificiale di Uber a San Francisco, guidato da Jeff Clune , che è anche professore associato presso l'Università del Wyoming. Il team ha dimostrato un approccio fondamentalmente diverso all'apprendimento automatico all'interno di un ambiente che offre pochi indizi per mostrare a un algoritmo come sta andando.

L'approccio porta ad alcune interessanti applicazioni pratiche, scrivono Clune e il suo team in un post sul blog pubblicato oggi, ad esempio nell'apprendimento dei robot. Questo perché i futuri robot dovranno capire cosa fare in ambienti complessi e che offrono solo poche ricompense.

Uber ha lanciato il suo laboratorio di intelligenza artificiale a dicembre 2016, con l'obiettivo di fare scoperte fondamentali che potrebbero rivelarsi utili per la sua attività. In definitiva, migliori algoritmi di apprendimento per rinforzo potrebbero rivelarsi utili per cose come la guida autonoma e l'ottimizzazione dei percorsi dei veicoli.

I ricercatori di intelligenza artificiale hanno in genere cercato di aggirare i problemi posti da Montezuma's Revenge and Pitfall! istruendo gli algoritmi di apprendimento per rinforzo per esplorare a volte in modo casuale, aggiungendo al contempo ricompense per l'esplorazione, ciò che è noto come motivazione intrinseca.

Ma i ricercatori di Uber ritengono che questo non riesca a catturare un aspetto importante della curiosità umana. Ipotizziamo che una delle principali debolezze degli attuali algoritmi di motivazione intrinseca sia il distacco, scrivono. In cui gli algoritmi dimenticano le aree promettenti che hanno visitato, il che significa che non tornano da esse per vedere se portano a nuovi stati.

La nuova famiglia di algoritmi di apprendimento per rinforzo del team, soprannominata Go-Explore, ricorda dove sono stati prima e tornerà in un'area o attività particolare in seguito per vedere se potrebbe aiutare a fornire risultati complessivi migliori. I ricercatori hanno anche scoperto che l'aggiunta di un po' di conoscenza del dominio, facendo in modo che i giocatori umani evidenzino aree interessanti o importanti, ha accelerato notevolmente l'apprendimento e il progresso degli algoritmi. Questo è significativo perché ci possono essere molte situazioni del mondo reale in cui vorresti che un algoritmo e una persona lavorassero insieme per risolvere un compito difficile.

Il loro codice ottiene una media di 400.000 punti in Montezuma's Revenge, un ordine di grandezza superiore alla media degli esperti umani. In trappola! ne accumula in media 21.000, molto meglio della maggior parte dei giocatori umani.

Questi risultati sono davvero impressionanti, afferma Emma Brunskill, assistente professore alla Stanford University specializzata in apprendimento per rinforzo. Dice che è sorprendente ed eccitante che le tecniche abbiano prodotto vantaggi così grandi.

Altri ricercatori di intelligenza artificiale hanno sfruttato questi videogiochi notoriamente difficili. Ad ottobre, un team di OpenAI, un'organizzazione no profit di San Francisco, ha dimostrato un algoritmo in grado di farlo facendo progressi significativi in La vendetta di Montezuma.

Il gruppo di Brunskill a Stanford di recente fatto progressi più modesti su Trappola! utilizzando un approccio simile a quello del team Uber.

Ora che gli algoritmi di intelligenza artificiale possono risolvere questi videogiochi, la sfida è uscire dalla sala giochi e risolvere i problemi del mondo reale.

Brunskill concorda sul fatto che questo tipo di lavoro potrebbe avere un grande impatto sulla robotica. Ma dice che altre situazioni del mondo reale, specialmente quelle che coinvolgono la modellazione del comportamento umano, sono molto più difficili. Sarà molto interessante vedere come funziona questo approccio per impostazioni più complicate, dice.

Tuttavia, non tutti sono affascinati dalla ricerca di Uber.

Alex Irpan, un ingegnere del software che lavora su machine learning e robotica presso Google, ha scritto un post sul blog il in cui si chiede perché il team di Uber AI non abbia fornito un documento tecnico, insieme a un comunicato stampa, per fornire maggiori dettagli sul proprio lavoro.

Irpan sottolinea inoltre che alterando lo stato del gioco, in modo da facilitare il loro approccio, i ricercatori di Uber AI potrebbero aver cambiato il campo di gioco in maniera significativa. Dato questo fatto, si chiede quanto possa essere pratico l'approccio.

Il post sul blog afferma che questo approccio potrebbe essere utilizzato per attività di robotica simulata e quindi combinato con il trasferimento da simulazione a reale per ottenere politiche del mondo reale. Su questo fronte sono abbastanza pessimista, scrive.

Aggiornato 11.28 con il commento di Alex Irpan.

nascondere