211service.com
La curiosità può essere vitale per un'IA veramente intelligente
Sig. tecnico
Un algoritmo informatico dotato di una forma di curiosità artificiale può imparare a risolvere problemi complicati anche quando non è immediatamente chiaro quali azioni potrebbero aiutarlo a raggiungere questo obiettivo.
I ricercatori dell'Università della California, a Berkeley, hanno sviluppato un modello di curiosità intrinseca per far funzionare il loro algoritmo di apprendimento anche quando non c'è un forte segnale di feedback. Il modello di curiosità sviluppato da questo team vede il software AI che controlla un agente virtuale in un videogioco cercare di massimizzare la sua comprensione del suo ambiente e in particolare degli aspetti di quell'ambiente che lo influenzano. Ci sono stati tentativi precedenti per dare curiosità agli agenti di intelligenza artificiale, ma questi hanno avuto la tendenza a funzionare in un modo più semplicistico.
Il trucco può aiutare a colmare una lacuna delle più potenti tecniche di apprendimento automatico odierne e potrebbe indicare modi per migliorare le macchine nel risolvere i problemi del mondo reale.
Le ricompense nel mondo reale sono molto scarse, dice Pulkit Agrawal , uno studente di dottorato presso l'UC Berkeley che ha svolto la ricerca con i colleghi. I bambini fanno tutti questi esperimenti casuali e puoi pensarlo come una sorta di curiosità. Stanno imparando una sorta di abilità.
Diverse potenti tecniche di apprendimento automatico hanno reso le macchine più intelligenti negli ultimi anni. Tra questi, un metodo noto come apprendimento per rinforzo ha reso possibile alle macchine di realizzare cose che sarebbero difficili da definire nel codice. L'apprendimento per rinforzo implica l'utilizzo di ricompense positive per guidare il comportamento di un algoritmo verso un obiettivo particolare (vedi 10 Breakthrough Technologies 2017: Reinforcement Learning).
L'apprendimento per rinforzo era una parte fondamentale di AlphaGo , un programma sviluppato da Mente Profonda , per giocare al gioco da tavolo astratto e complesso Vai con abilità incredibile . La tecnica viene ora esplorata come un modo per infondere macchine con altre abilità che potrebbero essere impossibili da codificare manualmente. Ad esempio, può fornire un modo per un braccio robotico di capire da solo come eseguire un lavoro desiderato.
L'apprendimento per rinforzo ha i suoi limiti, però. Agrawal osserva che spesso è necessaria un'enorme quantità di formazione per apprendere un'attività e il processo può essere difficile se il feedback richiesto non è immediatamente disponibile. Ad esempio, il metodo non funziona per i giochi per computer in cui i vantaggi di determinati comportamenti non sono immediatamente evidenti. Ecco dove la curiosità potrebbe aiutare.
I ricercatori hanno provato l'approccio, in combinazione con l'apprendimento per rinforzo, all'interno di due semplici videogiochi: Mario Bros., un classico gioco platform, e VizDoom, uno sparatutto 3-D di base.
In entrambi i giochi, l'uso della curiosità artificiale ha reso il processo di apprendimento più efficiente. Nel gioco 3D, ad esempio, invece di passare troppo tempo a sbattere contro i muri, l'agente si muoveva nel suo ambiente, imparando a navigare più velocemente. Anche senza altre ricompense, l'agente è stato in grado di navigare sorprendentemente bene in entrambi i giochi. In Mario Bros. ha imparato a evitare di essere ucciso perché questo ha ridotto la sua capacità di esplorare e conoscere il suo ambiente.
A carta la descrizione della ricerca sarà pubblicata in una major Conferenza AI più tardi quest'anno.
La curiosità artificiale è da tempo un'area di ricerca attiva. Pierre-Yves Oudeyer , direttore della ricerca presso il Istituto francese per la ricerca in informatica e automazione , ha aperto la strada, negli ultimi anni, allo sviluppo di programmi per computer e robot che esibiscono semplici forme di curiosità.
Ciò che è molto eccitante in questo momento è che queste idee, che erano molto viste come 'esotiche' sia dai ricercatori tradizionali dell'IA che delle neuroscienze, stanno ora diventando un argomento importante sia nell'IA che nelle neuroscienze, dice Oudeyer.
Il lavoro potrebbe avere reali benefici pratici. Il team dell'UC Berkeley è ansioso di testarlo su robot che utilizzano l'apprendimento per rinforzo per capire come fare cose come afferrare oggetti scomodi. Agrawal afferma che i robot possono perdere un'enorme quantità di tempo eseguendo gesti casuali. Quando è dotato di una curiosità innata, un tale robot dovrebbe esplorare più rapidamente l'ambiente circostante e sperimentare con gli oggetti vicini, dice.
Lago Brenda , un ricercatore presso la New York University che costruisce modelli computazionali delle capacità cognitive umane, afferma che il lavoro sembra promettente. Sviluppare macchine con qualità simili è un passo importante verso la costruzione di macchine che imparano e pensano come le persone, ha detto in una e-mail. È davvero impressionante che utilizzando solo l'apprendimento guidato dalla curiosità, l'agente possa imparare a navigare in un livello in Mario. L'agente non guarda nemmeno il punteggio del gioco.
Allo stesso tempo, dice Lake, la curiosità dimostrata dal nuovo programma è in realtà piuttosto diversa da quella, diciamo, di un bambino. Gli esseri umani tendono a mostrare un interesse molto più profondo per il loro mondo, dice.
È una forma di curiosità molto egocentrica, dice Lake. L'agente è curioso solo delle caratteristiche del suo ambiente che si riferiscono alle sue stesse azioni. Le persone sono più curiose in generale. Le persone vogliono conoscere il mondo in modi meno direttamente legati alle proprie azioni.