L'IA di DeepMind ora può giocare a tutti i 57 giochi Atari, ma non è ancora abbastanza versatile

Categoria: Intelligenza artificiale Inserito 01 aprile

Le notizie: Un'intelligenza artificiale chiamata Agent57 ha imparato a giocare a tutti i 57 videogiochi Atari nell'ambiente Arcade Learning, una raccolta di giochi classici che i ricercatori utilizzano per testare i limiti dei loro modelli di deep learning. Sviluppato da DeepMind, Agent57 utilizza lo stesso algoritmo di apprendimento per rinforzo profondo per raggiungere livelli di gioco sovrumani anche nei giochi con cui le precedenti IA hanno lottato. Essere in grado di apprendere 57 compiti diversi rende Agent57 più versatile rispetto alle precedenti IA di gioco.

Cosa c'è in un gioco? I giochi sono un ottimo modo per testare le IA. Forniscono una varietà di sfide che costringono un'IA a elaborare una serie di strategie e tuttavia hanno ancora una chiara misura del successo, un punteggio, su cui allenarsi. Ma quattro giochi Atari in particolare si sono rivelati difficili da battere. In Montezuma's Revenge and Pitfall, un'IA deve provare molte strategie diverse prima di trovarne una vincente. E in Solaris e Skiing possono esserci lunghe attese tra l'azione e la ricompensa, rendendo difficile per un'IA imparare quali mosse ottengono il miglior guadagno.

Meta-mente: Per affrontare queste sfide, l'Agente57 riunisce molteplici miglioramenti che DeepMind ha apportato alla sua rete Deep-Q, l'IA che ha battuto per la prima volta una manciata di giochi Atari nel 2012, inclusa una forma di memoria che gli consente di basare le decisioni su cose che aveva in precedenza visto nel gioco e nei sistemi di ricompensa che incoraggiano l'IA a esplorare le sue opzioni in modo più completo prima di decidere una strategia. Queste varie tecniche sono poi gestite da un meta-controller, che bilancia i compromessi tra andare avanti con una particolare strategia e fare più esplorazione.

Perchè importa: Nonostante tutto il loro successo, i migliori modelli di deep learning che abbiamo oggi non sono molto versatili. La maggior parte tende ad essere brava in una cosa e solo in una cosa. Addestrare un'IA per eccellere in più di un compito è una delle più grandi sfide aperte nel deep learning. La capacità di apprendere 57 attività diverse rende Agent57 più versatile rispetto alle precedenti IA di gioco, ma, e questo spesso viene perso, non può ancora imparare a giocare a più di un gioco alla volta. Agent57 può imparare a giocare a 57 giochi, ma non può imparare a giocare a 57 giochi contemporaneamente. Deve riqualificarsi per ogni nuovo gioco anche se può utilizzare lo stesso algoritmo per farlo. In questo modo Agent57 è simile ad AlphaZero, l'algoritmo di apprendimento per rinforzo profondo di DeepMind, che può imparare a giocare a scacchi, Go e shogi, ma ancora una volta, non tutto in una volta. La vera versatilità, che arriva così facilmente a un bambino umano, è ancora ben oltre la portata delle IA.