Dopo aver padroneggiato Space Invaders, scacchi e Go, l'IA affronta il calcio video

Campo da calcio Vienna Reyes | Spruzza

Google è leader mondiale nella ricerca sull'intelligenza artificiale. La sua sussidiaria DeepMind, in particolare, ha un impressionante elenco di risultati al suo attivo. Le reti neurali di DeepMind hanno raggiunto prestazioni sovrumane in un'ampia gamma di giochi. Questi includono videogiochi Atari come Pong, Breakout e Space Invaders e sfide più complesse come il gioco multiplayer online Starcraft.

DeepMind ha avuto un notevole successo anche con i giochi più tradizionali. Nel 2016, la sua macchina AlphaGo ha battuto notoriamente uno dei più forti giocatori professionisti di Go al mondo, la prima volta che una macchina ha trionfato in questo modo. Nel processo, AlphaGo ha trovato modi di giocare completamente nuovi che hanno rivoluzionato il modo in cui gli esseri umani pensano al gioco.

Non contento di sedersi sugli allori, Google sta ora rivolgendo la sua attenzione a giochi più aperti in cui l'imprevedibilità gioca un ruolo più importante. E il suo prossimo obiettivo è il video calcio.

Karol Kurach e i colleghi del Brain Team di Google Research hanno creato un videogioco di calcio chiamato Google Research Football Environment per consentire ai ricercatori di testare i loro algoritmi in un mondo basato sulla fisica, personalizzabile, facile da usare e riproducibile all'infinito. Hanno reso disponibile questo mondo con una licenza open source in modo che i ricercatori ovunque possano usarlo per sviluppare algoritmi migliori per giocare a calcio.

Prima un po' di background. Una delle sfide per i ricercatori di intelligenza artificiale è trovare attività che offrano nuovi problemi per gli algoritmi di apprendimento automatico. I videogiochi semplici come Pong o Breakout a volte sono troppo facili per questi algoritmi, che possono raggiungere prestazioni sovrumane dopo poche ore di allenamento.

Ma alcuni dei videogiochi più complessi, come Starcraft, sono troppo impegnativi. Starcraft è un gioco di strategia in tempo reale per più giocatori e si svolge in un vasto universo online. I ricercatori di intelligenza artificiale si sono interessati a questo perché consente loro di giocare contro altri umani e contro i sistemi di intelligenza artificiale basati sul gioco in ambienti complessi.

Tuttavia, il gioco è così vasto e intricato che richiede enormi risorse di calcolo per raccogliere dati rilevanti e addestrare un sistema di apprendimento automatico. E queste risorse non sono disponibili per la maggior parte dei ricercatori.

Un altro problema è che molti ambienti online promettenti funzionano con codice proprietario che i ricercatori non possono modificare o addirittura vedere. Ciò rende impossibile sapere come il gioco prende decisioni importanti o sperimentare diversi processi decisionali.

Infine, molti giochi sono del tutto deterministici: si svolgeranno esattamente allo stesso modo con gli stessi input. Ciò li rende semplici da battere per gli algoritmi di apprendimento.

Ma non è così che funzionano le cose nel mondo reale, dove la capacità di far fronte ad azioni inaspettate è un'abilità importante. L'unico modo per le macchine di apprendere questa abilità è allenarsi in ambienti imprevedibili. Ma l'imprevedibilità deve essere controllabile: troppo poco e il gioco è troppo facile, mentre troppo rende l'apprendimento troppo difficile. Creare un tale ambiente è complicato.

È qui che entrano in gioco i simulatori di calcio. Questi hanno determinati livelli di prevedibilità basati sulla fisica del gioco. Ma c'è anche molta imprevedibilità che deriva dalle tattiche dei giocatori avversari, dalla mancata corrispondenza tra i giocatori in situazioni come i contrasti e così via.

Quindi Kurach e colleghi hanno costruito il proprio simulatore. Come base, hanno utilizzato un gioco pubblicamente disponibile chiamato Gameplay Football, che consente partite di calcio complete complete di gol, falli, calci d'angolo, rigori, fuorigioco e così via. Football Environment fornisce una simulazione calcistica 3D basata sulla fisica in cui gli agenti devono controllare i propri giocatori, imparare come passare tra di loro e come superare la difesa dell'avversario per segnare gol, afferma il team di Google.

I ricercatori lo hanno modificato per fornire una misura del successo delle macchine, in base a quanto la macchina può manovrare la palla verso la porta dell'avversario in modo controllato. Ciò è necessario perché la misura standard del successo, ovvero gli obiettivi, riflette un evento relativamente raro e non fornisce alle macchine un modo per monitorare i propri progressi momento per momento.

Il team ha anche creato diversi ambienti standard di varia complessità in cui addestrare e testare macchine IA. I compiti che la macchina deve affrontare includono segnare in una porta vuota, correre e segnare contro un portiere, navigare in uno scenario 3 contro 1 per segnare incoraggiando i passaggi e così via. Il test generale è un gioco standard con tutte le regole abituali, giocato contro un avversario a macchina.

L'algoritmo di apprendimento può giocare contro altre macchine o contro esseri umani. Questo gli dà esperienza con un'ampia gamma di strategie. Ed evita lo scenario in cui la macchina apprende semplicemente i punti deboli di un avversario basato sulla macchina, che potrebbe non essere applicabile ai giochi in generale. Ciò fornisce un impegnativo problema di apprendimento per rinforzo poiché il calcio richiede un equilibrio naturale tra controllo a breve termine, concetti appresi come i passaggi e strategia di alto livello, affermano Kurach e colleghi.

È un lavoro interessante che ha il potenziale per aiutare l'apprendimento automatico a lavorare in ambienti più realistici. Ma aumenta anche la possibilità che le macchine imparino nuove strategie calcistiche che gli esseri umani non hanno mai considerato, proprio come hanno fatto per Go.

Queste sono tattiche che potrebbero anche essere giocate nei tornei di robo-calcio, o persino nei giochi tra umani.

Se queste strategie funzionano altrettanto bene per il calcio reale come per la varietà simulata sarà una domanda interessante da guardare. Sarà affascinante sia per i ricercatori di IA che per gli appassionati di calcio.

Rif: arxiv.org/abs/1907.11180 : Google Research Football: un nuovo ambiente di apprendimento per il rinforzo

nascondere