211service.com
L'IA ha imparato a utilizzare gli strumenti dopo quasi 500 milioni di partite a nascondino
OpenAi
Agli albori della vita sulla Terra, gli organismi biologici erano estremamente semplici. Erano creature unicellulari microscopiche con poca o nessuna capacità di coordinarsi. Eppure miliardi di anni di evoluzione attraverso la competizione e la selezione naturale hanno portato alle complesse forme di vita che abbiamo oggi, così come alla complessa intelligenza umana.
I ricercatori di OpenAI, il laboratorio di ricerca sull'IA a scopo di lucro con sede a San Francisco, stanno ora testando un'ipotesi: se potessi imitare quel tipo di competizione in un mondo virtuale, darebbe vita anche a un'intelligenza artificiale molto più sofisticata?
L'esperimento si basa su due idee esistenti nel campo: l'apprendimento multi-agente, l'idea di mettere più algoritmi in competizione o coordinazione per provocare comportamenti emergenti, e l'apprendimento per rinforzo, la tecnica specifica di apprendimento automatico che impara a raggiungere un obiettivo attraverso prove e errore. (DeepMind ha reso popolare quest'ultimo con il suo programma rivoluzionario AlphaGo, che ha battuto il miglior giocatore umano nell'antico gioco da tavolo cinese Go.)
In un nuova carta rilasciato oggi, OpenAI ha ora rivelato i suoi primi risultati. Giocando a un semplice gioco a nascondino centinaia di milioni di volte, due squadre opposte di agenti di intelligenza artificiale hanno sviluppato complesse strategie di nascondiglio e ricerca che prevedevano l'uso degli strumenti e la collaborazione. La ricerca offre anche informazioni sulla strategia di ricerca dominante di OpenAI: ridimensionare notevolmente le tecniche di intelligenza artificiale esistenti per vedere quali proprietà emergono.
Dopo circa 25 milioni di round di nascondino, i clandestini hanno imparato a costruire forti per vincere la partita. OpenAI
Sei fasi della strategia
Per creare il gioco, i ricercatori hanno progettato un ambiente virtuale che consisteva in uno spazio chiuso con vari oggetti come blocchi, rampe e barricate mobili e immobili. Gli agenti stessi erano controllati da algoritmi di apprendimento per rinforzo. Per ogni partita, gli agenti sono stati divisi in due squadre: i clandestini sono stati premiati o penalizzati rispettivamente per aver evitato o non aver evitato i cercatori; i cercatori venivano anche premiati o penalizzati per aver trovato o non aver trovato i nascondigli. Come in un classico gioco a nascondino, anche i nascondigli hanno avuto qualche secondo di vantaggio. I ricercatori non hanno dato agli agenti altre istruzioni.
Nel corso di centinaia di milioni di round di gioco, gli agenti hanno sviluppato diverse strategie e controstrategie. Durante la prima fase, i nascondigli e i cercatori hanno sviluppato strategie di evitamento e inseguimento molto rozze muovendosi nello spazio senza manipolare nessuno degli oggetti.
Nella fase tre, i cercatori hanno imparato a scavalcare le mura del forte usando una rampa. OpenAI
Ma intorno ai 25 milioni di partite, il gioco è diventato più sofisticato. I clandestini hanno imparato a spostare e bloccare le scatole e le barricate nell'ambiente per costruire forti intorno a loro in modo che i cercatori non li vedessero mai. Non solo, ma hanno anche sviluppato strategie di coordinamento, come scambiarsi oggetti, al fine di accelerare il processo di costruzione del forte.
Dopo altri 75 milioni di round, tuttavia, i ricercatori hanno scoperto una contro-strategia, spostando il processo nella fase tre. Impararono a spostare una rampa vicino al forte dei nascondigli e ad usarla per scavalcare le mura. Nella fase quattro, 10 milioni di colpi dopo, i clandestini avevano imparato a bloccare le rampe in posizione prima di costruire il loro forte. (Nessuna delle squadre poteva sbloccare un oggetto bloccato da una squadra avversaria.)
All'inizio, i ricercatori di OpenAI credevano che questa fosse l'ultima fase del gioco, ma alla fine, al traguardo dei 380 milioni di giochi, sono emerse altre due strategie. I cercatori hanno sviluppato ancora una volta una strategia per irrompere nel forte dei nascondigli utilizzando una rampa chiusa a chiave per arrampicarsi su una scatola sbloccata, quindi navigare in cima alla scatola fino al forte e oltre le sue mura. Nella fase finale, i clandestini hanno imparato ancora una volta a bloccare tutte le rampe e le scatole in posizione prima di costruire il loro forte.
Alla fine, dopo 380 milioni di turni di allenamento, i cercatori hanno imparato a 'box surf' per scavalcare le mura del forte. OpenAI
Intelligenza emergente
I ricercatori ritengono che questi risultati iniziali dimostrino un nuovo metodo promettente per l'evoluzione di un'IA più complessa. Non abbiamo detto ai nascondigli o ai cercatori di correre vicino a una scatola o di interagire con essa, afferma Bowen Baker, uno degli autori del documento. Ma attraverso la competizione tra più agenti, hanno creato nuovi compiti l'uno per l'altro in modo tale che l'altra squadra ha dovuto adattarsi.
Questo studio riflette l'approccio distintivo di OpenAI alla ricerca sull'IA. Sebbene il laboratorio abbia anche investito nello sviluppo di nuove tecniche rispetto ad altri laboratori, si è fatto un nome principalmente ridimensionando notevolmente quelli esistenti. GPT-2, il famigerato modello linguistico del laboratorio, ad esempio, ha ampiamente preso in prestito la progettazione algoritmica da modelli linguistici precedenti, inclusi BERT di Google ; L'innovazione principale di OpenAI è stata un'impresa di ingegneria e ampie risorse computazionali.
In un certo senso, questo studio riafferma il valore di testare i limiti delle tecnologie esistenti su larga scala. Il team prevede inoltre di continuare con questa strategia. I ricercatori affermano che il primo round di esperimenti non si è avvicinato al raggiungimento dei limiti delle risorse computazionali che potevano mettere a disposizione del problema.
Vogliamo che le persone immaginino cosa accadrebbe se inducessi questo tipo di competizione in un ambiente molto più complesso, dice Baker. I comportamenti che imparano potrebbero effettivamente essere in grado di risolvere alla fine alcuni problemi che forse non sappiamo già come risolvere.
Correzione: Il titolo originale indicava erroneamente il numero di partite giocate dagli agenti.