Podcast: in che modo i giochi insegnano all'IA ad apprendere da sola

Storia di gioco dell

Signora Tech | Spruzza





Dagli scacchi a Jeopardy agli e-sport, l'IA batte sempre più gli umani nei loro stessi giochi. Ma quello non è mai stato l'obiettivo finale. In questo primo episodio della terza stagione di In Machines We Trust, scaviamo la relazione simbiotica tra i giochi e l'IA. Incontriamo i grandi giocatori nello spazio e facciamo un viaggio in una sala giochi.

In questo episodio incontriamo:

  • Julian Togelius, Professore Associato, Dipartimento di Informatica e Ingegneria, New York University
  • Will Douglas-Heaven, Senior Editor per AI, MIT Technology Review
  • David Silver, Principal Research Scientist presso DeepMind, Professore all'University College London.
  • David Fahri, ricercatore capo, Open AI

Per realizzare questo episodio, abbiamo anche parlato con Natasha Regan, attuaria presso RPC Tyche, Chess WIM e coautrice di 'Game Changer'.

Suoni da:

Crediti:

Questo episodio è stato segnalato da Jennifer Strong e Will Douglas Heaven e prodotto da Anthony Green, Emma Cillekens e Karen Hao. Siamo curati da Niall Firth, Michael Reilly e Mat Honan. Il nostro tecnico del mix è Garret Lang. Sound design e musica di Jacob Gorski.



Trascrizione completa:

[ID TR]

[SOT: Jeopardy annuncia la Watson Challenge]

Trebeck: Oggi annunciamo una competizione Jeopardy diversa da qualsiasi altra cosa che abbiamo mai presentato prima.



Jennifer: Dieci anni fa, il quiz televisivo Jeopardy ha svelato un nuovo giocatore...

Trebeck: È una partita di esibizione con due dei più grandi giocatori in pericolo della storia... il loro sfidante? Bene, il suo nome è Watson.

Annunciatore di documentari: [musica] Watson è un computer IBM progettato per giocare a Jeopardy. Watson comprende il linguaggio naturale con tutta la sua ambiguità e complessità.



Jennifer: E forse non sorprende... dato che giocare a Jeopardy lo è la cosa è stato progettato per fare... Watson era bravo. Veramente buono.

[SOT: Montage of Watson Jeopardy risponde.]

Trebek: Watson.



Watson: Cos'è Istanbul.

Trebek: Hai ragione.

Trebek: Watson.

Watson: Cos'è il parlamento

Trebek: Destra.

Trebek: Watson.

Watson: Cos'è il greco antico.

Trebek: Watson, torniamo a te.

Jennifer: Dopo tre notti di questo, Watson ha vinto... battendo i due migliori giocatori nella storia del game show... Dagli scacchi a Jeopardy agli e-sport... l'IA sta battendo gli umani nei loro stessi giochi... (si fa per dire)... ma non è mai stato così lo scopo finale. I ricercatori stanno cercando di costruire sistemi intelligenti che siano più utili e generici di qualsiasi cosa abbiamo.

David Argento: Se il cervello umano può risolvere tutti i tipi di compiti diversi, possiamo costruire programmi che possono fare la stessa cosa?

Jennifer: Sono Jennifer Strong e in questo episodio approfondiamo la relazione simbiotica tra giochi e intelligenza artificiale. Perché da quando c'è stata la ricerca sull'IA, i giochi ne hanno fatto parte. Incontriamo i grandi giocatori nello spazio... e facciamo un viaggio in una sala giochi.

{Suoni di gioco}

Karen Hao: In un certo senso, i giochi hanno un po' esagerate le capacità di intelligenza artificiale, perché...

Jennifer: Questa è la mia collega Karen Hao...

Karen Hao: Molte persone ora credono che l'IA sia molto più capace di quanto non sia in realtà, ma i giochi sono in realtà una dimostrazione di un'intelligenza incredibilmente ristretta. E ora siamo un po' intrappolati in questo ciclo in cui la ricerca sull'IA sta seguendo specificamente questo percorso di giochi sempre più avanzati senza effettivamente andare a situazioni, ambienti del mondo reale sempre più avanzati e complessi... che è ciò di cui abbiamo effettivamente bisogno.

{Suoni di gioco}

[MOSTRA ID]

OC:...hai raggiunto la tua destinazione.

Giuliano Togelio: I giochi fanno parte dell'IA sin dall'inizio dell'IA, o come da quando è iniziata l'idea stessa dell'IA.

Jennifer: Julian Togelius è un professore e scienziato informatico che vive a New York City...

Giuliano Togelio: Lavoro sull'IA per migliorare i giochi e anche sui giochi per migliorare l'IA.

Jennifer: Mi sta dando una lezione di storia su questo rapporto tra giochi e intelligenza artificiale... e in qualche modo, riesce a farlo mentre gioca anche ad alcuni videogiochi con cui ha lavorato.

Giuliano Togelio: Lavoro in particolare con i videogiochi e una sorta di videogiochi moderni perché davvero scacchi e Go e tutto il resto... Voglio dire, abbiamo quasi finito con quello. È come, voglio dire, [risate] per non scoraggiare le persone a cui piace giocare a scacchi e come giocare a Go oa poker per la sfida mentale. Va bene. Ma sai, ci sono così tante più possibilità, così tante sfide più interessanti negli altri giochi.

Jennifer: Come sei entrato in questo campo?

Giuliano Togelio: Sì. Quindi, quando mia madre ha dato via i miei gatti, [risate] è vero! Voglio dire, lei, è diventata allergica e quindi cosa hai intenzione di fare? Quindi mi ha dato un computer prima di un Commodore 64, e ho iniziato a giocare a tutti questi giochi e sono rimasto davvero affascinato da questi piccoli, piccoli mondi. E poi sono cresciuto... beh, più o meno. [risate] Uh, sono cresciuto, ho finito il liceo. Ho iniziato a studiare filosofia e psicologia. Mi interessava, come funziona la mente? Qual è il rapporto tra coscienza e intelligenza e come nasce?

Jennifer: Queste domande lo hanno portato a un primo articolo del pioniere dell'informatica Alan Turing... Fu il primo a dimostrare che costruire un computer era anche matematicamente possibile.

Giuliano Togelio: Quel documento è in gran parte sui giochi. Riguarda l'Imitation Game, quello che ora è chiamato Turing Test, in cui provi a dire se qualcuno con cui stai essenzialmente chattando - non si chiamava chat negli anni Cinquanta - se qualcuno con cui stai parlando via SMS è un computer o un umano. Si tratta anche di scacchi. Perché gli scacchi sono diventati molto presto al centro della ricerca sull'intelligenza artificiale.

Jennifer: Pensiamo che le persone che giocano a scacchi abbiano un certo livello di intelligenza... e così il gioco è diventato un modo per valutare quanto siano intelligenti anche le macchine.

E... fatto divertente? Fu scritto il primo vero programma di gioco di scacchi prima di esisteva persino un computer per eseguirlo. Turing lo ha giocato nel 1950... usando un algoritmo elaborato su carta.

(Non ha funzionato molto bene.)

Ma le persone hanno continuato a portare avanti questa ricerca per decenni.

E poi, nel 1997, il computer Deep Blue di I-B-M ha battuto Garry Kasparov... il campione del mondo in carica di scacchi.

[SOT] - Deep Blue batte Garry Kasparov nel gioco sei tramite YouTube

Commentatore 2: Ci manca qualcosa sulla scacchiera ora che Kasparov vede? Non sembra... anzi sembra disgustato.

Commentatore 1: Ehi!

Commentatore 2: Profondo blu! Kasparov, dopo la mossa C4, si è dimesso!

[Applausi]

Giuliano Togelio: E questo è stato un enorme evento intellettuale che la gente stava pensando, ok, e adesso? Abbiamo appena risolto l'intelligenza artificiale? E si scopre che no, non l'hai fatto perché questo programma di gioco di scacchi non poteva nemmeno giocare a dama senza una riprogrammazione significativa. Non è stato possibile riprodurre Go. Non poteva suonare molte cose. E ancora di più, non poteva allacciarsi i lacci delle scarpe. Non poteva cuocere i maccheroni. Non poteva scrivere una poesia d'amore. Non poteva uscire e comprare un giornale. Non potrebbe fare nessuna di queste cose che gli umani fanno tutto il tempo. Potrebbe davvero fare solo una cosa. Potrebbe giocare a scacchi. Era dannatamente bravo, ma poteva davvero solo giocare a scacchi.

Jennifer: Quindi, gli umani avevano risolto quella che si credeva fosse la sfida più grande della creazione di intelligenza... ma quando hai guardato sotto il cofano del programma... dice che era essenzialmente solo una specie di ricerca.

Giuliano Togelio: E se prendo questa mossa? E poi, cosa succede se il mio avversario prende questa mossa, allora cosa succede se faccio questa mossa? Quindi avevamo costruito un albero di possibilità e contro-possibilità e calcolato da quello. In realtà era molto più complicato di così, ma questo è il cuore di quello che stava facendo. E la gente lo guardava come se non sembrasse niente di simile a come funziona il nostro cervello. Voglio dire, non sappiamo davvero come funzioni il nostro cervello, ma, um, qualunque cosa stiano facendo, non è questo. [ridere]

Jennifer: Ma non è SOLO usato per giocare contro gli umani... L'IA si presenta nei giochi in tutti i modi. Soprattutto per renderli più interessanti e stimolanti.

Per esempio…. L'IA cambia parti dei videogiochi... in modo che siano diversi ogni volta che li giochiamo, ed è così dagli anni 19-80.

Giuliano Togelio: E questo principio di, tipo, creare sempre qualcosa di nuovo... e ogni volta che giochi è nuovo... è sopravvissuto in molti giochi diversi. Ad esempio, la serie di giochi Diablo si basa su questo, o la serie di giochi di strategia Civilization. Ogni volta che ci giochi, hai un mondo completamente nuovo e questo è il fulcro del gioco. Semplicemente non sarebbe lo stesso se non lo facessi.

Jennifer: Un altro motivo per farlo è lo spazio di archiviazione... e dice che un gioco chiamato Elite è diventato un'importante pietra miliare... quando è stato reso disponibile per i personal computer, incluso il Commodore 64.

Giuliano Togelio: Non potrebbe stare nella memoria di questo computer. Quindi una versione aveva 4.096 diversi sistemi stellari. Ora, se avessi solo 64.000 byte di memoria e immagini, pensa a quanto poco è, è un milionesimo di un computer che puoi acquistare oggi. Quindi, hanno dovuto ricreare il sistema stellare ogni volta che ci arrivavi. Fondamentalmente costruiscilo da zero.

Jennifer: Ed è ancora così adesso. Certo, abbiamo molto più spazio di archiviazione. Ma i giochi sono anche molto, molto più grandi e complessi.

Giuliano Togelio: Il gioco di No Man's Sky, uscito nel 2016, ma continuano ad aggiornarlo: diventa sempre più impressionante. Ha più pianeti di quanti potresti mai visitare in una vita, ma in qualche modo si adatta tutti al tuo computer perché vengono ricreati ogni volta che li vedi.

Jennifer: Nel frattempo, i ricercatori hanno anche continuato a costruire IA per il gioco... e Togelius dice che una delle prossime sfide in quello spazio sarà per loro di giocare a più giochi contemporaneamente... perché il multitasking è qualcosa che gli esseri umani sanno fare bene... ma non è ancora il caso per questi sistemi.

Quindi, come possiamo passare da questi ambienti altamente strutturati con molta prevedibilità... a qualcosa di più vicino alla vita reale, che è disordinata e caotica e per niente prevedibile.

A lui e ad altri ricercatori...? Giochiamo a più giochi.

Giuliano Togelio: Se avessimo un sistema in grado di riprodurre in modo affidabile, come con una certa competenza, i primi cento giochi in una top list di giochi per computer, come Steam o AppStore o qualcosa del genere, allora avremmo qualcosa di simile all'intelligenza generale.

Jennifer: Quindi, in un certo senso... siamo ancora al punto in cui eravamo mezzo secolo fa... pensando che potremmo trovare la chiave dell'intelligenza generale con sistemi di intelligenza artificiale in grado di battere gli umani nel loro stesso gioco.

[ritmo/musica]

Ma mescoliamo anche giochi e intelligenza artificiale in molti altri modi... ad esempio per aiutarci con i dati di allenamento.

Alcuni anni fa ho incontrato un team a Princeton che cercava di rendere i segnali di stop più riconoscibili per le auto a guida autonoma... usando il gioco Grand Theft Auto.

Per quanto strano possa sembrare... in realtà è piuttosto pratico se si considera in quanti modi diversi un guidatore potrebbe imbattersi in un segnale di stop nel mondo reale... che sia su un bastone nel terreno... sospeso in aria... o dipinto su il selciato… e li incontriamo con ogni tipo di luce e tempo… a volte parzialmente nascosti dai rami degli alberi… o nel buio della notte.

I ricercatori potrebbero cercare esempi di tutti questi segnali di stop... oppure i videogiochi possono semplicemente generare infiniti esempi.

Utilizziamo anche i giochi per capire meglio come gli algoritmi prendono le decisioni.

[Inizia a portare i suoni da Arcade. *Inizia la musica a tema e il gameplay di Frogger, alterna le mosse*]

Jennifer: Siamo in una classica sala giochi a Boston... perché ha molti di questi vecchi videogiochi che vengono utilizzati per addestrare i sistemi di intelligenza artificiale.

Will Douglas-Heaven: Ciao, sono Will Douglas-Heaven. Sono redattore senior per AI presso Technology Review... E non posso giocare a Frogger.

Will Douglas-Heaven: Frogger è apparso di recente in alcune diverse ricerche sull'IA in cui stavano cercando di convincere un'IA a spiegarsi e spiegare come stava facendo. Ehm, e hanno insegnato... hanno addestrato un'IA per giocare a questo gioco e conosci Frogger... puoi sentire dal rumore, continuo a fallire.

Quindi Frogger è questo gioco in cui sei una piccola rana in fondo e devi attraversare una strada con le macchine che si muovono sullo schermo a sinistra ea destra, e devi schivare tra di loro. E poi arrivi a un fiume e salti sul dorso di tartarughe e tronchi per arrivare dall'altra parte senza cadere come ho fatto io lì. Ehm, comunque, quindi è un gioco che ha un sacco di azioni definite che intraprendi ad ogni passo. E così, quando hanno addestrato l'IA a farlo, ogni volta che ha preso un'azione, hanno avuto modo di spiegare in, um, una specie di, sai, termini comprensibili per l'uomo perché l'ha fatto.

[*Suoni di gioco continuano*]

Jennifer: Fondamentalmente, l'IA fa il suo gioco... e nel tempo, risolve come avere successo. Le mosse casuali si evolvono in strategie complesse... anche alcune che non conoscevamo.

[Continua i giochi suonano sotto il VO sopra e anche in questo pezzo audio]

Will Douglas-Heaven: Hanno lanciato le IA a questi vecchi giochi e hanno mostrato loro gli schermi che non avevano idea di come giocare. Erano solo pixel su uno schermo, sono successe delle cose. Hanno provato delle cose e qualche volta sono esplose. A volte hanno sparato alle navi aliene. E usando solo una sorta di ricompensa che sai quando hanno fatto qualcosa, giusto, il punteggio è aumentato, hanno lentamente capito come giocare. E sono passati dalla comprensione, niente a, in molti casi, una sorta di battere i punteggi più alti dei migliori giocatori umani. E anche alcuni esempi davvero interessanti in cui hanno effettivamente trovato modi per battere il gioco che gli umani non avevano scoperto.

Jennifer: Un esempio viene da un gioco chiamato Q*Bert, che mette i giocatori su una piramide di quadrati.

Will Douglas-Heaven: Voglio dire, l'idea di base è che hai questo piccoletto che salta giù dalla piramide dall'alto atterrando sui quadrati. E quando hai cambiato tutti i quadrati dello stesso colore, puoi passare al livello successivo. Ma l'IA, penso al primo livello, ha cambiato tutti i colori dei quadrati e poi ha continuato a saltare su e giù per i quadrati piuttosto che passare al livello successivo. E ha trovato alcuni bug nel gioco che gli hanno permesso di ottenere un punteggio infinito in davvero un breve lasso di tempo. E anche i progettisti del gioco erano come se non avessi mai visto quel bug prima.

Jennifer: Dopo la pausa... Incontreremo alcuni pionieri dietro le principali scoperte in questo campo. Ma prima, voglio parlarti di un evento chiamato CyberSecure a novembre. È la conferenza sulla sicurezza informatica di Tech Review e sarò lì con i miei colleghi. Puoi saperne di più su Cyber ​​Secure M-I-T dot com.

Torneremo subito... dopo questo.

[MIDROLL]

David Argento: Mi chiamo David Silver. Lavoro sull'intelligenza artificiale e la applico ai giochi. Lavoro per un'azienda chiamata DeepMind e il nostro obiettivo è provare a usare, ehm, l'intelligenza artificiale per provare a costruire un sistema che abbia alcune delle intelligenze che sono all'interno del cervello umano.

Jennifer: DeepMind è al centro di questo lavoro con i giochi. È un laboratorio di ricerca che fa parte di Alphabet di Google.

David Argento: Se il cervello umano può risolvere tutti i tipi di compiti diversi, possiamo costruire programmi che possono fare la stessa cosa?

Jennifer: È il ricercatore capo dietro alcuni dei più noti sistemi di intelligenza artificiale che hanno imparato a giocare... a cominciare dai giochi da tavolo (incluso l'antico gioco di strategia cinese di Go).

David Argento: Abbiamo sviluppato un sistema chiamato AlphaGo, che è stato il primo programma a poter giocare al gioco di Go al livello dei migliori giocatori professionisti umani. E infatti riuscì a battere il campione del mondo Lee Sedol.

David Argento: E c'è questo enorme spazio di giochi, molti dei quali hanno queste bellissime caratteristiche che ci permettono di immergerci davvero e capire, sai, un pezzo di mondo in isolamento senza dover affrontare tutta l'immensa complessità del mondo reale tutto in una volta.

Jennifer: AlphaGo ha imparato a giocare ai giochi da tavolo in base a come giocano le persone.

Il sistema successivo di Silver, AlphaZero, ha imparato a giocare ai giochi da tavolo e ai videogiochi in un modo diverso... imparando le regole di un gioco e poi giocando a se stesso più e più volte.

David Argento: Dopo AlphaGo, abbiamo cercato di fare il passo successivo e creare qualcosa di ancora più generale, ovvero poter giocare non solo a un gioco, ma a molti giochi che utilizzano la stessa tecnologia. E questo è un grande trampolino di lancio perché sta davvero cercando di fare una delle cose che noi, come persone siamo in grado di fare, che è risolvere molti problemi, usando lo stesso tipo di macchinari all'interno.

Jennifer: Esso è una pietra miliare nel rendere l'IA più generica... Ma con un avvertimento importante. L'algoritmo non può imparare a giocare a questi giochi tutti in una volta. È come se si costruisse cervelli separati per ogni gioco. Quindi deve scambiare il suo cervello di scacchi prima di giocare a Go.

È sicuro dire che i ricercatori stanno ancora cercando di capire come rendere i giochi un test per la vita reale. Perché i giochi hanno regole che possono essere definite... e nessuno conosce davvero le regole con cui funziona il mondo.

David Argento: Il mondo è davvero un posto disordinato. Sai, ha queste dinamiche incredibilmente ricche in corso, tutti i tipi di dettagli nel modo in cui gli oggetti si muovono. Il modo in cui le cose che vediamo si riferiscono alle cose che tocchiamo. C'è solo questa incredibile ricchezza e complessità nel mondo reale. E non possiamo sperare di affrontarlo nel modo in cui le persone storicamente si sono avvicinate ai giochi. Quindi ciò di cui abbiamo bisogno è qualcosa che possa capire il mondo da solo in un modo che comprenda gli schemi in un modo che sia utile per prendere decisioni che siano effettivamente significative per aiutare a raggiungere i suoi obiettivi.

Jennifer: Il suo ultimo progetto si chiama MuZero. Eccelle in tanti giochi quanto AlphaZero... (oltre a tutta una serie di videogiochi).

...ma questo sistema capisce come si gioca senza che venga data alcuna regola.

David Argento: Quindi è stato davvero scatenato. Era in grado di giocare contro se stesso. E tutto ciò che ha ottenuto alla fine del gioco è stato un segnale per dire, Ehi, hai vinto o Ehi, hai perso. E da quel segnale, è stato in grado di costruirsi una comprensione sufficiente delle regole del gioco da poter effettivamente immaginare cosa sarebbe successo nel futuro. E una volta che ha avuto questa capacità di immaginare nel futuro, è stato in grado di cercare e iniziare a guardare avanti e iniziare a pensare al futuro e dire, aha, ora capisco come funziona questo mondo. Posso iniziare a immaginare cosa accadrebbe se giocassi questa mossa o intraprendessi questa azione. E quindi questo è davvero un passaggio chiave di cui abbiamo bisogno e qualcosa che crediamo sia molto importante per il futuro dell'IA.

Jennifer: Dice che non è dissimile da un bambino che affronta il mondo che lo circonda... costruendo nel tempo capacità creative e di problem solving.

David Argento: Penso che stiamo già vedendo esempi in cui, all'interno di domini vincolati, vediamo algoritmi che sono a tutti gli effetti creativi. Voglio dire, che cos'è la creatività dopo tutto oltre, sai, la capacità di scoprire una nuova idea per se stessa. E penso che questa sia l'essenza della creatività. L'essenza della creatività è ciò che stanno facendo i nostri algoritmi, che è scoprire passo dopo passo qualcosa di nuovo e imparare attraverso la loro esperienza che questa nuova idea che hanno avuto è in realtà qualcosa che è potente e che lo aiuta a raggiungere i suoi obiettivi. obiettivi. Quindi penso che in futuro vedremo sempre più creatività di questa forma. Vedremo, si sa, macchine in grado di scoprire da sole idee che le aiutano a raggiungere gli obiettivi. Non perché una persona glielo abbia detto, questa è la cosa di cui hai bisogno per raggiungere quell'obiettivo, ma perché l'hanno capito da soli.

Jennifer: E... quella creatività ha portato AlphaZero a scoprire nuove cose su come giocare a scacchi. Ora…. i giocatori umani lo stanno effettivamente adottando nei loro giochi ... chiamandolo ... 'giocare una mossa alfa zero'.

[SOT: come giocare come AlphaZero]

Ospite: Benvenuti in un'altra edizione di How to Attack lLike AlphaZero! Spero che tu sia pronto per la lezione di oggi...

Jennifer: Questo sta accadendo anche con gli e-sport... che sono competizioni di videogiochi che vengono spesso giocate di fronte a un pubblico dal vivo... simili a un evento sportivo... Con un pubblico mondiale di quasi mezzo miliardo di spettatori che si sintonizza per guardare i loro giochi preferiti giocati da alcuni dei migliori giocatori del mondo.

Anche in questo caso, l'intelligenza artificiale viene utilizzata in molti modi... come strumenti di coaching per aiutare le persone a migliorare nel gioco... e (ancora una volta), i ricercatori mirano anche a utilizzare gli e-sport per rendere i loro sistemi di intelligenza artificiale più intelligenti...

David Farhi: Immaginiamo che a un certo punto ci saranno sistemi di intelligenza artificiale generali che possono davvero risolvere i problemi rapidamente, possono imparare forse a livello degli umani.

Jennifer: David Farhi è un ricercatore capo presso Open AI... Il laboratorio di ricerca fondato da Elon Musk e un gruppo di altri luminari della Silicon Valley.

Ha creato il primo sistema a battere i campioni del mondo in un gioco di e-sport.

Quel gioco si chiama Defense of the Ancients 2, che tutti chiamano Dota 2... e c'è un nuovo documentario su questa vittoria... chiamato Artificial Gamer.

[Clip dal trailer di Artificial Gamer]

[Musica e suoni drammatici dal gameplay di Dota 2]

Relatore 1: Quando guardi il gioco di Dota, ci sono oltre 10.000 variabili in ogni momento che il tuo sistema deve assorbire.

Relatore 2: L'IA apprende in un modo molto diverso rispetto agli esseri umani.

Speaker 3: Gioca contro le copie di se stesso. Molte, molte volte fuori nel cloud..

Jennifer: Fahri ha supervisionato il progetto Dota 2, chiamato Open AI Five... e ha dimostrato come funziona alla conferenza AI di Tech Review, EmTech Digital...

[Suoni di gioco di Dota 2 via Youtube. [00:03 - 00:15] Dissolvenza, poi vai a letto sotto il seguente Farhi select. *Combattimento con la spada, passi e musica di battaglia drammatica.*]

David Farhi: Nell'angolo in alto a destra di questa schermata. Vediamo una vista molto grande, ingrandita, dell'intero mondo di Dota, nell'angolo in basso a sinistra c'è la base di una squadra. Nell'angolo in alto a destra c'è la base di un'altra squadra. Ogni squadra sta cercando di spostare i propri personaggi, lanciare incantesimi con i propri personaggi, attaccare i nemici e così via per invadere e distruggere la base dell'altra squadra.

David Farhi: Questi sistemi più complicati come la robotica e i videogiochi hanno un aspetto diverso perché ottieni un'osservazione dello stato del gioco e quindi scegli un'azione da intraprendere. E poi lo stato del gioco cambia in qualche modo, a seconda dell'azione che hai intrapreso. E poi hai una nuova osservazione e puoi scegliere una nuova azione e questo ciclo si ripete ancora e ancora e ancora. E quindi devi prendere decisioni che hanno conseguenze a lungo termine lungo la strada. Quindi il modo in cui lo facciamo è relativamente semplice. Almeno concettualmente. Abbiamo agenti che iniziano a giocare in modo totalmente casuale. E dobbiamo solo giocarli contro se stessi, un clone di se stessi ancora e ancora e ancora.

Jennifer: E se stai pensando che potrebbe volerci molto tempo con un gioco così complicato? Non ti sbagli... ma la capacità di Open AI di eseguirlo su 200mila macchine contemporaneamente... aiuta.

Fondamentalmente... è in grado di acquisire circa 250 anni di esperienza al giorno.

E se il sistema fa qualcosa che funziona... viene aggiornato per fare di più quella cosa... e se succede qualcosa di brutto che non funziona, lo fa meno.

David Farhi: Abbiamo iniziato con una versione limitata del gioco. Alla fine siamo riusciti a battere il nostro team di sviluppatori, il che è stato molto divertente. E poi abbiamo aggiunto altri pezzi del gioco. Siamo tornati e ci siamo allenati più a lungo. E siamo stati in grado di battere alcuni dilettanti e poi alcuni umani semi-professionisti. Alla fine abbiamo deciso di partecipare a un grande torneo che questo gioco ha...

[Suoni da The International 3 (torneo Dota) tramite YouTube. *Folla esultante, commentatori sportivi che urlano eccitati, gameplay di Dota.*]

Conduttore sportivo: Potrebbe essere la loro ultima resistenza. [non udibile]

Conduttore sportivo: Cercherà di concentrare tutti, ma c'è così tanta roba.

Conduttore sportivo: Non ci sono più clip disponibili. Fino a circa metà HP.

Conduttore sportivo: Un quarto di HP. Un leone che circonda da tutte le parti! EKB! Conduttore sportivo: Hanno vinto il round! Lo faranno!

Conduttore sportivo: I re del nord! L'alleanza vince! Vincono TI 3.

Conduttore sportivo: L'Alleanza ha appena vinto 1,4 milioni di dollari!

Conduttore sportivo: Sono i tuoi campioni internazionali 3!

David Farhi: Quindi questo gioco ha milioni di utenti umani che competono in questi tornei per grandi premi, il che assicura che sappiamo che ci sono umani che stanno giocando a un livello di abilità molto, molto alto. Nell'agosto del 2018, abbiamo portato il nostro agente a questo torneo.

Jennifer: La loro IA ha giocato contro due squadre professionistiche che erano già state eliminate dal torneo... e hanno perso di poco. Ma l'anno successivo, con più allenamento, l'IA riuscì a battere gli ex campioni del mondo per 2 a 0.

David Farhi: Quindi OpenAI Five viene addestrato senza essere umano nel processo di formazione, quindi gioca contro se stesso in questi server cloud ancora e ancora e ancora e ancora e ancora. E poi, quando vogliamo giocarci contro un essere umano, prendiamo un'istantanea dal cloud e la riproduciamo contro un essere umano, ma non reinseriamo mai quei dati nel processo di allenamento.

[Musica]

Jennifer: Ma c'è ancora questa domanda se i giochi possono aiutarci ad addestrare l'IA per essere più utili.

In questo momento, abbiamo sistemi che sono estremamente bravi in ​​una cosa. Ma non abbiamo ancora modelli in grado di fare molte cose contemporaneamente.

Ancora una volta, il mio collega Will Douglas Heaven.

Will Douglas-Heaven: Il trucco sarà, penso che fare un passo indietro dalla creazione di IA che, eccellere in strategie o tecniche specifiche, o avere una soluzione brillante per questa particolare regola o mossa, sai, il tipo di cose che abbiamo visto in questi IA che possono imparare a giocare.

Jennifer: Per capire davvero la fase successiva di questa ricerca... Potrebbe essere utile pensare al modo in cui i bambini giocano in un parco giochi.

Will Douglas-Heaven: Non stanno giocando a un gioco che ha regole fisse di alcun tipo. Voglio dire, possono inventarli man mano che vanno avanti, ma, sai, stanno solo esplorando, provando cose e in un modo molto naturale e aperto. E non c'è alcun obiettivo definito verso cui stanno lavorando. E penso che sia questo tipo di tecnica, che è ancora una specie di gioco, che vedremo, sai, spingere davvero le cose in avanti quando parliamo di intelligenza generale. Deepmind, ad esempio, qualche mese fa ha rilasciato un playground virtuale. È una specie di mondo di videogiochi chiamato X Land. Ed è popolato da un gruppo di piccoli robot. E la cosa bella qui è che X Land stesso è controllato da un'intelligenza artificiale o una specie di maestro di gioco che riorganizza l'ambiente, riorganizza gli ostacoli, i blocchi e le palline con cui i piccoli robot possono giocare, e presenta anche diversi regole al volo. Quindi, giochi semplici come taggare o nascondino, e i robot devono solo capire come giocarli. Sai quali oggetti in quel mondo virtuale li aiuteranno a farlo. E imparano abilità generali come esplorare, provare cose e penso che questo tipo di esplorazione aperta sarà la chiave per la prossima generazione di IA. Ed è piuttosto eccitante che la [00:09:00] prossima ondata di IA, le IA che saranno brave in più cose, [00:09:03] Noi // potremmo ancora arrivarci attraverso i giochi. Quindi i giochi non vanno da nessuna parte. I giochi sono stati con l'IA sin dall'inizio. E sai, è bello vedere che giocare è ancora forse il modo migliore per imparare.

[CREDITI]

Jennifer: Questo episodio è stato segnalato da me e Will Douglas-Heaven... e prodotto da Anthony Green, Emma Cillekens e Karen Hao. Siamo curati da Niall Firth, Michael Reilly e Mat Honan. Il nostro tecnico del mix è Garret Lang… con sound design e musica di Jacob Gorski.

Grazie per l'ascolto, sono Jennifer Strong.
[ID TR]

nascondere