Una mano robotica ha imparato da sola a risolvere un cubo di Rubik dopo aver creato il proprio regime di allenamento

OPENAI OpenAI

Più di un anno fa, OpenAI, il laboratorio di ricerca sull'intelligenza artificiale a scopo di lucro con sede a San Francisco, ha annunciato di aver addestrato una mano robotica a manipolare un cubo con notevole destrezza.

Potrebbe non sembrare sconvolgente. Ma nel mondo dell'IA, è stato impressionante per due motivi. In primo luogo, la mano aveva imparato da sola a dimenarsi con il cubo usando un algoritmo di apprendimento per rinforzo, una tecnica modellata sul modo in cui gli animali imparano. In secondo luogo, tutto l'addestramento era stato svolto in simulazione, ma è riuscito a tradursi con successo nel mondo reale. In entrambi i modi, è stato un passo importante verso robot più agili per applicazioni industriali e di consumo.

Sono rimasto un po' stupito, dice Leslie Kaelbling, robotica e professoressa al MIT, dei risultati del 21018. Non è una cosa che avrei immaginato che avrebbero potuto far funzionare.

In un nuova carta oggi, OpenAI ha rilasciato gli ultimi risultati con la sua mano robotica, Dactyl. Questa volta Dactyl ha imparato a risolvere un cubo di Rubik con una mano, ancora una volta attraverso l'apprendimento per rinforzo nella simulazione. Ciò è degno di nota non tanto perché un robot ha risolto il vecchio puzzle quanto perché il risultato ha richiesto un nuovo livello di destrezza.

Questo è un problema davvero difficile, afferma Dmitry Berenson, un robotico dell'Università del Michigan specializzato in manipolazione di macchine. Il tipo di manipolazione richiesta per ruotare le parti del cubo di Rubik è in realtà molto più difficile che ruotare un cubo.

Durante i test, Dactyl ha risolto con successo il cubo di Rubik anche in circostanze impreviste.

Dal mondo virtuale a quello fisico

Tradizionalmente, i robot sono stati in grado di manipolare oggetti solo in modi molto semplici. Mentre gli algoritmi di apprendimento per rinforzo hanno riscontrato un grande successo nel raggiungimento di compiti complessi nel software, come battere il miglior giocatore umano nell'antico gioco di Go, usarli per addestrare una macchina fisica è stata una storia diversa. Questo perché gli algoritmi devono perfezionarsi attraverso tentativi ed errori, in molti casi milioni di round. Probabilmente ci vorrebbe troppo tempo e molta usura per un robot fisico per farlo nel mondo reale. Potrebbe anche essere pericoloso se il robot si dibattesse selvaggiamente per raccogliere dati.

Per evitare ciò, i robotici usano la simulazione: costruiscono un modello virtuale del loro robot e lo addestrano virtualmente per svolgere il compito a portata di mano. L'algoritmo apprende nella sicurezza dello spazio digitale e può essere trasferito in un robot fisico in seguito. Ma quel processo ha le sue sfide. È quasi impossibile costruire un modello virtuale che replichi esattamente tutte le stesse leggi della fisica, le proprietà dei materiali e i comportamenti di manipolazione visti nel mondo reale, per non parlare di circostanze inaspettate. Pertanto, più complessi sono il robot e l'attività, più difficile è applicare un algoritmo virtualmente addestrato nella realtà fisica.

Questo è ciò che ha impressionato Kaelbling dei risultati di OpenAI un anno fa. La chiave del suo successo è stata che il laboratorio ha rimescolato le condizioni simulate in ogni ciclo di addestramento per rendere l'algoritmo più adattabile a diverse possibilità.

Hanno incasinato il loro simulatore in tutti i modi pazzi, dice Kaelbling. Non solo hanno cambiato quanta gravità c'è, hanno cambiato il modo in cui la gravità punta. Quindi, cercando di costruire una strategia che funzionasse in modo affidabile con tutte queste folli permutazioni della simulazione, l'algoritmo ha finito per funzionare nel vero robot.

Nell'ultimo articolo, OpenAI porta questa tecnica un ulteriore passo avanti. In precedenza, i ricercatori dovevano randomizzare i parametri nell'ambiente selezionando manualmente quali permutazioni pensavano avrebbero portato a un algoritmo migliore. Ora il sistema di allenamento lo fa da solo. Ogni volta che il robot raggiunge un certo livello di padronanza nell'ambiente esistente, il simulatore modifica i propri parametri per rendere le condizioni di allenamento ancora più difficili.

Il risultato è un algoritmo ancora più robusto che può muoversi con la precisione richiesta per ruotare un cubo di Rubik nella vita reale. Attraverso i test, i ricercatori hanno scoperto che Dactyl ha anche risolto con successo il cubo in varie condizioni su cui non era stato addestrato. Ad esempio, è stato in grado di completare l'attività indossando un guanto di gomma, mentre aveva alcune dita legate insieme e mentre veniva spinto da una giraffa di peluche.

Robot multiuso

OpenAI ritiene che gli ultimi risultati forniscano prove evidenti che il loro approccio sbloccherà robot più generici che possono adattarsi in ambienti aperti come una cucina domestica. Il cubo di Rubik è uno degli oggetti rigidi più complicati in circolazione, afferma Marcin Andrychowicz di OpenAI. Penso che altri oggetti non saranno molto più complicati.

Sebbene ci siano compiti più complessi che coinvolgono più oggetti o oggetti deformabili, dice, è fiducioso che il metodo del laboratorio possa addestrare i robot per tutti loro: penso che questo approccio è l'approccio all'adozione diffusa della robotica.

Sia Berenson che Kaelbling, tuttavia, rimangono scettici. Può esserci l'impressione che ci sia una teoria o un sistema unificato, e ora OpenAI lo sta semplicemente applicando a questo compito e quel compito, dice Berenson del documento precedente e attuale. Ma non è affatto quello che sta succedendo. Questi sono compiti isolati. Ci sono componenti comuni, ma c'è anche un'enorme quantità di ingegneria qui per far funzionare ogni nuova attività.

Ecco perché mi sento un po' a disagio con le affermazioni su questo che porta a robot generici, dice. Lo vedo come un sistema molto specifico pensato per un'applicazione specifica.

Parte del problema, secondo Berenson, è l'apprendimento per rinforzo stesso. Per natura, la tecnica è progettata per padroneggiare una cosa in particolare, con una certa flessibilità per gestire le variazioni. Ma nel mondo reale, il numero di potenziali variazioni va oltre ciò che può essere ragionevolmente simulato. In un'attività di pulizia, ad esempio, potresti avere diversi tipi di mop, diversi tipi di versamenti e diversi tipi di pavimenti.

L'apprendimento per rinforzo è progettato anche per apprendere nuove capacità in gran parte da zero. Questo non è né efficiente nella robotica né fedele al modo in cui gli esseri umani imparano. Se sei già un essere umano ragionevolmente competente e ho cercato di insegnarti un'abilità motoria in cucina, come forse non hai mai montato qualcosa con un cucchiaio, non è che devi imparare di nuovo tutto il tuo controllo motorio, dice Kaelbling .

Andare oltre questi limiti, sostiene Berenson, richiederà altre tecniche di robotica più tradizionali. Ci saranno alcuni processi di apprendimento, probabilmente apprendimento per rinforzo, alla fine della giornata, dice. Ma penso che quelli in realtà dovrebbero arrivare molto più tardi.

Per ricevere più storie come questa direttamente nella tua casella di posta, iscriviti alla nostra newsletter AI nominata da Webby The Algorithm. È gratis.

nascondere