Facebook sta addestrando assistenti robot per ascoltare e vedere

Hai Facebook

Nel giugno 2019, il laboratorio di intelligenza artificiale di Facebook, FAIR, ha rilasciato AI Habitat, una nuova piattaforma di simulazione per la formazione di agenti di intelligenza artificiale. Ha permesso agli agenti di esplorare vari ambienti virtuali realistici, come un appartamento ammobiliato o un ufficio pieno di cubicoli. L'IA potrebbe quindi essere trasferita in un robot, che otterrebbe l'intelligenza per navigare nel mondo reale senza schiantarsi.

Nell'anno successivo, FAIR ha rapidamente ampliato i confini del suo lavoro sull'IA incarnata. In un post sul blog oggi , il laboratorio ha annunciato tre ulteriori traguardi raggiunti: due nuovi algoritmi che consentono a un agente di creare e ricordare rapidamente una mappa degli spazi in cui naviga e l'aggiunta del suono sulla piattaforma per addestrare gli agenti a sentire.

Gli algoritmi si basano sul lavoro di FAIR nel gennaio di quest'anno, quando un agente è stato addestrato in Habitat per navigare in ambienti sconosciuti senza una mappa . Utilizzando solo una fotocamera con rilevamento della profondità, GPS e dati della bussola, ha imparato a entrare in uno spazio proprio come farebbe un essere umano e a trovare il percorso più breve possibile verso la sua destinazione senza svolte, backtracking o esplorazione sbagliati.

Il primo di questi nuovi algoritmi ora può costruire una mappa dello spazio allo stesso tempo, consentendogli di ricordare l'ambiente e di navigare più velocemente se ritorna. Il secondo migliora la capacità dell'agente di mappare lo spazio senza dover visitare ogni sua parte. Essendo stato addestrato su un numero sufficiente di ambienti virtuali, è in grado di anticipare determinate funzionalità in uno nuovo; può sapere, ad esempio, che è probabile che ci sia spazio vuoto sul pavimento dietro un'isola della cucina senza navigare dall'altra parte per guardare. Ancora una volta, ciò consente all'agente di muoversi più velocemente in un ambiente.

Infine, il laboratorio ha anche creato SoundSpaces, uno strumento di rendering del suono che consente ai ricercatori di aggiungere un'acustica altamente realistica a qualsiasi ambiente Habitat. Potrebbe riprodurre i suoni prodotti colpendo diversi mobili o i suoni dei tacchi contro le scarpe da ginnastica su un pavimento. L'aggiunta offre ad Habitat la possibilità di addestrare gli agenti su attività che richiedono sia il rilevamento visivo che quello uditivo, come Ricevi il mio telefono che squilla o Apri la porta dove sta bussando la persona.

Dei tre sviluppi, l'aggiunta di una solida formazione è la più eccitante, afferma Ani Kembhavi, ricercatrice di robotica presso l'Allen Institute for Artificial Intelligence, che non è stata coinvolta nel lavoro. Ricerche simili in passato si sono concentrate maggiormente sul dare agli agenti la capacità di vedere o rispondere ai comandi di testo. L'aggiunta di audio è un passaggio successivo essenziale ed emozionante, afferma. Vedo molte attività diverse in cui gli ingressi audio sarebbero molto utili. La combinazione di visione e suono in particolare è un'area di ricerca poco esplorata, afferma Pieter Abeel, direttore del Robot Learning Lab presso l'Università della California, a Berkeley.

Ognuno di questi sviluppi, affermano i ricercatori di FAIR, avvicina il laboratorio sempre più alla realizzazione di assistenti robotici intelligenti. L'obiettivo è che questi compagni siano in grado di muoversi agilmente ed eseguire compiti sofisticati come cucinare.

Ma passerà molto tempo prima di poter lasciare che gli assistenti robot si liberino in cucina. Uno dei tanti ostacoli che FAIR dovrà superare: portare tutto l'allenamento virtuale nel mondo fisico, un processo noto come trasferimento sim2real. Quando i ricercatori hanno inizialmente testato i loro algoritmi virtualmente addestrati in robot fisici, il processo non è andato così bene.

Andando avanti, i ricercatori di FAIR sperano di iniziare ad aggiungere capacità di interazione anche in Habitat. Diciamo che sono un agente, dice Kristen Grauman, ricercatrice presso FAIR e professoressa di informatica presso l'Università del Texas, Austin, che ha guidato parte del lavoro. Entro e vedo questi oggetti. Cosa posso fare con loro? Dove andrei se dovessi fare un soufflé? Quali strumenti prenderei? Questo tipo di interazioni e persino i cambiamenti dell'ambiente basati sulla manipolazione porterebbero questo tipo di lavoro a un altro livello. È qualcosa che stiamo attivamente perseguendo.

nascondere