La visione artificiale può creare foto in stile Harry Potter per i babbani

Chung Yi Weng | youtube

In J.K. I romanzi di Harry Potter della Rowling, le fotografie magiche sono simili a quelle ordinarie tranne per il fatto che i personaggi in esse sono animati; salutano, sorridono o talvolta scompaiono del tutto per occuparsi di altri affari.

Le foto magiche sono la creazione della straordinaria immaginazione della Rowling. Ma qualcosa del genere potrebbe presto essere disponibile per i normali babbani grazie al lavoro di Chung-Yi Weng dell'Università di Washington a Seattle e di un paio di amici. Queste persone hanno creato un software chiamato Photo Wake-Up che può animare il personaggio centrale in una fotografia lasciando intatto il resto dell'immagine.

Questo compito è più facile a dirsi che a farsi a causa di un importante problema irrisolto nell'informatica. Questo è il problema della stima della posa del corpo. Data l'immagine bidimensionale di un essere umano, la domanda a cui la visione artificiale fatica a rispondere è: quale posa tridimensionale sta assumendo la persona?

È difficile perché i corpi possono essere parzialmente occlusi, spesso da altre parti del corpo, come quando qualcuno sta in piedi con le braccia conserte. Ciò rende difficile per una macchina determinare la struttura tridimensionale da un'immagine 2D.

Una vasta gamma di team di informatica ha tentato di affrontare questo problema. In questo lavoro, Weng e colleghi utilizzano un programma chiamato SMPL, sviluppato da un team di Microsoft e dal Max Planck Institute for Intelligent Systems in Germania.

Questo inizia con un ritaglio 2D di un corpo umano e sovrappone uno scheletro 3D alla forma. Lo scheletro può quindi essere animato per creare il senso del movimento. Ciò risolve il problema della stima della posa, anche se per un insieme limitato di circostanze.

Il codice deve vedere un ritaglio dalla testa ai piedi di un corpo che sembra dalla parte anteriore. Può gestire alcuni tipi di occlusione, come un braccio davanti al corpo, ma non può gestire occlusioni più complesse, come qualcuno seduto con le gambe incrociate. Tuttavia, la mappatura del ritaglio di una fotografia su uno scheletro 3D non produce animazioni realistiche.

È qui che entrano in gioco Weng e co. Il loro risultato principale è quello di sviluppare un modo per deformare il ritaglio 2D in un modo che crei un modello 3D realistico del corpo. Il nostro contributo tecnico chiave, quindi, è un metodo per costruire un modello 3D animabile che corrisponda alla silhouette in una singola foto, dicono.

In passato, gli informatici hanno cercato di risolvere questo problema deformando una maglia tridimensionale a forma di corpo per riflettere il ritaglio 2D. Non sempre funziona bene, quindi Weng e compagni provano un approccio diverso.

La loro idea è mappare la mesh a forma di corpo nello spazio 2D e quindi allinearla con il ritaglio 2D utilizzando un algoritmo di warping. Questo identifica parti specifiche del corpo - testa, braccio destro, gamba destra, braccio sinistro, gamba sinistra e busto - e deforma ciascuna in modo che corrisponda al ritaglio.

Dopo aver eseguito l'allineamento in 2D, lo trasformano di nuovo in 3D. Questo approccio alla deformazione 2D funziona bene per la gestione di sagome complesse, dicono.

Il team presta particolare attenzione alla testa, su cui gli spettatori umani tendono a concentrarsi. La precisione nella posa della testa è importante per una buona animazione, dicono. Quindi il loro algoritmo identifica anche caratteristiche come la direzione dello sguardo e l'angolo della testa, quindi usa questo per ottenere un angolo preciso per la posa della testa a rete.

Queste tecniche automatizzate sono buone, ma non perfette. Quindi il team ha anche sviluppato un'interfaccia utente che consente a chiunque di cambiare l'orientamento dello scheletro rispetto al corpo. Ciò consente agli utenti di correggere eventuali errori e di perfezionare l'animazione.

Il risultato finale è un tipo impressionante di foto animata. L'algoritmo isola un corpo umano nella fotografia, lo ritaglia dall'immagine e riempie la lacuna con un algoritmo di riempimento delle patch. Quindi anima questo corpo in tre dimensioni per farlo uscire dalla foto, correre, saltare o salutare, un po' come le foto magiche immaginate da Rowling. L'algoritmo funziona anche in impostazioni di realtà aumentata.

Il nostro metodo funziona con un'ampia varietà di foto di tutto il corpo, abbastanza frontali, che vanno dalle foto sportive, all'arte e ai poster, dicono. Il team ha prodotto un video che mostra il metodo e i risultati qui . Vale la pena guardarlo!

È un lavoro interessante con il potenziale per intrattenere e informare. Come affermano Weng e colleghi: crediamo che il metodo non solo consenta alle persone nuovi modi di divertirsi e interagire con le foto, ma suggerisca anche un percorso per ricostruire un avatar virtuale da una singola immagine fornendo allo stesso tempo informazioni sullo stato dell'arte dell'essere umano modellazione da una singola foto.

Anche la Rowling sarebbe sicuramente rimasta colpita.

Rif: arxiv.org/abs/1812.02246 : Photo Wake-Up: Animazione di personaggi 3D da una singola foto

nascondere