Il nuovo volto di Hollywood

In cima a un treno sopraelevato che attraversa Downtown, l'uomo mascherato in abito rosso e blu è nei guai.

Non solo sta combattendo uno scienziato pazzo che sta cercando di ucciderlo con tentacoli robotici, ma ha anche bisogno di salvare i passeggeri sul treno. È tutto in una giornata di lavoro per il supereroe Peter Parker, noto anche come Spider-Man, ma significa mesi di lavoro per un team d'élite di guru della grafica.

Questa storia faceva parte del nostro numero di settembre 2004

• Vedi il resto del problema
• sottoscrivi

Questa sequenza d'azione del megahit Spider-Man 2 ha abbagliato milioni di spettatori quest'estate. Guarda da vicino il cattivo, il dottor Octopus (interpretato dall'attore Alfred Molina), e lo vedrai sorridere maniacalmente e urlare mentre deambula lungo la parte superiore e i lati del treno. Più avanti nella scena, Spider-Man (Tobey Maguire) perde la sua maschera mentre si appoggia alla parte anteriore del treno, portandolo a una brusca frenata. Le sue frenetiche espressioni facciali appaiono in modo convincente naturale.

Con tutto il rapido taglio trasversale tra le immagini di supereroi e cattivi, il pubblico probabilmente non sospetta che i volti e le figure che appaiono sullo schermo per la maggior parte del tempo non siano la realtà. Piuttosto, sono intrugli digitali creati all'interno di un computer presso la Sony Pictures Imageworks a Culver City, in California.

Abbiamo raggiunto un punto in cui possiamo realizzare ogni singola cosa generata al computer. Tutto, dal vetro in frantumi del treno a tutti gli edifici, i binari e le persone, afferma Mark Sagar, supervisore grafico di Spider-Man 2 ed esperto residente di Imageworks sui volti umani digitali. Indica la sequenza del treno mentre viene riprodotta sullo schermo del suo computer. Guarda cosa fa la fotocamera. Qui va veloce lungo il treno, poi sotto gli artisti, poi davanti a loro, poi un campo lungo. Come hai potuto farlo con una vera macchina fotografica? Ma i volti digitali delle persone sono l'ultimo, cruciale pezzo di questo puzzle. In passato, l'unione di filmati di attori reali in una scena digitale richiedeva telecamere reali, acrobazie difficili e ritocchi per far corrispondere l'aspetto delle immagini reali e digitali; la capacità di fare tutto generato dal computer, compresi i volti umani, apre una vasta gamma di possibilità creative.

I volti digitali fotorealistici – quelli che possono passare per veri nelle immagini fisse o sul grande schermo – sono tra le ultime frontiere della computer grafica. Fino a poco tempo fa, i volti digitali sembravano falsi se esaminati da vicino e sono stati quindi relegati a tagli rapidi e inquadrature di sfondo. Il problema è che siamo straordinariamente sensibili a come dovrebbero apparire i volti umani; è molto più facile ingannare le persone con un T. rex generato dal computer che con un umano digitale. Ma i progressi nel rendering della pelle, nell'illuminazione delle scene digitali e nell'analisi di filmati di attori reali come riferimento ora consentono ad artisti e programmatori di controllare la trama e il movimento di ogni piccola porzione di pixel in un viso computerizzato. Il team di Sony spera che il pubblico non sarà in grado di distinguere tra Tobey Maguire e il suo doppio digitale, forse la prima volta che viene raggiunta una tale verosimiglianza.

La posta in gioco è enorme. Gli effetti digitali sono un business da miliardi di dollari e in rapida crescita; al giorno d'oggi, il budget di un tipico film di successo può essere di $ 150 milioni, con la metà di quella che va alle società di effetti. In effetti, Spider-Man 2 è solo un esempio del crescente utilizzo da parte di Hollywood della ricerca grafica all'avanguardia per creare attori digitali migliori, dalle controfigure di Neo e la moltitudine di Agenti Smith nei film Matrix a Gollum nella serie Il Signore degli Anelli . È arrivato al punto in cui l'industria scherza sulla sostituzione degli attori con i computer (la premessa del film del 2002 S1m0ne). E Sony Pictures Imageworks, fondata nel 1992 e con più di 40 lungometraggi al suo attivo, è all'avanguardia delle case di effetti che si contendono il business dei grandi studios (vedi Making Faces,).

Ma il vero vantaggio degli attori digitali non è sostituire quelli dal vivo: offre scene che portano gli spettatori in luoghi in cui nessun vero attore, o configurazione della telecamera, potrebbe andare. Offre ai registi una maggiore flessibilità e consente loro di fare azioni che non possono fare con i veri stuntman, afferma Scott Stokdyk, il supervisore degli effetti visivi di Imageworks responsabile della serie Spider-Man. In passato, registi e montatori hanno sostanzialmente massaggiato il taglio attorno a diverse azioni rapide e angoli di ripresa per trasmettere una storia, afferma Stokdyk. Ora non hanno questo tipo di limiti. Così liberati, i registi possono seguire attori sintetici mentre piombano intorno ai grattacieli e schivano i proiettili al rallentatore. Inoltre, gli attori possono essere invecchiati digitalmente, o invecchiati, senza dover passare ore al trucco. Le star del cinema decedute da tempo potrebbero persino essere resuscitate digitalmente.

E i film sono solo l'inizio. Le tecniche per creare esseri umani digitali stanno spingendo la frontiera più ampia della grafica e delle interfacce per computer. Questi sforzi potrebbero consentire simulazioni di formazione medica sorprendentemente realistiche, avatar realistici per e-mail e chat room su Internet e presto personaggi molto più avvincenti nei giochi e nei film interattivi. La tecnologia, afferma Sagar, è assolutamente pronta per la prima serata.

viso virtuale

Mark Sagar è sempre stato diviso tra arte e scienza. Dopo il college, ha trascorso tre anni in giro per il mondo, disegnando ritratti per vivere. Ma il tiro alla tecnologia lo ha fatto tornare alla scuola di specializzazione nella sua nativa Nuova Zelanda per studiare ingegneria. Non avrei mai pensato di passare anni della mia vita a studiare il volto umano, ammette, seduto nel suo ufficio alla Imageworks, circondato da libri e articoli sulla percezione visiva.

Ascoltare Sagar descrivere il volto umano come un dispositivo di segnalazione multicanale suggerisce che il suo lato scientifico e ingegneristico ha vinto. Comprendere la scienza dietro i volti, dice, gli consente di far passare il messaggio di un personaggio digitale in modo più efficace sullo schermo. Espressioni come occhi bassi, sopracciglia corrugate o labbra arricciate indicano lo stato emotivo di una persona e danno indizi sulle sue intenzioni.

Il percorso di Sagar verso Hollywood si è aperto quasi per caso. A metà degli anni '90, come studente laureato presso l'Università di Auckland e come borsista post-dottorato al MIT, ha sviluppato simulazioni al computer dell'occhio e del viso umani che potrebbero aiutare i medici in formazione ad apprendere le tecniche chirurgiche. Le sue simulazioni sembravano così reali che un team di imprenditori dot-com lo ha convinto a co-fondare una startup grafica chiamata LifeFX a Newton, MA. La sua missione: commercializzare software che tutti, dai cineasti alle aziende del Web e ai provider di posta elettronica, potrebbero utilizzare per produrre somiglianze fotorealistiche di persone.

Sagar divenne presto una delle principali autorità sui volti digitali per l'intrattenimento. Nel 1999, è venuto a Los Angeles per lavorare su

animazioni del viso generate al computer per film, tra cui quella dell'attore Jim Carrey. Paul Debevec, un ricercatore grafico che si è fatto un nome creando ambienti virtuali e facendo progredire le tecniche di illuminazione digitale, ha visto i film di Sagar a una conferenza e ne è rimasto incuriosito: non aveva mai visto volti finti così convincenti da vicino. Quello è stato il momento che mi ha fatto varcare la soglia della vera convinzione che un volto di computer grafica fotorealistica sarebbe apparso nei prossimi cinque anni, afferma Debevec, che ora è all'Institute for Creative Technologies presso l'Università della California del sud (vedi il Master di Hollywood di Luce, TR marzo 2004).

I due scienziati hanno stretto una collaborazione, utilizzando le tecniche di illuminazione di Debevec per rendere i volti digitali di Sagar, una combinazione che li ha catapultati rapidamente in prima linea nel campo. Si scopre che se stai cercando di simulare un volto, ottenere l'illuminazione giusta è un grosso problema. A differenza delle precedenti simulazioni al computer che sembravano strane in contesti diversi e dovevano essere aggiustate per tentativi ed errori, i volti di Sagar e Debevec potevano essere adattati per adattarsi all'illuminazione in qualsiasi scena. Questo perché sono stati costruiti utilizzando un ricco database di volti reali fotografati da diverse angolazioni e illuminati da molte diverse combinazioni di luce. Quando LifeFX ha chiuso nel 2002, Imageworks ha preso Sagar proprio per la sua esperienza nei volti.

Ha subito iniziato a lavorare al primo test cinematografico di queste tecniche: Spider-Man 2. Le scene d'azione nel film richiedevano simulazioni dettagliate ed espressive dei volti di attori famosi, un problema particolarmente difficile, afferma Sagar. Non solo il pubblico è pronto a rifiutare i volti umani surrogati in generale, ma è particolarmente sensibile ai volti che riconoscono; qualsiasi discrepanza tra digitale e reale potrebbe essere percepita come falsa. Per far funzionare le simulazioni, i ricercatori avevano bisogno di molti filmati di riferimento degli attori reali in diverse condizioni di illuminazione.

Quindi Maguire e Molina hanno trascorso una giornata ciascuno nel laboratorio di Debevec. Supervisionati dal programmatore di ricerca Tim Hawkins, si sono seduti in uno speciale apparato chiamato palcoscenico luminoso mentre quattro fotocamere fisse hanno catturato centinaia di immagini delle loro teste e dei loro volti facendo una varietà di espressioni e illuminate da luci stroboscopiche da ogni possibile angolazione. Gli attori hanno anche fatto eseguire scansioni laser e calchi in gesso delle loro teste e dei loro volti, in modo che i modelli digitali 3D ad alta risoluzione delle loro sembianze potessero essere costruiti sui computer.

Alla Imageworks, Sagar e il suo team hanno scritto un software intuitivo in modo che dozzine di artisti potessero utilizzare i gigabyte di dati dell'immagine senza impantanarsi nei dettagli tecnici. Per rendere la sequenza del treno corretta, ad esempio, il software di Sagar ha combinato le immagini della configurazione di Debevec in compositi che corrispondevano all'illuminazione del mondo reale sul set del film, quindi ha mappato i compositi su modelli computerizzati 3D degli attori. Per far muovere i volti, gli animatori hanno manipolato i modelli fotogramma per fotogramma, utilizzando le immagini e i video esistenti degli attori come guida approssimativa. Il software ha calcolato i cambiamenti di illuminazione in base a come si deformavano i modelli del viso e ha illuminato di conseguenza la pelle digitale. Il risultato: attori sintetici che somigliano a Maguire e Molina (intersecati con quelli in carne ed ossa) sfrecciano nell'aria, intorno ai grattacieli, sui treni e sott'acqua, emozionando per tutto il tempo.

Imageworks è un ottimo esempio di come le case degli effetti stanno integrando nuove ricerche nelle loro pipeline di produzione più rapidamente di quanto non facessero solo pochi anni fa. (Anche se il pubblico potrebbe essere sbalordito da ciò che è apparso ultimamente al multiplex, la tecnologia grafica fondamentale nei film non è cambiata molto negli anni '90.) Prima c'era un ritardo molto lungo. Qualcosa verrebbe sviluppato e poi aspetteresti dieci anni prima che una società di software lo commercializzi, afferma J. P. Lewis, un esperto di grafica e animazione presso il laboratorio di Computer Graphics and Immersive Technology della University of Southern California. Ora, penso che le aziende siano molto più consapevoli della ricerca e tendano a saltarci sopra molto più rapidamente.

Una passeggiata attraverso i corridoi bui di Imageworks questa primavera vede la squadra che si affanna per dare gli ultimi ritocchi agli oltre 800 scatti con effetti per Spider-Man 2. È una folla giovane e alla moda che sfoggia occhiali alla moda e mostra i ricordi del film sulle loro scrivanie – foto, action figure, un cast del volto di Tobey Maguire. Il giorno in cui spedisce la sua ultima ripresa per il film, il supervisore agli effetti visivi Stokdyk si lamenta che non c'è più tempo. La sfida più grande, dice, è stata fondere il volto a volte reale, a volte digitale, di Molina con il suo costume da Doc Ock e l'ambiente in stile fumetto. Eguagliare la realtà, sospira, è quasi impossibile.

Metti la tua faccia da gioco

In effetti, nonostante i milioni di dollari investiti sul problema, i volti umani digitali hanno ancora molta strada da fare. Ciò che resta da fare può sembrare passaggi incrementali – rendere i movimenti oculari meno robotici, catturare i cambiamenti nel flusso sanguigno in modo che le guance arrossiscono, ottenere la pelle che si raggrinzisce nel modo giusto durante un sorriso – ma si sommano. L'ultimo 20 percento potrebbe richiedere l'80 percento del nostro tempo per essere corretto, ma siamo sicuramente in quell'ultimo 20 percento, afferma Darin Grant, direttore della tecnologia presso Digital Domain a Venice, in California, che ha realizzato le animazioni dei personaggi per I, quest'estate. Robot.

Alla fine, il pubblico commerciale deciderà il valore di questi doppi digitali. Il test finale di ciò che facciamo è come appare sullo schermo e come si traduce in produzione, afferma Grant. Il suo collega Brad Parker, supervisore degli effetti visivi e direttore di Digital Domain, sostiene che gli esseri umani digitali pagheranno dividendi crescenti per i registi e per la comunità grafica. È un grosso problema, dice. Combina tutto ciò che è difficile nella computer grafica.

Perché è un problema così difficile - esattamente ciò che i nostri occhi rilevano come sbagliato in un essere umano digitale - non è ancora ben compreso. Ma i ricercatori di grafica della University of Southern California Lewis e Ulrich Neumann stanno cercando di scoprirlo. In esperimenti recenti, il loro gruppo ha mostrato scorci di volti reali e digitali ai volontari per vedere se potevano notare la differenza. I risultati sono stati sorprendenti e frustranti. Abbiamo passato un anno a lavorare su questi volti, ma non siamo riusciti a ingannare le persone per un quarto di secondo, dice Lewis. Prevede che questo lavoro porterà a modelli statistici di come si comportano i veri volti umani, che a loro volta produrranno strumenti software che gli artisti possono utilizzare per far muovere gli occhi ai personaggi o cambiare le espressioni in altri modi sottili che potrebbero essere vitali per la credibilità.

Tali progressi dovrebbero avere un impatto drammatico. Dice Steve Sullivan, direttore della ricerca e sviluppo presso Industrial Light and Magic a San Rafael, CA, Probabilmente guarderemo indietro tra 10 anni e penseremo che i doppi digitali di oggi sembrino orribilmente primitivi.

E non saranno solo i film a subire un restyling. Gli stessi strumenti di simulazione grafica che i registi stanno iniziando a padroneggiare aiuteranno anche ad alimentare il prossimo grande mercato per i volti digitali: i videogiochi. I giochi di oggi vantano creature e scenari abbaglianti, ma i loro personaggi umani non sono nemmeno vicini all'essere fotorealistici. Non è pratico programmare in ogni angolo di visione ed espressione che possono sorgere nel corso di un gioco interattivo multilivello.

È qui che entra in gioco George Borshukov. Borshukov, uno scienziato informatico che ha progettato umani digitali all'avanguardia per i film Matrix (tutti quegli Smith in Reloaded e Revolutions sono della sua squadra), sta ora applicando la tecnologia facciale ai giochi. Ex supervisore tecnologico presso ESC Entertainment ad Alameda, CA, Borshukov si è recentemente trasferito alla centrale di videogiochi Electronic Arts a Redwood City, CA. Dice che l'hardware di gioco di prossima generazione si avvicinerà alla dimostrazione di tecniche per volti fotorealistici in tempo reale, ma che saranno necessari compromessi, approssimazioni e compressione dei dati per realizzarlo.

Il problema è che con i giochi tutto deve succedere al volo. Eppure ci vogliono ancora alcune ore per rendere un singolo fotogramma dei migliori volti digitali di oggi. È fattibile se hai mesi per produrre le scene, come in un film. In un gioco o in un film interattivo, tuttavia, l'immagine richiesta potrebbe non esistere finché l'utente non la ordina con il tocco di un joystick. Rendere questo pratico richiederà un software migliaia di volte più veloce.

Cinque anni dopo, dicono gli esperti, un ibrido tra un gioco e un film potrebbe consentire agli spettatori/giocatori di progettare e dirigere i propri film e persino di mettersi in gioco. Potresti prima lanciare il film scansionando foto di persone reali – tu e i tuoi amici, per esempio – ed eseguendo un software che creerebbe modelli 3D fotorealistici di quelle persone. Quindi, in tempo reale, puoi dirigere l'azione del film tramite un controller portatile o una tastiera, qualsiasi cosa, dallo zoom della telecamera attorno ai personaggi fino a far correre l'attore protagonista in una certa direzione. L'intrattenimento interattivo, afferma Borshukov, è il vero futuro.

Affrontare il futuro

Alla Imageworks, una tempesta di attività turbina intorno a Mark Sagar. Gli artisti sono in modalità crunch per un altro progetto di attori digitali, The Polar Express di questo autunno, basato sul popolare libro per bambini. Ma Sagar, che non è direttamente coinvolto in questo sforzo, è estasiato da ciò che c'è più in là: un approccio più elegante ai volti digitali basato su principi scientifici di base. Vedo il lavoro di oggi come una fase intermedia in cui dobbiamo ancora acquisire molti dati, afferma. Alla fine tutto utilizzerà modelli matematici di come le cose si muovono e di come riflettono la luce.

Sagar vede anche applicazioni molto più ampie degli esseri umani digitali nella grafica medica, simulazioni di addestramento cooperativo per i soccorritori e interfacce uomo-computer che potrebbero aiutare gli utenti a comunicare in modo più efficace sia con le macchine che con altre persone. Al di fuori dell'industria dell'intrattenimento, grandi organizzazioni come Microsoft e Honda stanno portando avanti ricerche sulla grafica avanzata e sulla modellazione umana, compreso il software che potrebbe consentire di creare personaggi virtuali realistici e avatar digitali basati solo su una foto. Gli algoritmi correlati potrebbero anche aiutare i computer a riconoscere i volti e interpretare le espressioni, per motivi di sicurezza o per prevedere le esigenze di un utente.

Siamo in un'età interessante in cui iniziamo a essere in grado di simulare gli esseri umani fino all'ultimo dettaglio, afferma Sagar. C'è una certa ironia nella sua affermazione. Per una volta che gli umani digitali saranno fatti bene, saranno indistinguibili dalla cosa reale; il pubblico non si renderà nemmeno conto che artisti e scienziati come Sagar hanno cambiato il volto dell'intrattenimento e della società.

Gregory T. Huang è un editore associato di TR.

nascondere