211service.com
Dentro lo strano nuovo mondo dell'essere un attore deepfake
Panetta e Borgogna
Nel 2019, due artiste multimediali, Francesca Panetta e Halsey Burgund, hanno iniziato a perseguire un'idea provocatoria. Il video e l'audio deepfake stavano avanzando in parallelo ma dovevano ancora essere integrati in un'esperienza completa. Potrebbero farlo in un modo che dimostri il pieno potenziale della tecnologia e allo stesso tempo educando le persone su come potrebbe essere abusato?
Per dare vita all'esperimento, hanno scelto un soggetto altrettanto provocatorio: avrebbero creato un storia alternativa dello sbarco sulla Luna dell'Apollo del 1969 . Prima del lancio, gli autori dei discorsi del presidente degli Stati Uniti Richard Nixon avevano preparato due versioni del suo discorso nazionale, una designata In caso di disastro lunare , nel caso in cui le cose non andassero come previsto. Il vero Nixon, fortunatamente, non ha mai dovuto consegnarlo. Ma un falso Nixon potrebbe farlo.
Così Panetta, il direttore creativo del Center for Virtuality del MIT, e Burgund, un collega del MIT Open Documentary Lab, hanno collaborato con due società di intelligenza artificiale. IA astuta gestirebbe il video deepfake e Reparto preparerebbe l'audio deepfake. Con tutti i componenti tecnici a posto, avevano solo bisogno di un'ultima cosa: un attore che fornisse la performance.
Avevamo bisogno di trovare qualcuno che fosse disposto a farlo, perché è una domanda un po' strana, dice Burgund. Qualcuno che fosse più flessibile nel pensare a cosa è e cosa fa un attore.
Mentre i deepfake esistono ormai da diversi anni, il casting e la recitazione dei deepfake sono relativamente nuovi. Le prime tecnologie deepfake non erano molto buone, utilizzate principalmente negli angoli bui di Internet per scambiare celebrità in video porno senza il loro consenso. Ma poiché i deepfake sono diventati sempre più realistici, sempre più artisti e registi hanno iniziato a usarli in produzioni di qualità televisiva e spot televisivi. Ciò significa assumere attori reali per un aspetto o l'altro della performance. Alcuni lavori richiedono che un attore fornisca filmati di base; altri hanno bisogno di una voce.
Per gli attori, apre interessanti possibilità creative e professionali. Ma solleva anche una serie di questioni etiche. Questo è così nuovo che non esiste un vero processo o qualcosa del genere, dice Burgund. Voglio dire, stavamo solo inventando cose e agitandoci.
Vuoi diventare Nixon?
La prima cosa che Panetta e Burgund hanno fatto è stata chiedere a entrambe le società che tipo di attore avevano bisogno per far funzionare i deepfake. Era interessante non solo quali fossero i criteri importanti, ma anche quali non lo erano , dice Borgogna.
Per la grafica, Canny AI è specializzata nella sostituzione dei dialoghi video, che utilizza i movimenti della bocca di un attore per manipolare la bocca di qualcun altro nel filmato esistente. L'attore, in altre parole, funge da burattinaio, per non essere mai visto nel prodotto finale. L'aspetto, il sesso, l'età e l'etnia della persona non contano davvero.
Ma per l'audio, Respeecher, che trasmuta una voce in un'altra, ha detto che sarebbe stato più facile lavorare con un attore che avesse un registro e un accento simili a quelli di Nixon. Armati di tale conoscenza, Panetta e Burgund hanno iniziato a postare su vari forum di recitazione e a inviare e-mail a gruppi di recitazione locali. La loro proposta: vuoi diventare Nixon?
L'attore Lewis D. Wheeler ha trascorso giorni in studio ad addestrare gli algoritmi del deepfake per mappare la sua voce e il suo volto su quello di Nixon.
PANETTA E BORDEAUXÈ così che Lewis D. Wheeler, un attore maschio bianco con sede a Boston, si è ritrovato rintanato in uno studio per giorni ad ascoltare e ripetere frammenti dell'audio di Nixon. C'erano centinaia di frammenti, ciascuno lungo solo pochi secondi, alcuni dei quali non erano nemmeno parole complete, dice.
I frammenti erano stati presi da vari discorsi di Nixon, in gran parte dalle sue dimissioni. Data la natura grave del discorso sul disastro lunare, Respeecher aveva bisogno di materiale didattico che catturasse lo stesso tono cupo.
Il compito di Wheeler era di registrare nuovamente ogni frammento con la propria voce, abbinando il ritmo e l'intonazione esatti. Questi piccoli frammenti sono stati poi inseriti nell'algoritmo di Respeecher per mappare la sua voce su quella di Nixon. È stato piuttosto estenuante e piuttosto scrupoloso, dice, ma anche molto interessante, costruirlo mattone dopo mattone.
L'ultimo deepfake di Nixon che pronuncia il discorso 'In Event of Moon Disaster'.
PANETTA E BORDEAUXLa parte visiva del deepfake era molto più semplice. Nel filmato d'archivio che sarebbe stato manipolato, Nixon aveva consegnato il vero indirizzo dello sbarco sulla Luna esattamente di fronte alla telecamera. Wheeler aveva solo bisogno di fornire la sua alternativa, dall'inizio alla fine, allo stesso modo, affinché la troupe di produzione catturasse i movimenti della sua bocca alla giusta angolazione.
È qui che, come attore, ha iniziato a trovare le cose più familiari. Alla fine la sua performance sarebbe stata l'unica parte di lui che sarebbe arrivata al deepfake finale. Quella è stata la più impegnativa e gratificante, dice. Per questo, dovevo davvero entrare nella mentalità di, ok, di cosa tratta questo discorso? Come si fa a dire al popolo americano che questa tragedia è accaduta?
Come ci sentiamo?
A prima vista, Zach Math, a produttore cinematografico e regista , stava lavorando a un progetto simile. Era stato assunto da Mischief USA, un'agenzia creativa, per dirigere un paio di annunci per una campagna elettorale. Gli annunci conterrebbero versioni false del leader nordcoreano Kim Jong-un e del presidente russo Vladimir Putin. Ma è finito nel mezzo di qualcosa di molto diverso dall'esperimento di Panetta e Burgund.
In consultazione con un artista deepfake, John Lee, il team ha scelto di seguire la strada dello scambio di volti il software open source DeepFaceLab . Significava che l'annuncio finale avrebbe incluso i corpi degli attori, quindi avevano bisogno di lanciare credibili controfigura.
L'annuncio includerebbe anche le voci reali degli attori, aggiungendo un'ulteriore considerazione sul casting. Il team voleva che i leader dei deepfake parlassero in inglese, anche se con autentici accenti nordcoreani e russi. Quindi il direttore del casting è andato a caccia di attori maschi che somigliassero a ciascun leader per corporatura e struttura facciale, che corrispondessero alla loro etnia e che potessero fare imitazioni vocali convincenti.
Il processo di formazione di DeepFaceLab per generare il volto di Kim Jong-un.
MALE USAPer Putin, il processo di casting è stato relativamente facile. C'è un'abbondanza di filmati disponibili di Putin che pronuncia vari discorsi, fornendo all'algoritmo molti dati di allenamento per falsificare la sua faccia facendo una serie di espressioni. Di conseguenza, c'era più flessibilità nell'aspetto dell'attore, perché il deepfake poteva fare la maggior parte del lavoro.
Ma per Kim, la maggior parte dei video disponibili lo mostrava con gli occhiali, che gli oscuravano il viso e causavano il guasto dell'algoritmo. Restringere il filmato di formazione ai soli video senza occhiali ha lasciato molti meno campioni di formazione da cui imparare. Il deepfake risultante sembrava ancora Kim, ma i movimenti del suo viso sembravano meno naturali. Scambiato il volto su un attore, ha smorzato le espressioni dell'attore.
Per contrastare ciò, il team ha iniziato a trasmettere tutti i nastri di casting degli attori attraverso DeepFaceLab per vedere quale fosse il più convincente. Con loro sorpresa, il vincitore assomigliava meno a Kim fisicamente, ma ha avuto la performance più espressiva.
L'attore scelto per interpretare Kim Jong-un aveva la minima somiglianza fisica con il dittatore ma la performance più espressiva.
Per affrontare gli aspetti dell'aspetto di Kim che il deepfake non poteva replicare, il team si è affidato al trucco, ai costumi e al lavoro di post-produzione. L'attore era più magro di Kim, per esempio, quindi gli hanno fatto indossare un vestito grasso.
Quando si trattava di giudicare la qualità del deepfake, dice Math, si trattava meno dei dettagli visivi e più dell'esperienza. Non è mai stato 'Quell'orecchio sembra strano?' Voglio dire, c'erano quelle discussioni, dice. Ma era sempre come, 'Siediti, come ci sentiamo?'
Stavano effettivamente agendo come uno scudo umano
In un certo senso, c'è poca differenza tra la recitazione deepfake e la recitazione in CGI, o forse la recitazione vocale per un cartone animato. La tua somiglianza non fa parte della produzione finale, ma il risultato ha ancora la tua firma e interpretazione. Ma il casting deepfake può anche andare nell'altra direzione, con la faccia di una persona scambiata con la performance di qualcun altro.
Rendere persuasivo questo tipo di fake è stato il compito di Ryan Laney, un artista degli effetti visivi che ha lavorato al documentario della HBO del 2020 Benvenuti in Cecenia . Il film segue gli attivisti che rischiano la vita per combattere la persecuzione delle persone LGBTQ nella repubblica russa. Molti di loro vivono in segreto per paura della tortura e dell'esecuzione.
Per raccontare le loro storie, il regista David France ha promesso di proteggere le loro identità, ma ha voluto farlo senza perdere la loro umanità. Dopo aver testato numerose soluzioni, il suo team è finalmente approdato sui deepfake. Ha collaborato con Laney, che ha sviluppato un algoritmo che sovrappone una faccia all'altra mantenendo le espressioni di quest'ultimo.
A sinistra: Maxim Lapunov, il protagonista del documentario che diventa pubblico a metà del film. A destra: un attivista LGBTQ latino che si è offerto volontario per essere lo scudo di Maxim.
I TUOI MEDIAIl processo di casting è stato quindi una ricerca non di artisti ma di 23 persone che sarebbero state disposte a prestare i loro volti. Alla fine la Francia ha chiesto agli attivisti LGBTQ di fare volontariato come copertura. È arrivato non da chi è il miglior attore, ma da chi sono le persone interessate alla causa, dice Laney, perché agivano effettivamente come uno scudo umano.
Il team ha esplorato gli attivisti attraverso eventi e post su Instagram, in base al loro aspetto. Ogni copertina doveva apparire sufficientemente diversa dalla persona che veniva mascherata, allineandosi anche in determinate caratteristiche. I peli del viso, le mascelle e la lunghezza del naso dovevano corrispondere all'incirca, ad esempio, e ogni paio doveva avere all'incirca la stessa età affinché il viso della persona da copertina appaia naturale sul corpo del soggetto originale.
A sinistra: il volto smascherato di Maxim. A destra: Maxim con la sua copertina deepfake.
I TUOI MEDIATuttavia, la squadra non corrispondeva sempre all'etnia o al genere. Il personaggio principale, Maxim Lapunov, che è bianco, è stato protetto da un attivista latino e un personaggio femminile è stato protetto da un attivista non conforme al genere.
Durante tutto il processo, France e Laney si sono assicurate di ottenere il consenso pienamente informato da tutte le parti. I soggetti del film hanno effettivamente potuto guardare il lavoro prima che David lo pubblicasse, dice Laney. Ognuno doveva firmare la propria copertina per assicurarsi di sentirsi a proprio agio.
Fa solo pensare alla gente
Mentre i deepfake professionalizzati hanno spinto i confini dell'arte e della creatività, la loro esistenza solleva anche difficili questioni etiche. Al momento non ci sono linee guida reali su come etichettare i deepfake, ad esempio, o dove si trova il confine tra satira e disinformazione.
Per ora, artisti e registi si affidano a un personale senso di giusto e sbagliato. France e Laney, ad esempio, hanno aggiunto un disclaimer all'inizio del documentario affermando che alcuni personaggi erano stati camuffati digitalmente per la loro protezione. Hanno anche aggiunto bordi morbidi agli individui mascherati per differenziarli. Non volevamo nascondere qualcuno senza dirlo al pubblico, dice Laney.
Allo stesso modo, Stephanie Lepp, artista e produttrice che crea deepfake per commenti politici, contrassegna i suoi video in anticipo per chiarire che sono falsi. Nella sua serie Conti profondi , che immagina figure potenti come Mark Zuckerberg che si scusano per le loro azioni, ha anche usato doppiatori piuttosto che audio deepfake per distinguere ulteriormente il progetto come satirico e non ingannevole.
Altri progetti sono stati più timidi, come quelli di Barnaby Francis, un artista-attivista che lavora sotto lo pseudonimo di Bill Posters. Nel corso degli anni, Francis ha falsificato i politici come Boris Johnson e celebrità come Kim Kardashian , tutto in nome dell'educazione e della satira. Alcuni dei video, tuttavia, sono etichettati solo esternamente, ad esempio nella didascalia quando Francis li pubblica su Instagram. Tirati fuori da quel contesto, rischiano di confondere arte e realtà, cosa che a volte lo ha portato dentro territorio pericoloso .
Visualizza questo post su InstagramUn post condiviso da manifesti di legge (@bill_posters_uk) il 1 giugno 2019 alle 3:47 PDT
Visualizza questo post su InstagramUn post condiviso da manifesti di legge (@bill_posters_uk) l'11 novembre 2019 alle 23:55 PST
Ci sono anche poche regole intorno alle quali immagini e discorsi possono essere manipolati e poche protezioni per gli attori dietro le quinte. Finora, la maggior parte dei deepfake professionali sono stati basati su personaggi famosi e realizzati con obiettivi chiari e costruttivi, quindi sono legalmente protetti negli Stati Uniti dalle leggi della satira. Nel caso dei deepfake di Putin e Kim di Mischief, tuttavia, gli attori sono rimasti anonimi per motivi di sicurezza personale, ha affermato il team, a causa della natura controversa della manipolazione delle immagini dei dittatori.
Sapendo come i deepfake amatoriali sono stati usati per abusare, manipolare e molestare le donne, alcuni creatori sono anche preoccupati per la direzione in cui potrebbero andare le cose. Ci sono molte persone che salgono sul carrozzone che non sono davvero eticamente o moralmente preoccupate di chi sono i loro clienti, dove questo può apparire e in quale forma, dice Francis.
Nonostante queste domande difficili, tuttavia, molti artisti e registi credono fermamente che i deepfake dovrebbero essere qui per restare. Usata eticamente, la tecnologia espande le possibilità dell'arte e della critica, della provocazione e della persuasione. Fa solo pensare alla gente, dice Francis. È la forma d'arte perfetta per questi tipi di tempi assurdi, quasi surrealisti che stiamo vivendo.