Il miglior artista di deepfake al mondo sta lottando con il mostro che ha creato

È giugno a Dalian, in Cina, una città su una penisola che si protende nel Mar Giallo a poche centinaia di miglia da Pechino in una direzione e dal confine nordcoreano nell'altra. Hao Li si trova all'interno di un edificio cavernoso e spigoloso che potrebbe facilmente essere la tana di un cattivo di Bond. Fuori, il tempo è soffocante e la sicurezza è stretta. La conferenza annuale del World Economic Forum è in città.

Vicino a Li, politici e amministratori delegati di tutto il mondo, a turno, entrano in uno stand. Dentro, ridono mentre il loro viso si trasforma in quello di un personaggio famoso: Bruce Lee, Neil Armstrong o Audrey Hepburn. Il trucco avviene in tempo reale e funziona quasi perfettamente.

La straordinaria macchina per lo scambio di volti non è stata creata solo per deviare e divertire i ricchi e i potenti del mondo. Li vuole che queste persone potenti considerino le conseguenze che i video falsificati con l'intelligenza artificiale, i deepfake, potrebbero avere per loro e per il resto di noi.

La disinformazione è stata a lungo uno strumento popolare di sabotaggio geopolitico, ma i social media hanno iniettato carburante per razzi nella diffusione di notizie false. Quando le riprese video false sono facili da realizzare come gli articoli di notizie false, è una garanzia virtuale che saranno usate come armi. Vuoi influenzare un'elezione, rovinare la carriera e la reputazione di un nemico o scatenare la violenza etnica? È difficile immaginare un veicolo più efficace di una clip che sembra autentico, diffondendosi a macchia d'olio attraverso Facebook, WhatsApp o Twitter, più velocemente di quanto le persone possano capire di essere state ingannate.

In qualità di pioniere del digital fake, Li teme che i deepfake siano solo l'inizio. Nonostante abbia aiutato a inaugurare un'era in cui non ci si può sempre fidare dei nostri occhi, vuole usare le sue abilità per fare qualcosa contro il problema incombente dell'onnipresente e quasi perfetto inganno video.

La domanda è: potrebbe essere già troppo tardi?

Riscrivere la realtà

Li non è il tipico deepfaker. Non si nasconde su Reddit postare porno falso o riprese di film famosi modificato per star Nicolas Cage . Ha trascorso la sua carriera sviluppando tecniche all'avanguardia per forgiare facce in modo più facile e convincente. Ha anche pasticciato con alcuni dei volti più famosi al mondo per i blockbuster moderni, ingannando milioni di persone facendole credere in un sorriso o in una strizzatina d'occhio che non c'era mai stata. Parlando via Skype dal suo ufficio a Los Angeles un pomeriggio, accenna casualmente che Will Smith si è fermato di recente, per un film a cui sta lavorando.

Gli attori vengono spesso nel laboratorio di Li presso la University of Southern California (USC) per fare la scansione digitale delle loro sembianze. Sono inseriti in una serie sferica di luci e telecamere per la visione artificiale per catturare la forma del viso, le espressioni facciali e il tono e la consistenza della pelle fino al livello dei singoli pori. Un team di effetti speciali che lavora su un film può quindi manipolare scene che sono già state girate o persino aggiungere un attore a uno nuovo in post-produzione.

Per gentile concessione di Hao Li

Tale inganno digitale è ormai comune nei film ad alto budget. Gli sfondi sono spesso renderizzati digitalmente ed è comune che il viso di un attore venga incollato su quello di uno stuntman in una scena d'azione. Ciò ha portato ad alcuni momenti mozzafiato per gli spettatori, come quando un'adolescente Principessa Leia è apparsa brevemente alla fine del film Rogue One: una storia di Star Wars , anche se l'attrice che aveva interpretato Leia, Carrie Fisher, aveva quasi 60 anni quando è stato girato il film.

Fare in modo che questi effetti abbiano un bell'aspetto normalmente richiede una notevole esperienza e milioni di dollari. Ma grazie ai progressi dell'intelligenza artificiale, ora è quasi banale scambiare due facce in un video, usando niente di più potente di un laptop. Con un po' di know-how in più, puoi far dire o fare qualsiasi cosa a un politico, un CEO o un nemico personale (come nel video all'inizio della storia, in cui Li ha mappato la somiglianza di Elon Musk sulla mia faccia).

Una storia di inganni

Di persona, Li sembra più cyberpunk di Sunset Strip. I suoi capelli sono rasati in un mohawk che cade su un lato e spesso indossa una maglietta nera e una giacca di pelle. Quando parla, ha la strana abitudine di sbattere le palpebre in un modo che tradisce le notti tarde trascorse nel caldo bagliore dello schermo di un computer. Non è timido nel pubblicizzare la brillantezza della sua tecnologia o ciò che ha in lavorazione. Durante le conversazioni, gli piace tirare fuori uno smartphone per mostrarti qualcosa di nuovo.

Per gentile concessione di Hao Li

Li è cresciuto a Saarbrücken, in Germania, figlio di immigrati taiwanesi. Ha frequentato un liceo franco-tedesco e ha imparato a parlare correntemente quattro lingue (francese, tedesco, inglese e mandarino). Ricorda il momento in cui ha deciso di passare il suo tempo a offuscare il confine tra realtà e fantasia. Era il 1993, quando vide un enorme legname di dinosauro in vista in Steven Spielberg Jurassic Park . Mentre gli attori fissavano la bestia generata dal computer, Li, allora 12enne, capì cosa la tecnologia aveva appena reso possibile. Mi sono reso conto che ora puoi praticamente creare qualsiasi cosa, anche cose che non esistono nemmeno, ricorda.

Li ha conseguito il dottorato di ricerca all'ETH di Zurigo, prestigiosa università tecnica in Svizzera, dove uno dei suoi consulenti lo ricorda sia come uno studente brillante che come un burlone incorreggibile. I video che accompagnavano i documenti accademici a volte includevano caricature tutt'altro che lusinghiere dei suoi insegnanti.

I fratelli di Paul Walker hanno fornito un modello per la sua somiglianza digitale in Furious 7. Weta Digital

Poco dopo essersi unito alla USC, Li ha creato una tecnologia di tracciamento facciale utilizzata per realizzare una versione digitale del defunto attore Paul Walker per il film d'azione Furioso 7 . È stato un grande risultato, dal momento che Walker, morto in un incidente d'auto a metà delle riprese, non era stato scansionato in anticipo e il suo personaggio doveva apparire in così tante scene. La tecnologia di Li è stata utilizzata per incollare la faccia di Walker sui corpi dei suoi due fratelli, che si sono alternati recitando al suo posto in più di 200 scene.

Il film, che ha incassato 1,5 miliardi di dollari al botteghino, è stato il primo a dipendere così pesantemente da una star ricreata digitalmente. Li menziona il ruolo virtuale di Walker quando parla di quanto stanno diventando buoni i trucchi video. Nemmeno io so dire quali siano falsi, dice scuotendo la testa.

Virtualmente voi

Nel 2009, meno di un decennio prima che emergessero i deepfake, Li ha sviluppato un modo per catturare il volto di una persona in tempo reale e usarlo per azionare un burattino virtuale. Ciò ha comportato l'utilizzo dei più recenti sensori di profondità e di un nuovo software per mappare quel volto e le sue espressioni su una maschera fatta di materiale virtuale deformabile.

Un esempio di rilevamento del volto basato su marker. Tecnologie Faceware

Ancora più importante, l'approccio ha funzionato senza la necessità di aggiungere dozzine di indicatori di rilevamento del movimento sul viso di una persona, una tecnica standard del settore per il monitoraggio del movimento del viso. Li ha contribuito allo sviluppo del software chiamato Faceshift, che sarebbe stato successivamente commercializzato come spinoff universitario. La società è stata acquisita da Apple nel 2015 e la sua tecnologia è stata utilizzata per creare il software Animoji che ti consente di trasformarti in un unicorno o in un mucchio parlante di cacca sugli ultimi iPhone.

Li ei suoi studenti hanno pubblicato dozzine di articoli su argomenti come avatar che rispecchiano i movimenti di tutto il corpo, capelli virtuali altamente realistici e pelle simulata che si allunga come fa la pelle reale. Negli ultimi anni, il suo gruppo ha attinto ai progressi dell'apprendimento automatico e in particolare del deep learning, un modo per addestrare i computer a fare cose utilizzando una grande rete neurale simulata. La sua ricerca è stata applicata anche alla medicina, aiutando a sviluppare modi per tracciare i tumori all'interno del corpo e modellare le proprietà di ossa e tessuti.

Oggi, Li divide il suo tempo tra l'insegnamento, la consulenza per gli studi cinematografici e la gestione di una nuova startup, Pinscreen. L'azienda utilizza un'intelligenza artificiale più avanzata di quella dietro i deepfake per creare avatar virtuali. La sua app trasforma una singola foto in un avatar 3D fotorealistico in pochi secondi. Impiega algoritmi di apprendimento automatico che sono stati addestrati per mappare l'aspetto di un viso su un modello 3D utilizzando molte migliaia di immagini fisse e corrispondenti scansioni 3D. Il processo è migliorato utilizzando quelle che sono note come reti contraddittorie generative o GAN (che non vengono utilizzate per la maggior parte dei deepfake). Ciò significa che un algoritmo produce immagini false mentre un altro giudica se sono false, un processo che migliora gradualmente la falsificazione. Puoi far eseguire al tuo avatar balli stupidi e provare abiti diversi e puoi controllare le espressioni facciali dell'avatar in tempo reale, usando il tuo viso tramite la fotocamera del tuo smartphone.

Un ex dipendente, Iman Sadeghi, ha citato in giudizio Pinscreen, sostenendo di aver falsificato una presentazione della tecnologia alla conferenza SIGGRAPH nel 2017. Revisione della tecnologia del MIT ha visto lettere di diversi esperti e organizzatori SIGGRAPH respingere tali affermazioni.

Pinscreen sta lavorando con diversi grandi rivenditori di abbigliamento che vedono la sua tecnologia come un modo per consentire alle persone di provare i capi senza dover visitare un negozio fisico. La tecnologia potrebbe anche essere grande per le videoconferenze, la realtà virtuale e i giochi. Immagina un personaggio di Fortnite che non solo ti somiglia, ma ride e balla allo stesso modo.

Avatar realizzati utilizzando l'app Pin Screen. Per gentile concessione di Hao Li

Dietro la stupidità digitale, tuttavia, c'è una tendenza importante: l'intelligenza artificiale sta rapidamente rendendo la manipolazione avanzata delle immagini la competenza dello smartphone piuttosto che del desktop. FaceApp , sviluppato da un'azienda di San Pietroburgo, in Russia, ha attirato milioni di utenti e recenti polemiche offrendo un modo con un clic per cambiare faccia sul telefono. Puoi aggiungere un sorriso a una foto, rimuovere imperfezioni o pasticciare con la tua età o sesso (o di qualcun altro). Decine di altre app offrono manipolazioni simili con il semplice clic di un pulsante.

Non tutti sono entusiasti della prospettiva che questa tecnologia diventi onnipresente. Li e altri stanno fondamentalmente cercando di creare deepfake a un'immagine, mobile e in tempo reale, afferma Sam Gregory, direttore di Witness, un'organizzazione no-profit focalizzata su video e diritti umani. Questo è il livello di minaccia che mi preoccupa, quando [diventa] qualcosa che è meno facilmente controllabile e più accessibile a una serie di attori.

Fortunatamente, la maggior parte dei deepfake sembra ancora un po' fuori luogo. Un viso tremolante, un occhio traballante o uno strano tono della pelle li rendono abbastanza facili da individuare. Ma proprio come un esperto può rimuovere tali difetti, i progressi dell'IA promettono di appianarli automaticamente, rendendo i video falsi più semplici da creare e più difficili da rilevare.

Anche se Li va avanti con la falsificazione digitale, è anche turbato dal potenziale danno. Siamo seduti di fronte a un problema, dice.

Catturare gli impostori

I politici statunitensi sono particolarmente preoccupati per il modo in cui i deepfake potrebbero essere utilizzati per diffondere notizie false e disinformazione più convincenti in vista delle elezioni presidenziali del prossimo anno. All'inizio di questo mese, la House Intelligence Committee ha chiesto a Facebook, Google e Twitter come intendessero affrontare la minaccia dei deepfake. Ogni azienda ha detto che stava lavorando al problema, ma nessuna ha offerto una soluzione.

Anche la DARPA, l'agenzia di ricerca ben finanziata dell'esercito americano, è preoccupata per l'aumento della manipolazione digitale. Nel 2016, prima che i deepfake diventassero una realtà, DARPA ha lanciato un programma chiamato Media Forensics, o MediFor, per incoraggiare gli esperti di digital forensics a sviluppare strumenti automatizzati per catturare immagini manipolate. Un esperto umano potrebbe utilizzare una serie di metodi per individuare i falsi fotografici, dall'analisi delle incongruenze nei dati di un file o nelle caratteristiche di pixel specifici alla ricerca di incongruenze fisiche come un'ombra fuori posto o un'angolazione improbabile.

MediFor è ora in gran parte concentrato sull'individuazione dei deepfake. Il rilevamento è fondamentalmente più difficile della creazione perché gli algoritmi di intelligenza artificiale possono imparare a nascondere le cose che rivelano falsi. I primi metodi di rilevamento dei deepfake includono il monitoraggio di ammiccamenti innaturali e strani movimenti delle labbra. Ma gli ultimi deepfake hanno già imparato a appianare automaticamente tali problemi.

All'inizio di quest'anno, Matt Turek, responsabile del programma DARPA per MediFor, ha chiesto a Li di dimostrare i suoi falsi ai ricercatori MediFor. Ciò ha portato a una collaborazione con Hany Farid, professore alla UC Berkeley e una delle principali autorità mondiali in materia di digital forensics. La coppia è ora impegnata in un gioco digitale del gatto e del topo, con Li che sviluppa deepfake che Farid può catturare e poi li perfeziona per eludere il rilevamento.

Farid, Li e altri di recente ha pubblicato un documento delineando un modo nuovo e più potente per individuare i deepfake. Si basa sull'addestramento di un algoritmo di apprendimento automatico per riconoscere le stranezze delle espressioni facciali e dei movimenti della testa di un individuo specifico. Se incolli semplicemente la somiglianza di qualcuno su un'altra faccia, quelle caratteristiche non verranno riportate. Richiederebbe molta potenza del computer e dati di allenamento, ad esempio immagini o video della persona, per creare un deepfake che incorpori queste caratteristiche. Ma un giorno sarà possibile. Le soluzioni tecniche continueranno a migliorare sul lato difensivo, afferma Turek. Ma sarà perfetto? Ne dubito.

Pixel perfetto

A Dalian, è chiaro che le persone stanno iniziando a rendersi conto del pericolo dei deepfake. La mattina prima che incontrassi Li, un politico europeo era entrato nella cabina dello scambio di volti, solo per essere fermato dai suoi assistenti. Erano preoccupati che il sistema potesse catturare la sua somiglianza in dettaglio, rendendo più facile per qualcuno creare clip false di lui.

Un dipendente Pinscreen mostra un sistema di scambio di volti dal vivo alla conferenza del World Economic Forum a Dalian, in Cina, a luglio. Per gentile concessione di Hao Li

Mentre osserva le persone che usano la cabina, Li mi dice che non c'è alcun motivo tecnico per cui i deepfake dovrebbero essere rilevabili. I video sono solo pixel con un certo valore di colore, dice.

Renderli perfetti è solo una questione di tempo e risorse e, come mostra la sua collaborazione con Farid, sta diventando sempre più facile. Stiamo assistendo a una corsa agli armamenti tra le manipolazioni digitali e la capacità di rilevarle, dice, con i progressi degli algoritmi basati sull'intelligenza artificiale che catalizzano entrambe le parti.

La cattiva notizia, pensa Li, è che alla fine vincerà. In pochi anni, secondo lui, potrebbero essere creati deepfake non rilevabili con un clic. Quando arriva quel punto, dice, dobbiamo essere consapevoli che non tutti i video che vediamo sono veri.

nascondere