Questo algoritmo individua automaticamente gli scambi di volti nei video

Recentemente è diventata possibile la capacità di prendere il viso o l'espressione di una persona e sovrapporli a un video di un'altra persona. In particolare, su siti web come Reddit e 4Chan sono emersi video pornografici chiamati deepfake che mostrano i volti di personaggi famosi sovrapposti ai corpi degli attori.

Questo fenomeno ha implicazioni significative. Per lo meno, ha il potenziale per minare la reputazione delle persone che sono vittime di questo tipo di contraffazione. Pone problemi per i sistemi di identificazione biometrica. E minaccia di minare la fiducia del pubblico nei video di qualsiasi tipo.

Quindi è assolutamente necessario un modo rapido e preciso per individuare questi video.

Quali di queste coppie di immagini sono falsi? Rispondi sotto.

Entra Andreas Rossler dell'Università Tecnica di Monaco in Germania e colleghi, che hanno sviluppato un sistema di apprendimento profondo in grado di individuare automaticamente i video di scambio di volti. La nuova tecnica potrebbe aiutare a identificare i video contraffatti man mano che vengono pubblicati sul Web.

Ma il lavoro ha anche una puntura nella coda. La stessa tecnica di apprendimento profondo in grado di individuare i video di scambio di volti può essere utilizzata anche per migliorare la qualità degli scambi di volti in primo luogo, e ciò potrebbe renderli più difficili da rilevare.

La nuova tecnica si basa su un algoritmo di apprendimento profondo che Rossler e compagni hanno addestrato per individuare gli scambi di volti. Questi algoritmi possono imparare solo da enormi set di dati annotati di buoni esempi, che semplicemente non sono esistiti fino ad ora.

Quindi il team ha iniziato creando un ampio set di dati di video di scambio di volti e dei loro originali. Usano due tipi di scambi di volti che possono essere facilmente effettuati utilizzando un software chiamato Face2Face. (Questo software è stato creato da alcuni membri di questo team.)

Il primo tipo di scambio facciale sovrappone il viso di una persona al corpo di un altro in modo che assuma le loro espressioni. Il secondo prende le espressioni da un volto e modifica un secondo volto per mostrarle.

Il team lo ha fatto con oltre 1.000 video, creando un database di circa mezzo milione di immagini in cui i volti sono stati manipolati con un software di editing facciale all'avanguardia. Lo hanno chiamato il database FaceForensics.

La dimensione di questo database rappresenta un miglioramento significativo rispetto a quanto era stato precedentemente disponibile. Introduciamo un nuovo set di dati di video manipolati che supera di ordini di grandezza tutti i set di dati forensi disponibili pubblicamente esistenti, afferma Rossler e co.

Successivamente, il team utilizza il database per addestrare un algoritmo di apprendimento profondo per riconoscere la differenza tra gli scambi di volti e i loro originali non alterati. Chiamano l'algoritmo risultante XceptionNet.

Infine, confrontano il nuovo approccio con altre tecniche di rilevamento di falsi.

I risultati sono impressionanti. XceptionNet supera chiaramente le altre tecniche nell'individuare i video che sono stati manipolati, anche quando i video sono stati compressi, il che rende il compito notevolmente più difficile. Abbiamo stabilito una solida base di risultati per rilevare una manipolazione facciale con le moderne architetture di deep learning, affermano Rossler e co.

Ciò dovrebbe rendere più facile individuare i video contraffatti mentre vengono caricati sul Web. Ma la squadra è ben consapevole della natura del gatto e del topo del rilevamento di falsi: non appena emerge una nuova tecnica di rilevamento, la razza inizia a trovare un modo per ingannarla.

Rossler e co hanno un vantaggio naturale da quando hanno sviluppato XceptionNet. Quindi lo usano per individuare i segni rivelatori che un video è stato manipolato e quindi usano queste informazioni per perfezionare il falso, rendendolo ancora più difficile da rilevare.

Si scopre che questo processo migliora la qualità visiva del falso ma non ha molto effetto sulla capacità di XceptionNet di rilevarlo. Il nostro raffinatore migliora principalmente la qualità visiva, ma ostacola solo leggermente il rilevamento dei falsi per il metodo di apprendimento approfondito addestrato esattamente sui dati di output contraffatti, affermano.

È un lavoro interessante poiché introduce un modo completamente nuovo di migliorare il processo di manipolazione delle immagini. Riteniamo che questa interazione tra manomissione e rilevamento sia una strada estremamente eccitante per il lavoro di follow-up, affermano.

Rif: arxiv.org/abs/1803.09179 : FaceForensics: un set di dati video su larga scala per il rilevamento di falsi in volti umani

Risposta: L'immagine in alto in ogni coppia è reale.

nascondere