Come Facebook utilizza l'apprendimento automatico per rilevare account falsi

Un falso account Facebook La signora Tech

Nel 2019, Facebook ha perso in media vicino a 2 miliardi conti falsi al trimestre. I truffatori utilizzano questi account falsi per diffondere spam, collegamenti di phishing o malware. È un affare redditizio che può essere devastante per tutti gli utenti innocenti che cattura.

Facebook sta ora rilasciando dettagli sul sistema di apprendimento automatico che utilizza per affrontare questa sfida. Il gigante della tecnologia distingue tra due tipi di account falsi. In primo luogo ci sono account utente classificati in modo errato, profili personali per aziende o animali domestici che dovrebbero essere Page. Questi sono relativamente semplici da gestire: vengono semplicemente convertiti in Pages. La violazione degli account, invece, è più grave. Si tratta di profili personali che si impegnano in truffe e spamming o violano in altro modo i termini di servizio della piattaforma. Gli account violati devono essere rimossi il più rapidamente possibile senza gettare una rete troppo ampia e impigliare anche account reali.

Per fare ciò, Facebook utilizza regole codificate a mano e l'apprendimento automatico per bloccare un account falso prima che venga creato o prima che diventi attivo. In altre parole, prima che possa danneggiare utenti reali. La fase finale è dopo che un account falso è stato pubblicato. Questo è il momento in cui il rilevamento diventa molto più complicato e il nuovo sistema di apprendimento automatico, noto come Deep Entity Classification (DEC), entra in gioco.

Andando in profondità

DEC impara a differenziare gli utenti falsi da quelli reali in base ai loro modelli di connessione attraverso la rete. Chiama queste caratteristiche profonde e includono cose come l'età media o la distribuzione del genere degli amici dell'utente. Facebook utilizza oltre 20.000 funzionalità approfondite per caratterizzare ciascun account, fornendo un'istantanea di come si comporta ogni profilo per rendere difficile per gli aggressori modificare il sistema cambiando tattica.

Il sistema inizia utilizzando un gran numero di etichette generate a macchina a bassa precisione. Questi sono generati attraverso un mix di regole e altri modelli di apprendimento automatico che stimano se gli utenti sono reali o falsi. Una volta che i dati vengono utilizzati per addestrare una rete neurale, il modello viene quindi messo a punto con una piccola serie di dati etichettati manualmente ad alta precisione, generati da persone in tutto il mondo che hanno una comprensione delle norme culturali locali.

Il sistema di classificazione finale può identificare uno dei quattro tipi di profili falsi: account illegittimi non rappresentativi della persona, account compromessi di utenti reali che sono stati rilevati da aggressori, spammer che inviano ripetutamente messaggi generatori di entrate e truffatori che manipolano gli utenti divulgazione di informazioni personali. Dall'implementazione del DEC, afferma Facebook, ha mantenuto il volume degli account falsi sulla piattaforma a circa il 5% degli utenti attivi mensili.

I dettagli degli sforzi di pulizia di Facebook arrivano tra le preoccupazioni sulla manipolazione nelle imminenti elezioni presidenziali statunitensi, in particolare sui deepfake. A dicembre il New York Times segnalato una campagna coordinata di disinformazione che utilizza deepfake per creare account falsi in massa con immagini del profilo convincenti.

Salvaguardare le elezioni

Il team di Facebook ha affermato che la tempistica del suo rilascio è stata solo una coincidenza. Si tratta solo di individuare le violazioni in generale; non è specificamente mirato a nessun tipo di argomento elettorale, afferma Daniel Bernhardt, il responsabile tecnico del team Community Integrity di Facebook. Ma il DEC sarebbe complementare agli altri sforzi della piattaforma per reprimere le manomissioni elettorali. Poiché il sistema si basa su funzionalità avanzate per classificare ciascun profilo, sarà resistente a essere ingannato da immagini del profilo deepfake, ad esempio.

Aviv Ovadya, che ha fondato il progetto no-profit Thoughtful Technology Project e studia la progettazione e la governance della piattaforma, afferma che lo sforzo di Facebook di essere più trasparente con le sue procedure di pulizia è encomiabile. Può essere davvero utile e potente parlare con attenzione delle decisioni relative all'architettura e del modo in cui funzionano i sistemi di sicurezza che possono essere emulate da altre aziende, afferma. Poiché aziende come Facebook hanno molte più risorse da investire rispetto alle aziende più piccole, è utile avere questa condivisione delle conoscenze.

Ma anche gli sforzi di pulizia hanno molta strada da fare. Con 2,5 miliardi di utenti attivi mensili, il 5% è ancora 125 milioni di account falsi. Anche l'apprendimento automatico andrà solo così lontano: indipendentemente dalla quantità di dati su cui viene addestrato un modello, non catturerà mai tutti i cattivi account con una precisione perfetta. La piattaforma dovrà probabilmente rivolgersi ad altre combinazioni di esseri umani e macchine per migliorare.

Aggiornare: Una versione precedente di questo articolo faceva riferimento a numeri obsoleti sull'impatto del sistema DEC di Facebook. Sono stati aggiornati per riflettere le informazioni più recenti.

nascondere