Se solo l'IA potesse salvarci da noi stessi

Gli esseri umani hanno rotto Internet. Cyberbullismo, molestie, social shaming e pura sgradevolezza affliggono siti come Twitter e Reddit, soprattutto se ti capita di attirare il tipo sbagliato di attenzione. Considera la strada acchiappa fantasmi star Leslie Jones e dirigente delle pubbliche relazioni Justine Sacco divenne bersaglio di abusi di massa.

Le aziende che gestiscono servizi online sono generalmente schiacciate tra accuse di indifferenza per molestie e repressione della libertà di parola. Ma ora Google pensa di poter utilizzare l'intelligenza artificiale per ridurre questa tragedia dei beni comuni digitali. (Disclosure: ho lavorato per Google negli anni 2000.) Un incubatore tecnologico dell'azienda, chiamato Jigsaw, precedentemente noto come Google Ideas, afferma che intende individuare e rimuovere le molestie digitali con un programma automatizzato chiamato Conversation AI. Come il presidente di Jigsaw, Jared Cohen, detto Cablata , Voglio usare la migliore tecnologia che abbiamo a nostra disposizione per iniziare ad affrontare il trolling e altre tattiche nefaste che danno alle voci ostili un peso sproporzionato, [e] fare tutto il possibile per livellare il campo di gioco.

Questa storia faceva parte del nostro numero di gennaio 2017

• Vedi il resto del problema
• sottoscrivi

È coraggioso per Google accettare questo ed è diverso da alcuni dei precedenti lavori di Jigsaw. Ciò ha incluso Project Shield, che protegge i siti di notizie e i siti che promuovono la libertà di espressione dagli attacchi denial-of-service. Un altro sforzo di Jigsaw, Password Alert, è un'estensione di Chrome che protegge dagli attacchi di phishing. Quelle erano principalmente sfide tecniche. Ma anche combattere i troll e i mob online è un problema sociologico.

Cosa recensita

• Chat AI

  dal puzzle di Google

Conversation AI è una propaggine di uno dei progetti moonshot di Google di maggior successo, Google Brain. Ha contribuito a rivoluzionare il campo dell'apprendimento automatico attraverso reti neurali su larga scala e ha offerto a Google vantaggi come un software più abile degli umani nel riconoscere le immagini. Ma l'IA di conversazione non sarà in grado di sconfiggere gli abusi online. Anche se l'obiettivo dichiarato di Jigsaw è quello di combattere l'ascesa dei mob online , il programma stesso è un progetto molto più modesto, e quindi più plausibile. L'IA della conversazione semplificherà principalmente la moderazione della comunità che oggi viene eseguita dagli esseri umani. Quindi, anche se non è in grado di neutralizzare il peggior comportamento online, potrebbe favorire un maggiore e migliore discorso su alcuni siti.

Rilevamento dell'allusione

Jigsaw sta avviando Conversation AI al New York Times , dove verrà lanciato tra pochi mesi per aiutare l'azienda a gestire i suoi commenti online. I moderatori umani attualmente esaminano quasi tutti i commenti pubblicati sul sito. In questo momento, Conversation AI ne sta leggendo 18 milioni, imparando a rilevare ogni singola categoria di commenti che vengono rifiutati: inconsistenti, fuori tema, spam, incoerenti, provocatori, osceni, attacco al commentatore, attacco all'autore, attacco all'editore.

Il Volte l'obiettivo non è necessariamente ridurre gli abusi nei suoi commenti, un problema che considera già sotto controllo. Invece, spera di ridurre il carico di lavoro dei moderatori umani. Non ci aspettiamo mai di avere un sistema completamente automatizzato, Erica Greene, responsabile tecnico del New York Times squadra della comunità, mi ha detto. Volte L'editore della community Bassey Etim stima che tra il 50 e l'80% dei commenti alla fine potrebbe essere moderato automaticamente, consentendo ai dipendenti di dedicare i propri sforzi alla creazione di contenuti più accattivanti a partire dal le sezioni dei commenti del documento.

Il New York Times il sito pone problemi molto diversi dal free-for-all in tempo reale di Twitter e Reddit. E dati i limiti dell'apprendimento automatico, così come esiste oggi, l'IA per conversazione non può assolutamente combattere gli abusi negli ampi spazi di Internet. Nonostante tutti gli abbaglianti risultati dell'apprendimento automatico, non ha ancora incrinato il linguaggio umano, dove schemi come quelli che può trovare in Go o le immagini si dimostrano diabolicamente sfuggenti.

Illustrazioni di Erik Carter

Il problema linguistico nel rilevamento degli abusi è il contesto. L'analisi dei commenti di Conversation AI non modella l'intero flusso di una discussione; confronta i commenti individuali con i modelli appresi di ciò che costituisce commenti buoni o cattivi. Ad esempio, commenti sul New York Times sito potrebbe essere considerato accettabile se tendono a includere parole, frasi e altre caratteristiche comuni. Ma Greene afferma che il sistema di Google ha spesso contrassegnato i commenti sugli articoli su Donald Trump come offensivi perché lo hanno citato usando parole che avrebbero rifiutato un commento se provenissero da un lettore. Per questo tipo di articoli, il Volte disattiverà semplicemente la moderazione automatica.

È impossibile, quindi, vedere Conversation AI che se la cava bene su un sito molto aperto come Twitter. Come rileverebbe le allusioni all'Olocausto in abusi tweet inviati al giornalista ebreo Marc Daalder : Sei tu se vince Trump, con la foto di un paralume, e tu appartieni qui, con la foto di un tostapane? Il rilevamento dell'abuso si basa sulla conoscenza storica e sul contesto culturale che un algoritmo di apprendimento automatico potrebbe rilevare solo se fosse stato addestrato su esempi molto simili. Anche allora, come sarebbe in grado di distinguere tra abuso e la stessa immagine con Questo è quello che sto comprando se Trump vincesse? Il livello di conoscenza semantica e pratica richiesto è al di là di ciò a cui mira attualmente l'apprendimento automatico.

Di conseguenza, un troll Twitter dedicato troverà senza dubbio un nuovo modo di esprimere abusi che elude un sistema come Conversation AI. Bloccando alcuni commenti, l'apprendimento automatico potrebbe fare un lavoro decente nel convincere i commentatori a smettere di chiamarsi casualmente a vicenda froci e omosessuali, se questo è l'obiettivo. Ma l'apprendimento automatico non sarà in grado di sventare una persona decisa a insinuare che qualcuno è queer.

In altre parole, Conversation AI consentirà di eseguire le attività di moderazione in modo più efficiente nelle comunità che già tendono a comportarsi abbastanza bene. Non è in grado di sradicare il peggio degli abusi di cui sentiamo parlare, che spesso si manifestano su siti con standard minimi di moderazione. Gli abusi di polizia su Twitter e Reddit è impossibile senza alterare fondamentalmente la natura di quelle piattaforme.

Comunità recintate

Controllare gli abusi su Twitter e Reddit è impossibile senza alterare sostanzialmente la natura di tali piattaforme.

Il successo di Facebook ci ricorda che la maggior parte delle persone, e certamente la maggior parte delle aziende, preferisce un ambiente relativamente protetto e controllato a uno in cui estranei possono intromettersi negli affari degli altri e iniziare a litigare. Quindi, se l'IA di conversazione o strumenti simili rendono più facile ed efficiente esercitare tale controllo, è un promemoria che la risoluzione del problema degli abusi, sia attraverso mezzi umani che automatizzati, richiede l'allontanamento dalla massima inclusività come il massimo ideale online. Anche comunità apparentemente aperte come StackExchange e MetaFilter richiedono l'intervento costante del moderatore e il controllo della comunità. Comunità veramente anarchiche, come Twitter, 4chan e alcuni canali su Reddit, si rivelano le eccezioni online, non la regola. Né le comunità anarchiche fanno soldi. Twitter ha avuto difficoltà ad attirare un acquirente, in parte a causa della sua reputazione di contenuti offensivi, mentre Reddit ha avuto un alto grado di rotazione del personale e difficoltà a monetizzare. La natura del selvaggio West di questi siti diventerà ancora più evidente se strumenti come Conversation AI faranno funzionare ancora meglio i siti moderati.

Vale la pena notare un grande potenziale svantaggio. Poiché l'IA di conversazione viene addestrata per approvare contenuti che rispettano determinate linee guida lessicali, grammaticali e stilistiche, non filtrerà solo i contenuti offensivi. Potrebbe anche tendere a colpire diverso contenuto. Ciò solleva interrogativi su cosa potrebbero farci i governi orientati alla censura. Proprio come il Volte cura le sue comunità, così anche i governi di Turchia e Cina possono curare le loro. Mentre gli sforzi di Jigsaw come Project Shield mirano a fornire difese per siti Web politicamente sensibili, Conversation AI semplifica il filtraggio dei discorsi indesiderati, ma la domanda è: indesiderato da chi? Non c'è etichetta sulla scatola che dice, utilizzare solo per prevenire abusi.

David Auerbach sta scrivendo un libro sui linguaggi umani e informatici e sulla loro convergenza, che sarà pubblicato da Pantheon. Ha lavorato per 11 anni come ingegnere del software presso Google e Microsoft, principalmente nell'infrastruttura dei server.

nascondere