L'IA fa ancora schifo nel moderare l'incitamento all'odio

Signora Tech | Getty, Unsplash

Nonostante tutti i recenti progressi nella tecnologia dell'IA linguistica, ha ancora difficoltà con una delle applicazioni più basilari. In un nuovo studio , gli scienziati hanno testato quattro dei migliori sistemi di intelligenza artificiale per rilevare l'incitamento all'odio e hanno scoperto che tutti loro lottavano in modi diversi per distinguere le frasi tossiche da quelle innocue.

I risultati non sono sorprendenti: creare un'IA che comprenda le sfumature del linguaggio naturale è difficile. Ma il modo in cui i ricercatori hanno diagnosticato il problema è importante. Hanno sviluppato 29 diversi test mirati a diversi aspetti dell'incitamento all'odio per individuare con maggiore precisione dove ogni sistema fallisce. Ciò rende più facile capire come superare i punti deboli di un sistema e sta già aiutando un servizio commerciale a migliorare la propria IA.

Gli autori dello studio, guidati da scienziati dell'Università di Oxford e dell'Alan Turing Institute, hanno intervistato i dipendenti di 16 organizzazioni non profit che lavorano sull'odio online. Il team ha utilizzato queste interviste per creare una tassonomia di 18 diversi tipi di incitamento all'odio, concentrandosi solo sull'inglese e sull'incitamento all'odio basato sul testo, inclusi discorsi dispregiativi, insulti e linguaggio minaccioso. Hanno anche identificato 11 scenari non odiosi che comunemente fanno inciampare i moderatori dell'IA, incluso l'uso di parolacce in dichiarazioni innocue, insulti che sono stati rivendicati dalla comunità mirata e denunce di odio che citano o fanno riferimento all'incitamento all'odio originale (noto come counter discorso).

Per ciascuna delle 29 diverse categorie, hanno creato a mano dozzine di esempi e utilizzato frasi modello come I hate [IDENTITY] o You are just a [SLUR] per generare gli stessi set di esempi per sette gruppi protetti, identità che sono legalmente protetto dalla discriminazione ai sensi della legge statunitense. Essi open source il set di dati finale chiamato HateCheck, che contiene quasi 4.000 esempi totali.

I ricercatori hanno quindi testato due popolari servizi commerciali: Google Jigsaw's API di prospettiva e due cappelli Sift Ninja . Entrambi consentono ai clienti di segnalare la violazione dei contenuti nei post o nei commenti. La prospettiva, in particolare, è utilizzata da piattaforme come Reddit e testate giornalistiche come The New York Times e Wall Street Journal. Contrassegna e assegna la priorità a post e commenti per la revisione umana in base alla sua misura di tossicità.

Mentre SiftNinja è stato eccessivamente indulgente con l'incitamento all'odio, non riuscendo a rilevare quasi tutte le sue variazioni, Perspective è stato eccessivamente duro. Eccelleva nel rilevare la maggior parte delle 18 categorie odiose, ma segnalava anche la maggior parte di quelle non odiose, come insulti rivendicati e controvoce. I ricercatori hanno trovato lo stesso schema quando hanno testato due modelli accademici di Google che rappresentano alcune delle migliori tecnologie di intelligenza artificiale disponibili e probabilmente fungono da base per altri sistemi di moderazione dei contenuti commerciali. I modelli accademici hanno anche mostrato prestazioni disomogenee tra i gruppi protetti, classificando erroneamente l'odio diretto ad alcuni gruppi più spesso di altri.

Storia correlata

Come Facebook è diventato dipendente dalla diffusione di disinformazione

Gli algoritmi di intelligenza artificiale dell'azienda le hanno dato un'abitudine insaziabile di bugie e incitamento all'odio. Ora l'uomo che li ha costruiti non può risolvere il problema.

I risultati indicano uno degli aspetti più difficili del rilevamento dell'incitamento all'odio basato sull'intelligenza artificiale oggi: moderare troppo poco e non si riesce a risolvere il problema; moderare troppo e potresti censurare il tipo di linguaggio che i gruppi emarginati usano per potenziare e difendersi: all'improvviso penalizzeresti proprio quelle comunità che più spesso sono prese di mira dall'odio, in primo luogo, afferma Paul Röttger, un PhD candidato all'Oxford Internet Institute e coautore dell'articolo.

Lucy Vasserman, ingegnere software capo di Jigsaw, afferma che Perspective supera queste limitazioni affidandosi a moderatori umani per prendere la decisione finale. Ma questo processo non è scalabile per piattaforme più grandi. Jigsaw sta ora lavorando allo sviluppo di una funzione che ridistribuirebbe post e commenti in base all'incertezza di Perspective: rimuovendo automaticamente i contenuti che sicuramente sono odiosi e segnalando i contenuti borderline agli esseri umani.

La cosa eccitante del nuovo studio, dice, è che fornisce un modo dettagliato per valutare lo stato dell'arte. Molte delle cose che vengono evidenziate in questo documento, come le parole reclamate che rappresentano una sfida per questi modelli, è qualcosa che è noto nel settore ma è davvero difficile da quantificare, dice. Jigsaw sta ora utilizzando HateCheck per comprendere meglio le differenze tra i suoi modelli e dove devono essere migliorati.

Anche gli accademici sono entusiasti della ricerca. Questo documento ci offre una bella risorsa pulita per valutare i sistemi del settore, afferma Maarten Sap, ricercatore di intelligenza artificiale linguistica presso l'Università di Washington, che consente alle aziende e agli utenti di chiedere miglioramenti.

Thomas Davidson, assistente professore di sociologia alla Rutgers University, è d'accordo. I limiti dei modelli linguistici e il disordine del linguaggio significano che ci saranno sempre compromessi tra l'incitamento all'odio sotto e l'eccessiva identificazione, dice. Il set di dati HateCheck aiuta a rendere visibili questi compromessi, aggiunge.

nascondere