Gli strumenti editoriali automatizzati possono aiutare la forza lavoro volontaria in declino di Wikipedia?

Il risultato sono molti articoli di alta qualità su una vasta gamma di argomenti in oltre 200 lingue. Ma ci sono anche articoli di scarsa qualità e di dubbia veridicità.

Ciò solleva una domanda importante per i visitatori del sito: quanto è affidabile un determinato articolo su Wikipedia?

Oggi abbiamo una risposta grazie al lavoro di Xiangju Qin e Pádraig Cunningham presso l'University College Dublin in Irlanda. Questi ragazzi hanno sviluppato un algoritmo che valuta la qualità delle pagine di Wikipedia in base all'autorevolezza degli editori coinvolti e alla longevità delle modifiche che hanno apportato.

L'ipotesi è che le pagine con contributi significativi di autori autorevoli siano probabilmente pagine di alta qualità, affermano. Date queste informazioni, i visitatori di Wikipedia dovrebbero essere in grado di giudicare la qualità di qualsiasi articolo in modo molto più accurato.

Vari gruppi hanno studiato la qualità degli articoli di Wikipedia e come misurarla in passato. La novità di questo lavoro sta nel combinare le misure esistenti in un modo nuovo.

Qin e Cunningham iniziano con un metodo standard per misurare la longevità di una modifica. L'idea qui è che una modifica di alta qualità ha maggiori probabilità di sopravvivere a future revisioni. Hanno calcolato questo combinando la dimensione di una modifica eseguita da un determinato autore e quanto tempo dura questa modifica dopo altre revisioni.

Il vandalismo è un problema comune su Wikipedia. Per aggirare questo problema, Qin e Cunningham ignorano tutti i contributi anonimi e prendono anche una misura media della qualità che tende a ridurre l'impatto delle modifiche dannose.

Successivamente, misurano l'autorità di ciascun editore. Wikipedia è ben nota per avere un numero relativamente piccolo di editori dedicati che svolgono un ruolo fondamentale nella comunità. Queste persone aiutano a mantenere vari standard editoriali e a diffondere questa conoscenza in tutta la comunità.

In questa comunità, Qin e Cunningham presumono che esista un collegamento tra due redattori se entrambi sono co-autori di un articolo. Quindi, inevitabilmente, gli editor più esperti tendono ad essere meglio collegati alla rete.

Ci sono vari modi di misurare l'autorità. Qin e Cunningham esaminano il numero di altri editori a cui è collegato un determinato editore. Valutano la proporzione dei percorsi più brevi attraverso la rete che passano attraverso un determinato editor. E usano un algoritmo iterativo di tipo Pagerank per misurare l'autorità. (Pagerank è l'algoritmo di Google in cui una pagina web è considerata importante se altre pagine web importanti puntano ad essa.)

Infine, Qin e Cunningham combinano questi parametri di longevità e autorità per produrre una misura della qualità dell'articolo.

Per testare l'efficacia della loro valutazione, hanno usato il loro algoritmo per valutare la qualità di oltre 9.000 articoli che sono già stati valutati dagli editori di Wikipedia. Dicono che la longevità di una modifica di per sé è già un buon indicatore della qualità di un articolo. Tuttavia, tenere conto dell'autorità degli editori generalmente migliora la valutazione.

È probabile che gli articoli con contributi significativi di autori autorevoli siano di alta qualità e che gli articoli di alta qualità generalmente implicano una maggiore comunicazione e interazione tra i contributori, concludono.

Ci sono alcune limitazioni, ovviamente. Un tipo comune di modifica, noto come ripristino, riporta un articolo alla sua versione precedente, rimuovendo completamente una modifica. Questo è spesso usato per sbarazzarsi di atti vandalici. Al momento, non abbiamo alcun trattamento speciale per gestire le modifiche ripristinate che non introducono nuovi contenuti in una pagina, ammettono Qin e Cunningham. Quindi c'è del lavoro da fare in futuro.

Tuttavia, il nuovo approccio potrebbe essere uno strumento utile nell'armeria di un editore di Wikipedia. Qin e Cunningham suggeriscono che potrebbe aiutare a identificare nuovi articoli che sono di qualità relativamente buona e anche a identificare articoli esistenti che sono di qualità particolarmente bassa e quindi richiedono ulteriore attenzione.

Con il ben documentato declino della forza lavoro volontaria di Wikipedia, gli strumenti editoriali automatizzati sono chiaramente utili per ridurre il carico di lavoro per coloro che rimangono. Una domanda più ampia è quanto possono diventare buoni questi strumenti e come dovrebbero essere utilizzati in questo tipo di attività di crowdsourcing.

Rif: arxiv.org/abs/1206.2517 : valutare la qualità delle pagine di Wikipedia utilizzando la longevità di modifica e la centralità del collaboratore

nascondere