211service.com
L'IA sconfigge la Mente Alveare
Mechancial Turk di Amazon è il massimo dell'outsourcing quasi anonimo: qualsiasi attività che può essere completata online può essere eseguita dalla combinazione di mercato automatizzato e lavoro umano. Coloro che si iscrivono per completare le attività - turchi - vengono pagati stipendi a partire da pochi centesimi per lavoretto per fare tutto, dall'inserimento dei dati a arte popolare .
(CC) Jim Linwood
Mechanical Turk è progettato per completare attività facili per l'uomo e difficili per le macchine, come la categorizzazione o l'identificazione del contenuto delle immagini. Il problema per Amazon e tutti i suoi imitatori, tuttavia, è che le macchine stanno migliorando in molti compiti, mentre gli umani su Mechanical Turk, per ragioni che esplorerò nel post di domani, stanno peggiorando.
Di recente, ad esempio, i ricercatori che lavorano presso il sito di recensioni online Yelp hanno rilasciato a carta (pdf) sulla loro esperienza nell'incontrare migliaia di turchi meccanici contro a algoritmo di apprendimento supervisionato .
I risultati non sono stati belli: per trovare una popolazione di Turkers il cui lavoro fosse accettabile, i ricercatori hanno prima utilizzato Mechanical Turk per somministrare un test a 4.660 candidati. Si trattava di un test a scelta multipla per determinare se un Turker potesse identificare o meno la categoria corretta per un'attività (Ristorante, Shopping, ecc.) e verificarne, tramite il sito Web ufficiale o telefonicamente, il numero di telefono e l'indirizzo corretti.
79 superato. Questo era un estremamente semplice prova a scelta multipla. Viene da chiedersi come gli altri 4.581 siano stati abbastanza intelligenti da far funzionare un browser web in primo luogo.
Questi 79 lavoratori di alta qualità si sono quindi posti il problema di verificare le informazioni aziendali tre alla volta. Ciò ha permesso ai ricercatori di prendere solo i risultati che la maggioranza semplice dei turchi concordava fossero corretti, o in alcuni casi di prendere il risultato scelto dal turco che era stato storicamente il più accurato.
I ricercatori hanno lanciato un classificatore Naive Bayes sulla stessa serie di problemi. Questo è un tipo di algoritmo di apprendimento supervisionato; uno che, secondo un confronto del 2006 di questi sistemi , non è nemmeno il tipo migliore in circolazione.
Il classificatore di Bayes ha vinto facilmente.
In quasi tutti i casi, l'algoritmo, che è stato addestrato su un pool di 12 milioni di recensioni Yelp inviate dagli utenti, ha identificato correttamente la categoria di un'azienda un terzo più spesso degli umani. Nella categoria automobilistica, il computer aveva il doppio delle probabilità rispetto alle masse assemblate di identificare correttamente un'azienda.
Questi risultati non suggeriscono necessariamente che la categorizzazione aziendale sia un problema come gli scacchi, in cui il computer umano è stato finalmente superato dalla sua controparte meccanica. Piuttosto, suggeriscono che qualcosa in Mechanical Turk stesso è rotto: il sistema di incentivi o i suoi meccanismi per la qualità della polizia. È noto da tempo che i salari di Mechanical Turk sono piuttosto bassi: i lavoratori guadagnano, in media, tra i due ei tre dollari l'ora per il loro lavoro, ed è probabile che questo sia parte del problema. Gli economisti hanno appena iniziato ad affrontare la questione; più su quello domani.
