211service.com
I set di dati pieni di errori stanno alterando il nostro senso di quanto sia buona l'IA
Jeremy Lwanga/Unsplash
Il I 10 set di dati AI più citati sono pieni di errori di etichetta, secondo un nuovo studio del MIT , e sta distorcendo la nostra comprensione dei progressi del campo.
Spina dorsale dati: I set di dati sono la spina dorsale della ricerca sull'IA, ma alcuni sono più critici di altri. Ce ne sono una serie di base che i ricercatori usano per valutare i modelli di apprendimento automatico come un modo per tenere traccia di come le capacità di intelligenza artificiale stanno avanzando nel tempo. Uno dei più noti è il set di dati canonico di riconoscimento delle immagini ImageNet, che ha dato il via alla moderna rivoluzione dell'IA. C'è anche MNIST, che compila immagini di numeri scritti a mano tra 0 e 9. Altri modelli di test di set di dati addestrati per riconoscere audio, testo e disegni a mano.
Si ma: Negli ultimi anni, gli studi hanno scoperto che questi set di dati possono contenere gravi difetti. ImageNet, ad esempio, contiene etichette razziste e sessiste così come le foto di volti delle persone ottenuti senza consenso . L'ultimo studio ora esamina un altro problema: molte delle etichette sono semplicemente sbagliate. Un fungo è etichettato come un cucchiaio, una rana è etichettata come un gatto e una nota alta di Ariana Grande è etichettata come un fischio. Il set di test ImageNet ha un tasso di errore dell'etichetta stimato del 5,8%. Nel frattempo, il set di test per QuickDraw, una raccolta di disegni a mano, ha un tasso di errore stimato del 10,1%.
Come è stato misurato? Ciascuno dei 10 set di dati utilizzati per la valutazione dei modelli ha un set di dati corrispondente utilizzato per il loro addestramento. I ricercatori, gli studenti laureati del MIT Curtis G. Northcutt e Anish Athalye e l'ex allume Jonas Mueller, hanno utilizzato i set di dati di formazione per sviluppare un modello di apprendimento automatico e quindi lo hanno utilizzato per prevedere le etichette nei dati di test. Se il modello non era d'accordo con l'etichetta originale, il punto dati veniva segnalato per la revisione manuale. A cinque revisori umani su Amazon Mechanical Turk è stato chiesto di votare quale etichetta, quella del modello o quella originale, ritenevano corretta. Se la maggior parte dei revisori umani era d'accordo con il modello, l'etichetta originale veniva considerata come un errore e quindi corretta.
Questo importa? Sì. I ricercatori hanno esaminato 34 modelli le cui prestazioni erano state precedentemente misurate rispetto al set di test ImageNet. Quindi hanno rimisurato ogni modello rispetto ai circa 1.500 esempi in cui le etichette dei dati sono risultate errate. Hanno scoperto che i modelli che non si comportavano così bene sull'originale errato le etichette sono state alcune delle migliori prestazioni dopo che le etichette sono state corrette. In particolare, i modelli più semplici sembravano cavarsela meglio con i dati corretti rispetto ai modelli più complicati utilizzati da giganti della tecnologia come Google per il riconoscimento delle immagini e ritenuti i migliori sul campo. In altre parole, potremmo avere un'idea gonfiata di quanto siano grandi questi modelli complicati a causa di dati di test difettosi.
E adesso? Northcutt incoraggia il campo dell'IA a creare set di dati più puliti per valutare i modelli e monitorare i progressi del campo. Raccomanda inoltre ai ricercatori di migliorare l'igiene dei dati quando lavorano con i propri dati. Altrimenti, dice, se hai un set di dati rumoroso e un sacco di modelli che stai provando e li distribuirai nel mondo reale, potresti finire per selezionare il modello sbagliato. A tal fine, ha open-source il codice ha usato nel suo studio per correggere gli errori di etichetta, che secondo lui è già in uso in alcune importanti aziende tecnologiche.