Una tecnica radicalmente nuova consente all'IA di apprendere praticamente senza dati

Un rinoceronte -- un incrocio tra un rinoceronte e un unicorno.

Il mitico rinoceronte. La signora Tech / Pixabay





L'apprendimento automatico in genere richiede tonnellate di esempi. Per fare in modo che un modello AI riconosca un cavallo, devi mostrargli migliaia di immagini di cavalli. Questo è ciò che rende la tecnologia computazionalmente costosa e molto diversa dall'apprendimento umano. Un bambino spesso ha bisogno di vedere solo alcuni esempi di un oggetto, o anche solo uno, prima di poterlo riconoscere per tutta la vita.

In effetti, i bambini a volte non hanno bisogno qualunque esempi per identificare qualcosa. Mostrate le foto di un cavallo e un rinoceronte, e detto che un unicorno è una via di mezzo, possono riconoscere la mitica creatura in un libro illustrato la prima volta che la vedono.

Rinoceronte, un incrocio tra un rinoceronte e un unicorno

Hmm...ok, non proprio.



MS TECH / PIXABAY

Ora a nuova carta dell'Università di Waterloo in Ontario suggerisce che anche i modelli di intelligenza artificiale dovrebbero essere in grado di farlo, un processo che i ricercatori chiamano apprendimento a meno di un colpo, o LO-shot. In altre parole, un modello di intelligenza artificiale dovrebbe essere in grado di riconoscere con precisione Di più oggetti rispetto al numero di esempi su cui è stato addestrato. Potrebbe essere un grosso problema per un campo che è diventato sempre più costoso e inaccessibile man mano che i set di dati utilizzati diventano sempre più grandi.

Come funziona l'apprendimento meno di un colpo

I ricercatori hanno prima dimostrato questa idea mentre sperimentavano il popolare set di dati di visione artificiale noto come MNIST . MNIST, che contiene 60.000 immagini di allenamento di cifre scritte a mano da 0 a 9, viene spesso utilizzato per testare nuove idee sul campo.

In un documento precedente , i ricercatori del MIT avevano introdotto una tecnica per distillare giganteschi set di dati in minuscoli e, come prova del concetto, avevano compresso MNIST fino a solo 10 immagini. Le immagini non sono state selezionate dal set di dati originale, ma sono state accuratamente progettate e ottimizzate per contenere una quantità equivalente di informazioni al set completo. Di conseguenza, se addestrato esclusivamente sulle 10 immagini, un modello di intelligenza artificiale potrebbe ottenere quasi la stessa precisione di uno addestrato su tutte le immagini di MNIST.



Cifre scritte a mano comprese tra 0 e 9 campionate dal set di dati MNIST.

Immagini di esempio dal set di dati MNIST.

WIKIMEDIA Mele e arance tracciate su un grafico per peso e colore.

Le 10 immagini 'distillate' da MNIST che possono addestrare un modello AI per ottenere una precisione di riconoscimento del 94% su cifre scritte a mano.

TONGZHOU WANG E AL.

I ricercatori di Waterloo volevano portare ulteriormente il processo di distillazione. Se è possibile ridurre 60.000 immagini fino a 10, perché non comprimerle in cinque? Il trucco, si sono resi conto, era creare immagini che unissero più cifre insieme e poi le inserissero in un modello di intelligenza artificiale con etichette ibride o morbide. (Ripensa a un cavallo e un rinoceronte con caratteristiche parziali di un unicorno.)



Se pensi alla cifra 3, assomiglia anche alla cifra 8 ma non assomiglia alla cifra 7, afferma Ilia Sucholutsky, una studentessa di dottorato a Waterloo e autrice principale dell'articolo. Le etichette soft cercano di acquisire queste funzionalità condivise. Quindi, invece di dire alla macchina 'Questa immagine è la cifra 3', diciamo: 'Questa immagine è per il 60% la cifra 3, il 30% la cifra 8 e il 10% la cifra 0'.

I limiti dell'apprendimento LO-shot

Una volta che i ricercatori hanno utilizzato con successo le etichette morbide per ottenere l'apprendimento LO-shot su MNIST, hanno iniziato a chiedersi fino a che punto questa idea potesse effettivamente arrivare. C'è un limite al numero di categorie che puoi insegnare a un modello di IA a identificare da un numero ristretto di esempi?

Sorprendentemente, la risposta sembra essere no. Con etichette morbide accuratamente progettate, anche due esempi potrebbero teoricamente codificare un numero qualsiasi di categorie. Con due punti, puoi separare mille classi o 10.000 classi o un milione di classi, dice Sucholutsky.



Vari grafici che mostrano le linee di confine tracciate da un algoritmo kNN. Ogni grafico ha sempre più linee di confine, tutte codificate in piccoli set di dati.

Tracciare mele (punti verdi e rossi) e arance (punti arancioni) in base al peso e al colore.

ADATTATO DA JASON MAYES' 'MACHINE LEARNING 101' SLIDE DECK

Questo è ciò che i ricercatori dimostrano nel loro ultimo articolo, attraverso un'esplorazione puramente matematica. Riproducono il concetto con uno dei più semplici algoritmi di apprendimento automatico, noto come k-nearest neighbors (kNN), che classifica gli oggetti utilizzando un approccio grafico.

Per capire come funziona kNN, prendi il compito di classificare i frutti come esempio. Se vuoi addestrare un modello kNN per capire la differenza tra mele e arance, devi prima selezionare le caratteristiche che vuoi usare per rappresentare ogni frutto. Forse scegli il colore e il peso, quindi per ogni mela e arancia, fornisci al kNN un punto dati con il colore del frutto come valore x e il peso come valore y. L'algoritmo kNN traccia quindi tutti i punti dati su un grafico 2D e traccia una linea di confine dritta nel mezzo tra le mele e le arance. A questo punto il grafico è suddiviso nettamente in due classi e l'algoritmo può ora decidere se i nuovi punti dati rappresentano l'uno o l'altro in base al lato della linea su cui cadono.

Per esplorare l'apprendimento LO-shot con l'algoritmo kNN, i ricercatori hanno creato una serie di minuscoli set di dati sintetici e progettato con cura le loro etichette morbide. Quindi hanno lasciato che il kNN tracciasse le linee di confine che stava vedendo e hanno scoperto che divideva con successo il grafico in più classi che punti dati. I ricercatori avevano anche un alto grado di controllo su dove cadevano le linee di confine. Usando varie modifiche alle etichette morbide, potrebbero ottenere l'algoritmo kNN per disegnare modelli precisi a forma di fiori.

I ricercatori hanno utilizzato esempi con etichetta morbida per addestrare un algoritmo kNN a codificare linee di confine sempre più complesse, suddividendo il grafico in molte più classi rispetto ai punti dati. Ognuna delle aree colorate sui grafici rappresenta una classe diversa, mentre i grafici a torta a lato di ciascun grafico mostrano la distribuzione delle etichette soft per ogni punto dati.

ILIA SUCHOLUTSKY E AL.

Naturalmente, queste esplorazioni teoriche hanno dei limiti. Mentre l'idea dell'apprendimento LO-shot dovrebbe essere trasferita ad algoritmi più complessi, il compito di ingegnerizzare gli esempi con etichetta morbida diventa sostanzialmente più difficile. L'algoritmo kNN è interpretabile e visivo, consentendo agli esseri umani di progettare le etichette; le reti neurali sono complicate e impenetrabili, il che significa che lo stesso potrebbe non essere vero. La distillazione dei dati, che funziona per la progettazione di esempi con etichetta morbida per le reti neurali, presenta anche un grosso svantaggio: richiede di iniziare con un set di dati gigantesco per ridurlo a qualcosa di più efficiente.

Sucholutsky afferma che ora sta lavorando per trovare altri modi per progettare questi minuscoli set di dati sintetici, sia che ciò significhi progettarli a mano o con un altro algoritmo. Nonostante queste ulteriori sfide di ricerca, tuttavia, il documento fornisce le basi teoriche per l'apprendimento LO-shot. La conclusione è che a seconda del tipo di set di dati che hai, probabilmente puoi ottenere enormi guadagni di efficienza, dice.

Questo è ciò che più interessa a Tongzhou Wang, uno studente di dottorato del MIT che ha guidato la precedente ricerca sulla distillazione dei dati. Il documento si basa su un obiettivo davvero nuovo e importante: apprendere modelli potenti da piccoli set di dati, dice del contributo di Sucholutsky.

Ryan Khurana, ricercatore presso l'AI Ethics Institute di Montreal, fa eco a questo sentimento: più significativamente, l'apprendimento 'meno di un colpo' ridurrebbe radicalmente i requisiti di dati per la creazione di un modello funzionante. Ciò potrebbe rendere l'IA più accessibile alle aziende e ai settori che finora sono stati ostacolati dai requisiti di dati del settore. Potrebbe anche migliorare la privacy dei dati, perché meno informazioni dovrebbero essere estratte dagli individui per addestrare modelli utili.

Sucholutsky sottolinea che la ricerca è ancora all'inizio, ma è entusiasta. Ogni volta che inizia a presentare il suo articolo ai colleghi ricercatori, la loro reazione iniziale è di dire che l'idea è impossibile, dice. Quando improvvisamente si rendono conto che non lo è, si apre un mondo completamente nuovo.

nascondere