Il modo in cui alleniamo l'IA è fondamentalmente imperfetto

Getty Images

Non è un segreto che i modelli di apprendimento automatico siano stati ottimizzati e ottimizzati per renderli quasi perfetti prestazione in laboratorio spesso falliscono in contesti reali. Ciò è in genere dovuto a una mancata corrispondenza tra i dati su cui l'IA è stata addestrata e testata e i dati che incontra nel mondo, un problema noto come spostamento dei dati. Ad esempio, un'IA addestrata a individuare i segni di malattia in immagini mediche di alta qualità lo farà lotta con immagini sfocate o ritagliate catturato da una telecamera economica in una clinica affollata.

Ora un gruppo di 40 ricercatori in sette diversi team di Google ha identificato un'altra delle principali cause del fallimento comune dei modelli di apprendimento automatico . Chiamato sottospecifica, potrebbe essere un problema ancora più grande dello spostamento dei dati. Chiediamo ai modelli di apprendimento automatico più di quanto siamo in grado di garantire con il nostro approccio attuale, afferma Alex D'Amour, che ha guidato lo studio.

Storia correlata

L'IA medica di Google è stata super precisa in un laboratorio. La vita reale era un'altra storia. Se l'IA farà davvero la differenza per i pazienti, dobbiamo sapere come funziona quando i veri umani ci mettono le mani sopra, in situazioni reali.

La sottospecificazione è un problema noto nelle statistiche, in cui gli effetti osservati possono avere molte possibili cause. D'Amour, che ha un background nel ragionamento causale, voleva sapere perché i suoi modelli di apprendimento automatico spesso fallivano nella pratica. Si chiedeva se anche qui il problema potesse essere la sottospecifica. D'Amour si rese presto conto che molti dei suoi colleghi stavano notando lo stesso problema nei propri modelli. In realtà è un fenomeno che accade ovunque, dice.

L'indagine iniziale di D'Amour è andata a gonfie vele e dozzine di ricercatori di Google hanno finito per esaminare una gamma di diverse applicazioni di intelligenza artificiale, dal riconoscimento delle immagini al elaborazione del linguaggio naturale (PNL) a previsione della malattia . Hanno scoperto che la sottospecifica era la causa delle scarse prestazioni in tutti loro. Il problema risiede nel modo in cui i modelli di apprendimento automatico vengono addestrati e testati e non esiste una soluzione facile.

La carta è una palla da demolizione, afferma Brandon Rohrer, un ingegnere di apprendimento automatico presso iRobot, che in precedenza ha lavorato presso Facebook e Microsoft e non è stato coinvolto nel lavoro.

Uguale ma diverso

Per capire esattamente cosa sta succedendo, dobbiamo fare un po' di backup. In parole povere, costruire un modello di apprendimento automatico implica addestrarlo su un gran numero di esempi e quindi testarlo su un mucchio di esempi simili che non ha ancora visto. Quando il modello supera il test, hai finito.

Ciò che i ricercatori di Google sottolineano è che questa barra è troppo bassa. Il processo di addestramento può produrre molti modelli diversi che superano tutti il ​​test ma, e questa è la parte cruciale, questi modelli differiranno in modi piccoli e arbitrari, a seconda di cose come i valori casuali dati ai nodi in una rete neurale prima dell'inizio dell'addestramento , il modo in cui i dati di addestramento vengono selezionati o rappresentati, il numero di esecuzioni di addestramento e così via. Queste piccole differenze, spesso casuali, vengono in genere trascurate se non influiscono sul modo in cui un modello si comporta nel test. Ma si scopre che possono portare a enormi variazioni nelle prestazioni nel mondo reale.

In altre parole, il processo utilizzato oggi per costruire la maggior parte dei modelli di apprendimento automatico non è in grado di dire quali modelli funzioneranno nel mondo reale e quali no.

Questo non è lo stesso dello spostamento dei dati, in cui l'addestramento non riesce a produrre un modello valido perché i dati dell'addestramento non corrispondono agli esempi del mondo reale. Sottospecificazione significa qualcosa di diverso: anche se un processo di addestramento può produrre un buon modello, potrebbe comunque sputare un cattivo modello perché non riconoscerà la differenza. Nemmeno noi.

I ricercatori hanno esaminato l'impatto della sottospecificazione su una serie di diverse applicazioni. In ogni caso hanno utilizzato gli stessi processi di formazione per produrre più modelli di apprendimento automatico e quindi hanno eseguito tali modelli attraverso prove di stress progettate per evidenziare differenze specifiche nelle loro prestazioni.

Storia correlata

L'IA sta lottando con una crisi di replicazione I giganti della tecnologia dominano la ricerca, ma il confine tra vera svolta e vetrina del prodotto può essere confuso. Alcuni scienziati ne hanno avuto abbastanza.

Ad esempio, hanno addestrato 50 versioni di un modello di riconoscimento delle immagini su ImageNet , un set di dati di immagini di oggetti quotidiani. L'unica differenza tra i cicli di addestramento erano i valori casuali assegnati alla rete neurale all'inizio. Eppure, nonostante tutti i 50 modelli abbiano ottenuto più o meno lo stesso punteggio nel test di allenamento, suggerendo che erano ugualmente accurati, le loro prestazioni sono variate enormemente nello stress test.

Lo stress test ha utilizzato ImageNet-C, un set di dati di immagini di ImageNet che sono state pixelate o la cui luminosità e contrasto sono stati alterati, e ObjectNet , un set di dati di immagini di oggetti quotidiani in pose insolite, come sedie sulla schiena, teiere capovolte e magliette appese a ganci. Alcuni dei 50 modelli si sono comportati bene con le immagini pixelate, altri con le pose insolite; alcuni hanno fatto molto meglio nel complesso di altri. Ma per quanto riguarda il processo di formazione standard, erano tutti uguali.

I ricercatori hanno condotto esperimenti simili con due diversi sistemi di PNL e tre IA mediche per prevedere le malattie degli occhi dalle scansioni retiniche, il cancro dalle lesioni cutanee e l'insufficienza renale dalle cartelle dei pazienti. Ogni sistema presentava lo stesso problema: i modelli che avrebbero dovuto essere ugualmente accurati si comportavano in modo diverso quando testati con dati del mondo reale, come scansioni retiniche o tipi di pelle diversi.

Potrebbe essere necessario ripensare al modo in cui valutiamo le reti neurali, afferma Rohrer. Crea alcuni buchi significativi nelle ipotesi fondamentali che abbiamo fatto.

D'Amour è d'accordo. La cosa più importante e immediata è che dobbiamo fare molti più test, dice. Non sarà facile, tuttavia. Gli stress test sono stati adattati specificamente a ciascuna attività, utilizzando dati presi dal mondo reale o dati che imitavano il mondo reale. Questo non è sempre disponibile.

Alcuni stress test sono anche in contrasto tra loro: i modelli che erano bravi a riconoscere le immagini pixelate erano spesso pessimi nel riconoscere le immagini con contrasto elevato, ad esempio. Potrebbe non essere sempre possibile addestrare un singolo modello che superi tutti gli stress test.

Scelta multipla

Un'opzione consiste nel progettare una fase aggiuntiva al processo di formazione e test, in cui vengono prodotti molti modelli contemporaneamente anziché uno solo. Questi modelli concorrenti possono quindi essere testati di nuovo su attività specifiche del mondo reale per selezionare quello migliore per il lavoro.

È un sacco di lavoro. Ma per un'azienda come Google, che costruisce e distribuisce modelli di grandi dimensioni, potrebbe valerne la pena, afferma Yannic Kilcher, ricercatore di machine learning all'ETH di Zurigo. Google potrebbe offrire 50 diverse versioni di un modello NLP e gli sviluppatori di applicazioni potrebbero scegliere quella che funziona meglio per loro, dice.

D'Amour e i suoi colleghi non hanno ancora una soluzione, ma stanno esplorando modi per migliorare il processo di formazione. Dobbiamo migliorare nello specificare esattamente quali sono i nostri requisiti per i nostri modelli, afferma. Perché spesso quello che finisce per accadere è che scopriamo questi requisiti solo dopo che il modello ha fallito nel mondo.

Ottenere una soluzione è fondamentale se si vuole che l'IA abbia tanto impatto all'esterno del laboratorio quanto all'interno. Quando l'intelligenza artificiale ha prestazioni inferiori nel mondo reale, rende le persone meno disposte a volerla utilizzare, afferma la coautrice Katherine Heller, che lavora in Google sull'intelligenza artificiale per l'assistenza sanitaria: abbiamo perso molta fiducia quando si tratta di applicazioni killer , è una fiducia importante che vogliamo riconquistare.

nascondere