Troppi ricercatori di intelligenza artificiale pensano che i problemi del mondo reale non siano rilevanti

Signora Tech | Getty

Qualsiasi ricercatore che si concentri sull'applicazione dell'apprendimento automatico ai problemi del mondo reale ha probabilmente ricevuto una risposta come questa: gli autori presentano una soluzione per un problema originale e altamente motivante, ma è un'applicazione e il significato sembra limitato per l'apprendimento automatico Comunità.

Queste parole provengono direttamente da una recensione che ho ricevuto per un articolo che ho inviato al Conferenza NeurIPS (Neural Information Processing Systems). , un luogo di eccellenza per la ricerca sull'apprendimento automatico. Ho visto il ritornello più e più volte nelle recensioni di articoli in cui io e i miei coautori abbiamo presentato un metodo motivato da un'applicazione e ho sentito storie simili da innumerevoli altri.

Questo mi fa chiedere: se la comunità ritiene che puntare a risolvere i problemi del mondo reale ad alto impatto con l'apprendimento automatico abbia un significato limitato, allora cosa stiamo cercando di ottenere?

Il obiettivo dell'intelligenza artificiale (pdf) è quello di spingere in avanti la frontiera dell'intelligenza artificiale. Nel campo del machine learning, un nuovo sviluppo di solito significa un nuovo algoritmo o procedura o, nel caso del deep learning, una nuova architettura di rete. Come altri hanno sottolineato, questa iperfocalizzazione sui nuovi metodi porta a una piaga di articoli che riportano miglioramenti marginali o incrementali sui set di dati di riferimento e mostra borsa di studio imperfetta (pdf) mentre i ricercatori corrono per raggiungere la vetta classifica .

Nel frattempo, molti articoli che descrivono nuove applicazioni presentano sia concetti nuovi che risultati di grande impatto. Ma anche un accenno della parola applicazione sembra rovinare la carta per i revisori. Di conseguenza, tale ricerca viene emarginata in occasione di grandi conferenze. L'unica vera speranza dei loro autori è che i loro articoli vengano accettati nei workshop, che raramente ottengono la stessa attenzione dalla comunità.

Questo è un problema perché l'apprendimento automatico è molto promettente per il progresso della salute, dell'agricoltura, della scoperta scientifica e altro ancora. Il primo immagine di un buco nero è stato prodotto utilizzando l'apprendimento automatico. Il più preciso previsioni di strutture proteiche , un passaggio importante per la scoperta di farmaci, vengono realizzati utilizzando l'apprendimento automatico. Se altri nel campo avessero dato la priorità alle applicazioni del mondo reale, quali altre scoperte rivoluzionarie avremmo fatto a questo punto?

Questa non è una nuova rivelazione. Per citare un classico articolo intitolato Apprendimento automatico che conta (pdf) , dall'informatico della NASA Sinistra Wagstaff F : Gran parte dell'attuale ricerca sull'apprendimento automatico ha perso la sua connessione con problemi di importanza nel più ampio mondo della scienza e della società. Lo stesso anno in cui Wagstaff pubblicò il suo articolo, una rete neurale convoluzionale chiamata AlexNet vinse un concorso di alto profilo per il riconoscimento delle immagini incentrato sul popolare ImageNet set di dati, portando a un'esplosione di interesse per apprendimento approfondito . Sfortunatamente, la disconnessione che ha descritto sembra essere peggiorata da allora.

Le domande sbagliate

La marginalizzazione della ricerca sulle applicazioni ha conseguenze reali. Set di dati di riferimento, come ImageNet o NOCE DI COCCO , sono stati fondamentali per far progredire l'apprendimento automatico. Consentono agli algoritmi di addestrarsi ed essere confrontati sugli stessi dati. Tuttavia, questi set di dati contengono pregiudizi che può essere integrato nei modelli risultanti.

Più della metà delle immagini in ImageNet (pdf) provengono dagli Stati Uniti e dalla Gran Bretagna, per esempio. Questo squilibrio porta i sistemi a classificare in modo impreciso le immagini in categorie che differiscono da geografia (PDF) . Set di dati volti popolari, come il Database AT&T dei volti , contengono principalmente soggetti maschi dalla pelle chiara, il che porta a sistemi che faticano a riconoscere visi di pelle scura e femminili .

Mentre i ricercatori cercano di superarsi a vicenda su benchmark artificiosi, una persona su nove nel mondo sta morendo di fame.

Quando gli studi sulle applicazioni del mondo reale dell'apprendimento automatico sono esclusi dal mainstream, è difficile per i ricercatori vedere l'impatto dei loro modelli distorti, rendendo molto meno probabile che lavoreranno per risolvere questi problemi.

Uno dei motivi per cui la ricerca sulle applicazioni è ridotta al minimo potrebbe essere che altri nell'apprendimento automatico pensano che questo lavoro consista semplicemente nell'applicazione di metodi già esistenti. In realtà, tuttavia, adattare gli strumenti di apprendimento automatico a specifici problemi del mondo reale richiede un notevole lavoro algoritmico e ingegneristico. I ricercatori dell'apprendimento automatico che non riescono a rendersene conto e si aspettano che gli strumenti funzionino subito spesso finiscono per creare modelli inefficaci. O valutano le prestazioni di un modello utilizzando metriche che non si traducono in un impatto nel mondo reale o scelgono del tutto l'obiettivo sbagliato.

Ad esempio, la maggior parte degli studi che applicano l'apprendimento profondo all'analisi dell'ecocardiogramma cercano di superare la capacità di un medico di prevedere la malattia. Ma predire normale funzione cardiaca (pdf) farebbe effettivamente risparmiare più tempo ai cardiologi identificando i pazienti che non hanno bisogno della loro esperienza. Molti studi che applicano l'apprendimento automatico alla viticoltura mirano a ottimizzare le rese d'uva (pdf) , ma i produttori di vino vogliono i giusti livelli di zucchero e acido, non solo un sacco di grandi bacche acquose, afferma Drake Whitcraft di Cantina Whitcraft in California.

Più male che bene

Un altro motivo per cui la ricerca sulle applicazioni dovrebbe essere importante per l'apprendimento automatico tradizionale è che i set di dati di riferimento del campo sono terribilmente fuori contatto con la realtà.

I nuovi modelli di apprendimento automatico vengono misurati rispetto a set di dati ampi e curati privi di rumore e con categorie ben definite ed etichettate in modo esplicito (gatto, cane, uccello). L'apprendimento profondo fa bene per questi problemi perché presuppone un mondo sostanzialmente stabile (pdf) .

Ma nel mondo reale, queste categorie cambiano costantemente nel tempo o in base al contesto geografico e culturale. Sfortunatamente, la risposta non è stata lo sviluppo di nuovi metodi che affrontino le difficoltà dei dati del mondo reale; piuttosto, c'è stata una spinta per i ricercatori delle applicazioni a creare i propri set di dati di riferimento.

L'obiettivo di questi sforzi è essenzialmente quello di inserire i problemi del mondo reale nel paradigma utilizzato da altri ricercatori di apprendimento automatico per misurare le prestazioni. Ma è probabile che i set di dati specifici del dominio non siano migliori delle versioni esistenti nella rappresentazione di scenari del mondo reale. I risultati potrebbero fare più male che bene. Le persone che potrebbero essere state aiutate dal lavoro di questi ricercatori rimarranno deluse dalle tecnologie che eseguire male quando conta di più.

A causa delle priorità sbagliate del campo, le persone che stanno cercando di risolvere le più grandi sfide del mondo non stanno beneficiando quanto potrebbero dalla vera promessa dell'IA. Mentre i ricercatori cercano di superarsi a vicenda su benchmark artificiosi, una persona su nove nel mondo sta morendo di fame . La terra si sta riscaldando e il livello del mare si sta alzando a un ritmo allarmante.

Come neuroscienziato e leader del pensiero di intelligenza artificiale Gary Marcus una volta scritto (pdf) : i maggiori contributi dell'IA alla società... potrebbero e dovrebbero alla fine arrivare in domini come la scoperta scientifica automatizzata, portando tra l'altro a versioni della medicina molto più sofisticate di quelle attualmente possibili. Ma per arrivarci dobbiamo assicurarci che il campo nel suo insieme non si blocchi prima in un minimo locale.

Affinché il mondo possa trarre vantaggio dall'apprendimento automatico, la comunità deve chiedersi ancora una volta, come disse una volta Wagstaff: qual è la funzione oggettiva del campo? Se la risposta è avere un impatto positivo nel mondo, dobbiamo cambiare il modo in cui pensiamo alle applicazioni.

Hanna Kerner è un assistente professore di ricerca presso l'Università del Maryland a College Park. Nell'ambito del progetto, ricerca metodi di apprendimento automatico per applicazioni di telerilevamento nel monitoraggio agricolo e nella sicurezza alimentare Raccolto della NASA programma.

nascondere