Una conferenza leader sull'IA sta cercando di risolvere la crisi di riproducibilità del campo

Categoria: Intelligenza artificiale Inserito 09 aprile

La scorsa settimana, gli organizzatori della Neural Information Processing Systems Conference (NeurIPS), una delle più grandi conferenze annuali di ricerca sull'IA al mondo, aggiornato la loro politica per gli invii cartacei richiede quella che chiamano una lista di controllo di riproducibilità. È un piccolo cambiamento in una lotta più ampia per frenare la crescente crisi di riproducibilità nella scienza, in cui un numero sconcertante di risultati della ricerca non viene replicato con successo da altri ricercatori, mettendo in dubbio la validità dei risultati iniziali.

A febbraio, uno statistico della Rice University ha avvertito che le tecniche di apprendimento automatico stanno probabilmente alimentando quella crisi perché i risultati che producono sono difficili da controllare. È un problema preoccupante poiché l'apprendimento automatico viene applicato sempre più in aree importanti come l'assistenza sanitaria e la ricerca sui farmaci.

La checklist di riproducibilità di NeurIPS cerca di affrontare il problema. Tra le altre cose, i ricercatori devono fornire una chiara descrizione del loro algoritmo; una descrizione completa del loro processo di raccolta dei dati; un collegamento a qualsiasi ambiente di simulazione utilizzato durante l'addestramento; e una panoramica completa di quali dati hanno conservato, gettato e perché. L'idea è quella di creare un nuovo standard di trasparenza per i ricercatori per mostrare come sono arrivati ​​alle loro conclusioni.

In quanto conferenza sull'IA più significativa al mondo, ha scritto Jack Clark, il direttore delle politiche dell'organizzazione no profit OpenAI, nella sua newsletter settimanale Import AI, la politica di NeurIPS 2019 avrà [un] effetto a catena sul [] più ampio ecosistema di intelligenza artificiale.

Questa storia è apparsa originariamente nella nostra newsletter AI nominata da Webby The Algorithm. Per riceverlo direttamente nella tua casella di posta, registrati qui gratuitamente.