I ricercatori stanno lottando per replicare gli studi sull'IA

Categoria: Intelligenza artificiale Inserito 16 febbraio

Il codice e i dati mancanti rendono difficile confrontare il lavoro di apprendimento automatico e ciò potrebbe compromettere i progressi.

Il problema: Scienza rapporti che da un campione di 400 articoli nelle principali conferenze sull'intelligenza artificiale negli ultimi anni, solo il 6% dei relatori ha condiviso il codice. Solo un terzo ha condiviso i dati e poco più della metà ha condiviso i riepiloghi dei propri algoritmi, noti come pseudocodice.

Perchè importa: Senza l'accesso a tali informazioni, è difficile riprodurre i risultati di uno studio. Ciò rende quasi impossibile confrontare gli strumenti di nuova concezione con quelli esistenti, quindi è difficile per i ricercatori sapere in quale direzione spingere la ricerca futura.

Come risolverlo: A volte una mancanza di condivisione può essere comprensibile, ad esempio se la proprietà intellettuale è di proprietà di un'azienda privata. Ma sembra esserci una cultura più diffusa di mantenere segreti i dettagli. Alcuni incontri e diari ora incoraggiano la condivisione; forse ne dovrebbe seguire di più.