L'IA sta lottando con una crisi di replicazione

I giganti della tecnologia dominano la ricerca, ma il confine tra vera svolta e vetrina del prodotto può essere confuso. Alcuni scienziati ne hanno avuto abbastanza.





  • Will Douglas il paradiso pagina di archivio
12 novembre 2020

Il mese scorso Nature ha pubblicato a risposta schiacciante scritto da 31 scienziati ad a studio di Google Health che era apparso sul giornale all'inizio di quest'anno. Google stava descrivendo prove riuscite di un'IA che cercava segni di cancro al seno nelle immagini mediche. Ma secondo i suoi critici, il team di Google ha fornito così poche informazioni sul suo codice e su come è stato testato che lo studio non è stato altro che una promozione di tecnologia proprietaria.

Non ce la facevamo più, afferma Benjamin Haibe-Kains, l'autore principale della risposta, che studia genomica computazionale all'Università di Toronto. Non si tratta di questo studio in particolare: è una tendenza a cui assistiamo da molti anni ormai che ha iniziato a infastidirci davvero.

Haibe-Kains e i suoi colleghi sono tra un numero crescente di scienziati che respingono una percepita mancanza di trasparenza nella ricerca sull'IA. Quando abbiamo visto quel documento di Google, ci siamo resi conto che si trattava dell'ennesimo esempio di rivista di altissimo profilo che pubblica uno studio molto interessante che non ha nulla a che fare con la scienza, dice. È più una pubblicità per la tecnologia cool. Non possiamo davvero farci nulla.



La scienza è costruita su un fondamento di fiducia, che in genere implica la condivisione di dettagli sufficienti su come viene condotta la ricerca per consentire ad altri di replicarla, verificando i risultati da soli. Questo è il modo in cui la scienza si autocorregge ed elimina i risultati che non reggono. La replica consente anche ad altri di basarsi su quei risultati, aiutando a far avanzare il campo. La scienza che non può essere replicata cade nel dimenticatoio.

Almeno, questa è l'idea. In pratica, pochi studi sono completamente replicati perché la maggior parte dei ricercatori è più interessata a produrre nuovi risultati che a riprodurre quelli vecchi. Ma in campi come la biologia e la fisica, e l'informatica in generale, i ricercatori sono generalmente tenuti a fornire le informazioni necessarie per eseguire nuovamente gli esperimenti, anche se tali repliche sono rare.

Noob ambizioso

L'IA sente il caldo per diversi motivi. Tanto per cominciare, è un nuovo arrivato. È diventata davvero una scienza sperimentale solo nell'ultimo decennio, afferma Joelle Pineau, informatica presso Facebook AI Research e McGill University, coautrice della denuncia. Un tempo era teorico, ma sempre di più stiamo facendo esperimenti, dice. E la nostra dedizione alla solida metodologia è in ritardo rispetto all'ambizione dei nostri esperimenti.



Il problema non è semplicemente accademico. Una mancanza di trasparenza impedisce che i nuovi modelli e tecniche di IA vengano adeguatamente valutati per robustezza, bias e sicurezza. L'IA passa rapidamente dai laboratori di ricerca alle applicazioni del mondo reale, con un impatto diretto sulla vita delle persone. Ma i modelli di apprendimento automatico che funzionano bene in laboratorio possono fallire in natura, con conseguenze potenzialmente pericolose. La replica da parte di ricercatori diversi in contesti diversi esporrebbe i problemi prima, rendendo l'IA più forte per tutti.

Storia correlata

Intelligenza artificiale generale: siamo vicini e ha senso provare?

Una macchina in grado di pensare come una persona è stata la visione guida della ricerca sull'IA sin dai primi giorni e rimane la sua idea più divisiva.

L'IA soffre già del problema della scatola nera: può essere impossibile dire esattamente come o perché un modello di apprendimento automatico produce i risultati che produce. La mancanza di trasparenza nella ricerca peggiora le cose. I modelli di grandi dimensioni hanno bisogno di quanti più occhi possibile su di loro, più persone li testano e cercano di capire cosa li fa funzionare. Questo è il modo in cui rendiamo più sicura l'IA nell'assistenza sanitaria, l'IA dentro polizia più equa e chatbot meno odiosi.



Ciò che impedisce alla replica dell'IA di funzionare come dovrebbe è la mancanza di accesso a tre cose: codice, dati e hardware. Secondo il Rapporto sullo stato dell'IA 2020 , un'analisi annuale ben controllata del campo da parte degli investitori Nathan Benaich e Ian Hogarth, solo il 15% degli studi sull'IA condivide il proprio codice. I ricercatori del settore sono più criminali di quelli affiliati alle università. In particolare, il rapporto richiama OpenAI e DeepMind per mantenere il codice nascosto.

Poi c'è il divario crescente tra chi ha e chi non ha quando si tratta dei due pilastri dell'IA, dati e hardware. I dati sono spesso proprietari, come le informazioni che Facebook raccoglie sui suoi utenti, o sensibili, come nel caso delle cartelle cliniche personali. E i giganti della tecnologia svolgono sempre più ricerche su enormi e costosi cluster di computer a cui poche università o aziende più piccole hanno le risorse per accedere.

Per fare un esempio, la formazione del generatore di lingua GPT-3 è stimato avere un costo OpenAI da $ 10 a $ 12 milioni, e questo è solo il modello finale, escluso il costo di sviluppo e addestramento dei suoi prototipi. Probabilmente potresti moltiplicare quella cifra per almeno uno o due ordini di grandezza, afferma Benaich, fondatore di Air Street Capital, un'azienda VC che investe in startup di intelligenza artificiale. Solo una piccola manciata di grandi aziende tecnologiche può permettersi di fare quel tipo di lavoro, dice: Nessun altro può semplicemente investire ingenti budget per questi esperimenti.



Il tasso di progresso è vertiginoso, con migliaia di articoli pubblicati ogni anno. Ma a meno che i ricercatori non sappiano di chi fidarsi, è difficile per il campo andare avanti. La replica consente ad altri ricercatori di verificare che i risultati non siano stati selezionati e che le nuove tecniche di intelligenza artificiale funzionino davvero come descritto. Sta diventando sempre più difficile dire quali sono risultati affidabili e quali no, dice Pineau.

Cosa si può fare? Come molti ricercatori di intelligenza artificiale, Pineau divide il suo tempo tra università e laboratori aziendali. Negli ultimi anni, è stata la forza trainante di un cambiamento nel modo in cui viene pubblicata la ricerca sull'IA. Ad esempio, l'anno scorso ha contribuito a introdurre una lista di controllo delle cose che i ricercatori devono fornire, incluso il codice e le descrizioni dettagliate degli esperimenti, quando inviano i documenti a NeurIPS, una delle più grandi conferenze sull'IA.

La replica è la sua stessa ricompensa

Pineau ha anche contribuito a lanciare una manciata di sfide di riproducibilità, in cui i ricercatori cercano di replicare i risultati degli studi pubblicati. I partecipanti selezionano i documenti che sono stati accettati a una conferenza e competono per ripetere gli esperimenti utilizzando le informazioni fornite. Ma l'unico premio sono i complimenti.

Questa mancanza di incentivi è un ostacolo a tali sforzi in tutte le scienze, non solo nell'IA. La replica è essenziale, ma non viene premiata. Una soluzione è convincere gli studenti a fare il lavoro. Negli ultimi due anni Rosemary Ke, dottoranda presso Mila, un istituto di ricerca di Montreal fondato da Yoshua Bengio, ha organizzato un sfida della riproducibilità dove gli studenti cercano di replicare gli studi inviati a NeurIPS come parte del loro corso di apprendimento automatico. A loro volta, alcune repliche di successo vengono sottoposte a revisione paritaria e pubblicate sulla rivista ReScience.

Ci vuole un grande sforzo per riprodurre un'altra carta da zero, dice Ke. La sfida della riproducibilità riconosce questo sforzo e dà credito alle persone che fanno un buon lavoro. Ke e altri stanno anche spargendo la voce alle conferenze sull'IA tramite workshop organizzati per incoraggiare i ricercatori a rendere il loro lavoro più trasparente. Quest'anno Pineau e Ke hanno esteso la sfida della riproducibilità a sette delle principali conferenze sull'IA, tra cui ICML e ICLR.

Un'altra spinta alla trasparenza è il Documenti con codice progetto, avviato dal ricercatore di intelligenza artificiale Robert Stojnic quando era all'Università di Cambridge. (Stojnic è ora un collega di Pineau su Facebook.) Lanciato come sito web autonomo in cui i ricercatori potevano collegare uno studio al codice che lo accompagnava, quest'anno Papers with Code ha avviato una collaborazione con arXiv, un popolare server di prestampa. Da ottobre, tutti i documenti di apprendimento automatico su arXiv sono dotati di una sezione Documenti con codice che si collega direttamente al codice che gli autori desiderano rendere disponibile. L'obiettivo è fare della condivisione la norma.

Tali sforzi fanno la differenza? Pineau ha scoperto che l'anno scorso, quando è stata introdotta la checklist, il numero di ricercatori incluso il codice con documenti inviati a NeurIPS è aumentato da meno del 50% a circa il 75% . Migliaia di revisori affermano di aver utilizzato il codice per valutare le richieste. E il numero di partecipanti alle sfide della riproducibilità è in aumento.

Sudare i dettagli

Ma è solo un inizio. Haibe-Kains sottolinea che il codice da solo spesso non è sufficiente per eseguire nuovamente un esperimento. La creazione di modelli di intelligenza artificiale implica l'esecuzione di molte piccole modifiche: l'aggiunta di parametri qui, la regolazione dei valori lì. Ognuno di questi può fare la differenza tra un modello funzionante e non funzionante. Senza metadati che descrivono come i modelli vengono addestrati e ottimizzati, il codice può essere inutile. Il diavolo è davvero nei dettagli, dice.

Inoltre, non è sempre chiaro esattamente quale codice condividere in primo luogo. Molti laboratori utilizzano software speciali per eseguire i propri modelli; a volte questo è di proprietà. È difficile sapere quanto di quel codice di supporto debba essere condiviso, afferma Haibe-Kains.

Pineau non è troppo preoccupato per tali ostacoli. Dovremmo avere aspettative molto alte per la condivisione del codice, dice. La condivisione dei dati è più complicata, ma ci sono anche soluzioni qui. Se i ricercatori non possono condividere i loro dati, potrebbero dare indicazioni in modo che altri possano costruire set di dati simili. Oppure potresti avere un processo in cui un piccolo numero di revisori indipendenti ha avuto accesso ai dati, verificando i risultati per tutti gli altri, afferma Haibe-Kains.

L'hardware è il problema più grande. Ma DeepMind afferma che ricerche di alto livello come AlphaGo o GPT-3 hanno un effetto a cascata, in cui i soldi spesi dai laboratori ricchi alla fine portano a risultati a vantaggio di tutti. L'intelligenza artificiale che è inaccessibile ad altri ricercatori nelle sue fasi iniziali, poiché richiede molta potenza di calcolo, viene spesso resa più efficiente, e quindi più accessibile, man mano che viene sviluppata. AlphaGo Zero ha superato l'originale AlphaGo utilizzando molte meno risorse di calcolo, afferma Koray Kavukcuoglu, vicepresidente della ricerca presso DeepMind.

In teoria, ciò significa che anche se la replica è ritardata, almeno è ancora possibile. Kavukcuoglu osserva che Gian-Carlo Pascutto, un programmatore belga di Mozilla che scrive software di scacchi e Go nel tempo libero, è stato in grado di ricreare una versione di AlphaGo Zero chiamata Leela Zero, utilizzando algoritmi delineati da DeepMind nei suoi articoli. Pineau pensa anche che le ricerche di punta come AlphaGo e GPT-3 siano rare. La maggior parte della ricerca sull'intelligenza artificiale viene eseguita su computer disponibili per il laboratorio medio, afferma. E il problema non è esclusivo dell'IA. Pineau e Benaich puntano entrambi alla fisica delle particelle, dove alcuni esperimenti possono essere eseguiti solo su apparecchiature costose come il Large Hadron Collider.

In fisica, invece, i laboratori universitari eseguono esperimenti congiunti sull'LHC. I grandi esperimenti di intelligenza artificiale vengono in genere eseguiti su hardware di proprietà e controllato da società. Ma anche questo sta cambiando, dice Pineau. Ad esempio, un gruppo chiamato Compute Canada sta mettendo insieme cluster informatici per consentire alle università di condurre grandi esperimenti di intelligenza artificiale. Alcune aziende, tra cui Facebook, offrono anche alle università un accesso limitato al proprio hardware. Non è completamente lì, dice. Ma alcune porte si stanno aprendo.

Haibe-Kains è meno convinto. Quando ha chiesto al team di Google Health di condividere il codice per la sua IA per lo screening del cancro, gli è stato detto che aveva bisogno di più test. La squadra ripete questa giustificazione in a risposta formale alle critiche di Haibe-Kains, pubblicate anche su Nature: Intendiamo sottoporre il nostro software a test approfonditi prima del suo utilizzo in un ambiente clinico, lavorando a fianco di pazienti, fornitori e autorità di regolamentazione per garantire efficacia e sicurezza. I ricercatori hanno anche affermato di non avere il permesso di condividere tutti i dati medici che stavano utilizzando.

Non è abbastanza buono, dice Haibe-Kains: Se vogliono costruirci un prodotto, allora capisco perfettamente che non divulgheranno tutte le informazioni. Ma pensa che se pubblichi in una rivista scientifica o in una conferenza, hai il dovere di rilasciare codice che altri possono eseguire. A volte ciò potrebbe significare condividere una versione che è addestrata su meno dati o utilizza hardware meno costoso. Potrebbe dare risultati peggiori, ma le persone saranno in grado di armeggiare con esso. I confini tra la costruzione di un prodotto e la ricerca stanno diventando sempre più confusi, afferma Haibe-Kains. Penso che come campo perderemo.

Le abitudini di ricerca sono dure a morire

Se le aziende verranno criticate per l'editoria, perché farlo? C'è un certo grado di pubbliche relazioni, ovviamente. Ma il motivo principale è che i migliori laboratori aziendali sono pieni di ricercatori delle università. In una certa misura la cultura in luoghi come Facebook AI Research, DeepMind e OpenAI è modellata dalle tradizionali abitudini accademiche. Le aziende tecnologiche vincono anche partecipando alla più ampia comunità di ricerca. Tutti i grandi progetti di IA nei laboratori privati ​​sono costruiti su livelli e livelli di ricerca pubblica. E pochi ricercatori di intelligenza artificiale non hanno utilizzato strumenti di apprendimento automatico open source come PyTorch di Facebook o TensorFlow di Google.

Man mano che più ricerche vengono svolte internamente presso le gigantesche società tecnologiche, alcuni compromessi tra le esigenze concorrenti del business e della ricerca diventeranno inevitabili. La domanda è come i ricercatori li navigano. Haibe-Kains vorrebbe vedere riviste come Nature dividere ciò che pubblicano in flussi separati: studi riproducibili da un lato e vetrine tecnologiche dall'altro.

Ma Pineau è più ottimista. Non lavorerei su Facebook se non avesse un approccio aperto alla ricerca, dice.

Anche altri grandi laboratori aziendali sottolineano il loro impegno per la trasparenza. Il lavoro scientifico richiede il controllo e la replica da parte di altri sul campo, afferma Kavukcuoglu. Questa è una parte fondamentale del nostro approccio alla ricerca in DeepMind.

OpenAI è diventato qualcosa di molto diverso da un laboratorio tradizionale, afferma Kayla Wood, portavoce dell'azienda. Naturalmente ciò solleva alcune domande. Nota che OpenAI collabora con oltre 80 organizzazioni industriali e accademiche nella Partnership on AI per pensare a norme di pubblicazione a lungo termine per la ricerca.

Pineau crede che ci sia qualcosa in questo. Pensa che le aziende di intelligenza artificiale stiano dimostrando un terzo modo di fare ricerca, da qualche parte tra i due flussi di Haibe-Kains. Contrasta la produzione intellettuale dei laboratori di intelligenza artificiale privati ​​con quella delle aziende farmaceutiche, ad esempio, che investono miliardi in farmaci e mantengono gran parte del lavoro a porte chiuse.

Resta da vedere l'impatto a lungo termine delle pratiche introdotte da Pineau e altri. Le abitudini cambieranno per sempre? Che differenza farà per l'adozione dell'IA al di fuori della ricerca? Molto dipende dalla direzione che prende l'IA. La tendenza a modelli e set di dati sempre più grandi, ad esempio favoriti da OpenAI, continuerà a rendere inaccessibile alla maggior parte dei ricercatori l'avanguardia dell'IA. D'altra parte, nuove tecniche, come compressione del modello e apprendimento a pochi colpi , potrebbe invertire questa tendenza e consentire a più ricercatori di lavorare con un'IA più piccola e più efficiente.

In ogni caso, la ricerca sull'IA sarà ancora dominata dalle grandi aziende. Se è fatto bene, non deve essere una cosa negativa, afferma Pineau: l'IA sta cambiando la conversazione su come funzionano i laboratori di ricerca del settore. La chiave sarà assicurarsi che il campo più ampio abbia la possibilità di partecipare. Perché l'affidabilità dell'IA, da cui tanto dipende, inizia all'avanguardia.