L'IA medica di Google è stata super precisa in un laboratorio. La vita reale era un'altra storia.

Wikimedia Commons

La pandemia di covid-19 sta portando le risorse ospedaliere al punto di rottura in molti paesi del mondo. Non sorprende che molte persone sperano che l'IA possa accelerare lo screening dei pazienti e alleviare lo sforzo sul personale clinico. Ma uno studio di Google Health, il in primo luogo per esaminare l'impatto di uno strumento di deep learning in contesti clinici reali —rivela che anche le IA più accurate possono effettivamente peggiorare le cose se non adattate agli ambienti clinici in cui lavoreranno.

Le regole esistenti per l'implementazione dell'IA in contesti clinici, come gli standard per l'autorizzazione della FDA negli Stati Uniti o un marchio CE in Europa, si concentrano principalmente sull'accuratezza. Non ci sono requisiti espliciti che un'IA debba migliorare l'esito per i pazienti, in gran parte perché tali studi non sono ancora stati eseguiti. Ma questo deve cambiare, afferma Emma Beede, ricercatrice UX di Google Health: dobbiamo capire come funzioneranno gli strumenti di intelligenza artificiale per le persone nel contesto, specialmente nell'assistenza sanitaria, prima che siano ampiamente implementati.

La prima opportunità di Google per testare lo strumento in un ambiente reale è arrivata dalla Thailandia. Il ministero della salute del paese ha fissato l'obiettivo annuale di sottoporre a screening il 60% delle persone con diabete per la retinopatia diabetica, che può causare cecità se non rilevata precocemente. Ma con circa 4,5 milioni di pazienti e solo 200 specialisti della retina, circa il doppio del rapporto negli Stati Uniti, le cliniche stanno lottando per raggiungere l'obiettivo. Google ha l'autorizzazione del marchio CE, che copre la Thailandia, ma è ancora in attesa dell'approvazione della FDA. Quindi, per vedere se l'IA potesse aiutare, Beede e i suoi colleghi hanno dotato 11 cliniche in tutto il paese di un sistema di apprendimento profondo addestrato per individuare i segni di malattie degli occhi nei pazienti con diabete.

Nel sistema utilizzato dalla Thailandia, gli infermieri fotografano gli occhi dei pazienti durante i controlli e li inviano a uno specialista altrove, un processo che può richiedere fino a 10 settimane. L'IA sviluppata da Google Health può identificare i segni della retinopatia diabetica da una scansione dell'occhio con una precisione superiore al 90%, che il team chiama livello di specialista umano, e, in linea di principio, fornire un risultato in meno di 10 minuti. Il sistema analizza le immagini alla ricerca di indicatori rivelatori della condizione, come vasi sanguigni ostruiti o con perdite.

Altro sul coronavirus

• La nostra copertura più essenziale per covid-19 è gratuita, tra cui:

  Cos'è l'immunità di gregge?

  Che cos'è il test sierologico?

  
  
  

  Come funziona il coronavirus?

  Quali sono i potenziali trattamenti?

  Quali farmaci funzionano meglio?

  
  
  

  Qual è il modo giusto per rispettare il distanziamento sociale?

  Altre domande frequenti sul coronavirus

  ---

  
  
  

  Newsletter: Rapporto tecnico sul coronavirus

  Zoom: Radio Corona

• Guarda anche:

  Tutta la nostra copertura covid-19

  Il numero speciale covid-19

• Fare clic qui per iscriversi e supportare il nostro giornalismo senza scopo di lucro.

Suoni degno di nota. Ma una valutazione dell'accuratezza da un laboratorio va solo fino a questo punto. Non dice nulla di come si comporterà l'IA nel caos di un ambiente del mondo reale, ed è ciò che il team di Google Health voleva scoprire. Per diversi mesi hanno osservato infermieri che effettuavano scansioni oculari e li hanno intervistati sulle loro esperienze utilizzando il nuovo sistema. Il feedback non è stato del tutto positivo.

Quando ha funzionato bene, l'IA ha accelerato le cose. Ma a volte non è riuscito a dare alcun risultato. Come la maggior parte dei sistemi di riconoscimento delle immagini, il modello di deep learning è stato addestrato su scansioni di alta qualità; per garantire la precisione, è stato progettato per rifiutare le immagini che sono scese al di sotto di una certa soglia di qualità. Con gli infermieri che scansionano dozzine di pazienti ogni ora e spesso scattano le foto in condizioni di scarsa illuminazione, più di un quinto delle immagini è stato rifiutato.

Ai pazienti le cui immagini erano state espulse dal sistema è stato detto che avrebbero dovuto visitare uno specialista in un'altra clinica un altro giorno. Se avevano difficoltà a prendersi una pausa dal lavoro o non avevano un'auto, questo era ovviamente scomodo. Gli infermieri si sentivano frustrati, soprattutto quando credevano che le scansioni rifiutate non mostrassero segni di malattia e gli appuntamenti di follow-up non fossero necessari. A volte perdevano tempo cercando di riprendere o modificare un'immagine che l'IA aveva rifiutato.

Un'infermiera aziona lo scanner retinico, acquisendo immagini della parte posteriore dell'occhio di un paziente. (Google)

Poiché il sistema doveva caricare le immagini sul cloud per l'elaborazione, anche le scarse connessioni Internet in diverse cliniche hanno causato ritardi. Ai pazienti piacciono i risultati immediati, ma Internet è lento e i pazienti si lamentano, ha detto un'infermiera. Stanno aspettando qui dalle 6 del mattino e per le prime due ore abbiamo potuto sottoporre a screening solo 10 pazienti.

Il team di Google Health sta ora collaborando con il personale medico locale per progettare nuovi flussi di lavoro. Ad esempio, gli infermieri potrebbero essere formati per utilizzare il proprio giudizio nei casi limite. Il modello stesso potrebbe anche essere ottimizzato per gestire meglio le immagini imperfette.

Rischiando un contraccolpo

Questo è uno studio cruciale per chiunque sia interessato a sporcarsi le mani e implementare effettivamente soluzioni di intelligenza artificiale in contesti del mondo reale, afferma Hamid Tizhoosh dell'Università di Waterloo in Canada, che lavora sull'IA per l'imaging medico. Tizhoosh è molto critico nei confronti di quella che vede come una corsa all'annuncio di nuovi strumenti di intelligenza artificiale in risposta al covid-19. In alcuni casi vengono sviluppati strumenti e modelli rilasciati da team senza esperienza sanitaria, afferma. Vede lo studio di Google come un tempestivo promemoria del fatto che stabilire l'accuratezza in un laboratorio è solo il primo passo.

Michael Abramoff, oculista e informatico presso l'Università dell'Iowa Hospitals and Clinics, ha sviluppato per diversi anni un'IA per la diagnosi di malattie della retina ed è CEO di una startup spinoff chiamata IDx Technologies, che ha collaborato con IBM Watson. Abramoff è stato un tifoso per l'IA sanitaria in passato, ma mette anche in guardia contro la fretta, avvertendo di una reazione negativa se le persone hanno brutte esperienze con l'IA. Sono così felice che Google dimostri di essere disposto a esaminare il flusso di lavoro effettivo nelle cliniche, dice. Nell'assistenza sanitaria c'è molto di più degli algoritmi.

Abramoff mette in dubbio anche l'utilità di confrontare gli strumenti di intelligenza artificiale con gli specialisti umani quando si tratta di precisione. Ovviamente, non vogliamo che un'IA faccia una cattiva chiamata. Ma i medici umani sono sempre in disaccordo, dice, e va bene. Un sistema di intelligenza artificiale deve inserirsi in un processo in cui le fonti di incertezza vengono discusse piuttosto che semplicemente respinte.

Fallo bene e il i vantaggi potrebbero essere enormi . Quando ha funzionato bene, Beede e i suoi colleghi hanno visto come l'IA ha reso le persone che erano brave nel loro lavoro ancora migliori. C'era un'infermiera che ha esaminato 1.000 pazienti da sola e con questo strumento è inarrestabile, dice. Ai pazienti non importava davvero che fosse un'intelligenza artificiale piuttosto che un essere umano che leggeva le loro immagini. Si preoccupavano di più di quale sarebbe stata la loro esperienza.

Correzione: la riga di apertura è stata modificata per chiarire che non tutti i paesi vengono sopraffatti.

nascondere