In che modo uno strumento di intelligenza artificiale per combattere i decessi in ospedale ha effettivamente funzionato nel mondo reale

Getty

A novembre del 2018, un nuovo strumento di deep learning è andato online nel dipartimento di emergenza del sistema sanitario della Duke University. Chiamato Sepsis Watch, è stato progettato per aiutare i medici a individuare i primi segni di una delle principali cause di decessi ospedalieri a livello globale.

La sepsi si verifica quando un'infezione innesca l'infiammazione di tutto il corpo e alla fine provoca l'arresto degli organi. Può essere trattato se diagnosticato abbastanza presto, ma è un compito notoriamente difficile perché i suoi sintomi vengono facilmente scambiati per segni di qualcos'altro.

Sepsi Watch ha promesso di cambiarlo. Frutto di tre anni e mezzo di sviluppo (che includevano la digitalizzazione delle cartelle cliniche, l'analisi di 32 milioni di punti dati e la progettazione di una semplice interfaccia sotto forma di app per iPad), valuta i pazienti su base oraria per la loro probabilità di sviluppare il condizione. Quindi contrassegna coloro che sono a rischio medio o alto e coloro che già soddisfano i criteri. Una volta che un medico conferma la diagnosi, i pazienti ricevono un'attenzione immediata.

Nei due anni trascorsi dall'introduzione dello strumento, le prove aneddotiche dei dirigenti e dei medici dell'ospedale di Duke Health hanno suggerito che Sepsi Watch funziona davvero. Ha ridotto drasticamente i decessi dei pazienti indotti dalla sepsi e ora fa parte di uno studio clinico registrato a livello federale che dovrebbe condividere i suoi risultati nel 2021.

A prima vista, questo è un esempio di una grande vittoria tecnica. Attraverso un attento sviluppo e test, un modello di intelligenza artificiale ha aumentato con successo la capacità dei medici di diagnosticare la malattia. Ma un nuovo rapporto dell'istituto di ricerca Data & Society afferma che questa è solo metà della storia. L'altra metà è la quantità di lavoro sociale qualificato che i medici che guidano il progetto dovevano svolgere per integrare lo strumento nei loro flussi di lavoro quotidiani. Ciò includeva non solo la progettazione di nuovi protocolli di comunicazione e la creazione di nuovi materiali di formazione, ma anche la navigazione nella politica sul posto di lavoro e nelle dinamiche di potere.

Il case study è un riflesso onesto di ciò che serve davvero agli strumenti di intelligenza artificiale per avere successo nel mondo reale. È stato davvero complesso, afferma la coautrice Madeleine Clare Elish, un'antropologa culturale che esamina l'impatto dell'IA.

Innovazione riparatrice

L'innovazione dovrebbe essere dirompente. Rimuove i vecchi modi di fare le cose per ottenere risultati migliori. Ma raramente nelle conversazioni sull'interruzione tecnologica c'è un riconoscimento che l'interruzione è anche una forma di rottura. I protocolli esistenti diventano obsoleti; le gerarchie sociali vengono confuse. Far funzionare le innovazioni all'interno dei sistemi esistenti richiede ciò che Elish e la sua coautrice Elizabeth Anne Watkins chiamano lavoro di riparazione.

Durante lo studio biennale dei ricercatori su Sepsis Watch presso Duke Health, hanno documentato numerosi esempi di questa interruzione e riparazione. Uno dei problemi principali è stato il modo in cui lo strumento ha sfidato le dinamiche di potere profondamente radicate nel mondo medico tra medici e infermieri.

Nelle prime fasi della progettazione dello strumento, è diventato chiaro che gli infermieri del team di risposta rapida (RRT) avrebbero dovuto essere gli utenti principali. Sebbene i medici curanti siano in genere responsabili della valutazione dei pazienti e della diagnosi di sepsi, non hanno il tempo di monitorare continuamente un'altra app oltre ai loro compiti esistenti nel pronto soccorso. Al contrario, la responsabilità principale di un'infermiera RRT è per monitorare continuamente il benessere del paziente e fornire ulteriore assistenza ove necessario. Il controllo dell'app Sepsi Watch si adattava naturalmente al loro flusso di lavoro.

Ma qui è arrivata la sfida. Una volta che l'app ha contrassegnato un paziente come ad alto rischio, un'infermiera dovrebbe chiamare il medico curante (noto in linguaggio medico come assistenti di pronto soccorso). Non solo questi infermieri e assistenti spesso non avevano alcuna relazione precedente perché trascorrevano le loro giornate in sezioni completamente diverse dell'ospedale, ma il protocollo rappresentava un completo capovolgimento della tipica catena di comando in qualsiasi ospedale. Ma stai scherzando? un'infermiera ha ricordato di aver pensato dopo aver appreso come avrebbero funzionato le cose. Chiameremo ED presenti ?

Ma questa era davvero la soluzione migliore. Quindi il team di progetto ha cercato di riparare l'interruzione in vari modi, grandi e piccoli. Le infermiere capo hanno organizzato pizzate informali per creare entusiasmo e fiducia su Sepsi Watch tra i loro colleghi infermieri. Hanno anche sviluppato tattiche di comunicazione per smussare le chiamate con i partecipanti. Ad esempio, hanno deciso di effettuare una sola chiamata al giorno per discutere di più pazienti ad alto rischio contemporaneamente, programmati per quando i medici erano meno occupati.

Inoltre, i responsabili del progetto hanno iniziato a segnalare regolarmente l'impatto di Sepsi Watch alla leadership clinica. Il team del progetto ha scoperto che non tutti i membri del personale ospedaliero credevano che la morte indotta dalla sepsi fosse un problema alla Duke Health. I medici, in particolare, che non avevano una visione a volo d'uccello delle statistiche dell'ospedale, erano molto più occupati dalle emergenze che stavano affrontando giorno per giorno, come ossa rotte e gravi malattie mentali. Di conseguenza, alcuni hanno trovato Sepsi Watch un fastidio. Ma per la dirigenza clinica, la sepsi era una priorità enorme, e più vedevano Sepsis Watch in funzione, più aiutavano a ingrassare gli ingranaggi dell'operazione.

Norme mutevoli

Elish identifica due fattori principali che alla fine hanno aiutato Sepsi Watch ad avere successo. Innanzitutto, lo strumento è stato adattato a un contesto iperlocale e iperspecifico: è stato sviluppato per il pronto soccorso della Duke Health e da nessun'altra parte. Questo sviluppo davvero su misura è stato la chiave del successo, dice. Questo va contro le tipiche norme dell'IA.

In secondo luogo, durante tutto il processo di sviluppo, il team ha cercato regolarmente feedback da infermieri, medici e altro personale su e giù per la gerarchia ospedaliera. Ciò non solo ha reso lo strumento più facile da usare, ma ha anche coltivato un piccolo gruppo di membri dello staff impegnati a sostenerne il successo. Ha anche fatto la differenza il fatto che il progetto fosse guidato dai medici della Duke Health, dice Elish, piuttosto che da tecnici che si erano lanciati con il paracadute da una società di software. Se non hai un algoritmo spiegabile, dice, devi creare fiducia in altri modi.

Queste lezioni sono molto familiari a Marzyeh Ghassemi, un assistente professore in arrivo al MIT che studia le applicazioni di apprendimento automatico per l'assistenza sanitaria. Tutti i sistemi di apprendimento automatico che sono destinati a essere valutati o utilizzati dagli esseri umani devono avere in primo piano i vincoli socio-tecnici, afferma. Soprattutto negli ambienti clinici, che sono gestiti da decisori umani e implicano la cura degli esseri umani nella loro forma più vulnerabile, i vincoli di cui le persone devono essere consapevoli sono davvero vincoli umani e logistici, aggiunge.

Elish spera che il suo caso di studio di Sepsi Watch convinca i ricercatori a ripensare a come affrontare la ricerca medica sull'IA e lo sviluppo dell'IA in generale. Gran parte del lavoro svolto in questo momento si concentra su ciò che l'IA potrebbe essere o potrebbe fare in teoria , lei dice. Ci sono troppe poche informazioni su ciò che effettivamente accade sul campo. Ma affinché l'IA sia all'altezza delle sue promesse, le persone devono pensare tanto all'integrazione sociale quanto allo sviluppo tecnico.

Il suo lavoro solleva anche seri interrogativi. L'IA responsabile deve richiedere attenzione al contesto locale e specifico, afferma. La mia lettura e la mia formazione mi insegnano che non puoi semplicemente sviluppare una cosa in un posto e poi lanciarla da qualche altra parte.

Quindi la sfida è in realtà capire come manteniamo quella specificità locale mentre cerchiamo di lavorare su larga scala, aggiunge. Questa è la prossima frontiera per la ricerca sull'IA.

nascondere