Modelli di intelligenza artificiale (AI) in ambito sanitario sono un’arma a doppio taglio, con modelli che migliorano le decisioni diagnostiche per alcuni dati demografici ma peggiorano le decisioni per altri quando il modello ha assorbito dati medici distorti.
Considerati i rischi nella vita reale e nella morte del processo decisionale clinico, ricercatori e politici stanno adottando misure per garantire che i modelli di intelligenza artificiale siano sicuri, protetti e affidabili e che il loro utilizzo porti a risultati migliori.
La Food and Drug Administration statunitense supervisiona i software sanitari basati sull’intelligenza artificiale e l’apprendimento automatico. Ha pubblicato linee guida per gli sviluppatori, incluso un appello a rendere trasparente o spiegabile la logica utilizzata dai modelli di intelligenza artificiale in modo che i medici possano rivedere il ragionamento sottostante.
Tuttavia, un nuovo studio in JAMA rileva che i medici possono essere ingannati da modelli di intelligenza artificiale distorti anche quando vengono fornite spiegazioni sull’intelligenza artificiale.
“Il problema è che il clinico deve capire cosa sta comunicando la spiegazione e la spiegazione stessa”, ha detto il primo autore Sarah Jabbour, un dottorato di ricerca candidato in informatica e ingegneria presso la Facoltà di Ingegneria.
Il team dell’Università del Michigan ha studiato i modelli e le spiegazioni dell’intelligenza artificiale in pazienti con insufficienza respiratoria acuta.
“Determinare il motivo per cui un paziente ha un’insufficienza respiratoria può essere difficile. Nel nostro studio, abbiamo riscontrato che l’accuratezza diagnostica di base dei medici era pari a circa il 73%”, ha affermato Michael Sjoding, MD, professore associato di medicina interna presso la Medical School dell’Università del Michiganun co-autore senior dello studio.
“Durante il normale processo diagnostico, pensiamo alla storia del paziente, ai test di laboratorio e ai risultati delle immagini, e proviamo a sintetizzare queste informazioni e formulare una diagnosi. È logico che un modello possa aiutare a migliorare la precisione”.
Jabbour, Sjoding, co-autore senior Jenna Wiens, Ph.D., professore associato di informatica e ingegneria e il loro team multidisciplinare hanno progettato uno studio per valutare l’accuratezza diagnostica di 457 medici ospedalieri, infermieri e assistenti medici con e senza l’assistenza di un modello di intelligenza artificiale.
A ciascun medico è stato chiesto di formulare raccomandazioni terapeutiche in base alla propria diagnosi. La metà è stata randomizzata per ricevere una spiegazione dell’IA con la decisione del modello AI, mentre l’altra metà ha ricevuto solo la decisione dell’AI senza alcuna spiegazione.
Ai medici sono state fornite vignette cliniche reali di pazienti con insufficienza respiratoria, nonché una valutazione dal modello AI in base al fatto che il paziente avesse polmonite, insufficienza cardiaca o malattia polmonare ostruttiva cronica (BPCO). Nella metà randomizzata per vedere le spiegazioni, al medico è stata fornita una mappa termica, o rappresentazione visiva, di dove guardava il modello AI nella radiografia del torace, che è servita come base per la diagnosi.
Il team ha scoperto che i medici a cui è stato presentato un modello di intelligenza artificiale addestrato a fare previsioni ragionevolmente accurate, ma senza spiegazioni, hanno avuto un aumento della precisione di 2,9 punti percentuali. Quando spiegato, la loro precisione è aumentata di 4,4 punti percentuali.
Tuttavia, per verificare se una spiegazione potesse consentire ai medici di riconoscere quando un modello di intelligenza artificiale è chiaramente distorto o errato, il team ha anche presentato ai medici modelli intenzionalmente addestrati per essere distorti, ad esempio un modello che prevede un’alta probabilità di polmonite se il paziente fosse malato. 80 anni o più
“I modelli di intelligenza artificiale sono suscettibili di scorciatoie o correlazioni spurie nei dati di addestramento. Dato un set di dati in cui alle donne viene sottodiagnosticata l’insufficienza cardiaca, il modello potrebbe rilevare un’associazione tra l’essere donne e l’essere a minor rischio di insufficienza cardiaca”, ha spiegato Wiens.
“Se i medici si affidassero a un modello del genere, ciò potrebbe amplificare i pregiudizi esistenti. Se le spiegazioni potessero aiutare i medici a identificare il ragionamento errato del modello, ciò potrebbe aiutare a mitigare i rischi”.
Quando ai medici è stato mostrato il modello AI distorto, tuttavia, la loro precisione è diminuita di 11,3 punti percentuali e le spiegazioni che evidenziavano esplicitamente che l’IA stava esaminando informazioni non rilevanti (come la bassa densità ossea nei pazienti con più di 80 anni) non li hanno aiutati a riprendersi da questo grave calo di prestazioni.
Il calo osservato nelle prestazioni è in linea con studi precedenti secondo i quali gli utenti potrebbero essere ingannati dai modelli, ha osservato il team.
“C’è ancora molto da fare per sviluppare strumenti di spiegazione migliori per comunicare meglio ai medici perché un modello sta prendendo decisioni specifiche in un modo che possano capire. Ci vorrà molta discussione con esperti di tutte le discipline”, ha detto Jabbour.
Il team spera che questo studio stimoli ulteriori ricerche sull’implementazione sicura di modelli basati sull’intelligenza artificiale nell’assistenza sanitaria in tutte le popolazioni e per l’educazione medica sull’intelligenza artificiale e sui pregiudizi.
Da un’altra testata giornalistica. news de www.technology.org
