Gli scienziati progettano un nuovo modo per segnare il precisione di referti radiologici generati dall’intelligenza artificiale.
Immagine radiologica, scansione medica – foto illustrativa. Credito immagine: NCI
Strumenti di intelligenza artificiale che creano in modo rapido e accurato report narrativi dettagliati della scansione TC o dei raggi X di un paziente possono alleggerire notevolmente il carico di lavoro dei radiologi impegnati.
Invece di identificare semplicemente la presenza o l’assenza di anomalie su un’immagine, questi report AI trasmettono informazioni diagnostiche complesse, descrizioni dettagliate, risultati sfumati e appropriati gradi di incertezza. In breve, rispecchiano il modo in cui i radiologi umani descrivono ciò che vedono durante una scansione.
Diversi modelli di intelligenza artificiale in grado di generare report narrativi dettagliati hanno iniziato a comparire sulla scena. Con loro sono arrivati sistemi di punteggio automatizzati che valutano periodicamente questi strumenti per aiutare a informare il loro sviluppo e aumentare le loro prestazioni.
Quindi, quanto bene gli attuali sistemi misurano le prestazioni radiologiche di un modello di intelligenza artificiale?
La risposta è buona ma non eccezionale, secondo un nuovo studio dei ricercatori della Harvard Medical School pubblicato sulla rivista Modelli.
Garantire che i sistemi di punteggio siano affidabili è fondamentale affinché gli strumenti di intelligenza artificiale continuino a migliorare e affinché i medici si fidino di loro, hanno affermato i ricercatori, ma le metriche testate nello studio non sono riuscite a identificare in modo affidabile gli errori clinici nei rapporti di radiologia dell’IA, alcuni dei quali significativi.
La scoperta, hanno affermato i ricercatori, evidenzia un’urgente necessità di miglioramento e l’importanza di progettare sistemi di punteggio ad alta fedeltà che monitorino fedelmente e accuratamente le prestazioni degli strumenti.
Il team ha testato varie metriche di punteggio sui report narrativi generati dall’intelligenza artificiale. I ricercatori hanno anche chiesto a sei radiologi umani di leggere i rapporti generati dall’intelligenza artificiale.
L’analisi ha mostrato che rispetto ai radiologi umani, i sistemi di punteggio automatizzati se la sono cavata peggio nella loro capacità di valutare i rapporti generati dall’intelligenza artificiale. Hanno interpretato male e, in alcuni casi, trascurato gli errori clinici commessi dallo strumento AI.
“La valutazione accurata dei sistemi di intelligenza artificiale è il primo passo fondamentale verso la generazione di referti radiologici clinicamente utili e affidabili”, ha affermato l’autore senior dello studio Pranav Rajpurkarassistente professore di informatica biomedica presso l’Istituto Blavatnik presso HMS.
Migliorare il punteggio
Nel tentativo di progettare metriche di punteggio migliori, il team ha progettato un nuovo metodo (RadGraph F1) per valutare le prestazioni degli strumenti di intelligenza artificiale che generano automaticamente referti radiologici da immagini mediche.
Hanno anche progettato uno strumento di valutazione composito (RadCliQ) che combina più metriche in un unico punteggio che corrisponde meglio a come un radiologo umano valuterebbe le prestazioni di un modello di intelligenza artificiale.
Utilizzando questi nuovi strumenti di punteggio per valutare diversi modelli di intelligenza artificiale all’avanguardia, i ricercatori hanno riscontrato un notevole divario tra il punteggio effettivo dei modelli e il punteggio massimo possibile.
“Misurare i progressi è fondamentale per far avanzare l’intelligenza artificiale in medicina al livello successivo”, ha affermato il co-primo autore Feiyang ‘Kathy’ Yu, ricercatore associato nel laboratorio Rajpurkar. “La nostra analisi quantitativa ci avvicina all’intelligenza artificiale che potenzia i radiologi per fornire una migliore assistenza ai pazienti”.
A lungo termine, la visione dei ricercatori è quella di costruire modelli di IA medica generalista che eseguono una serie di compiti complessi, inclusa la capacità di risolvere problemi mai incontrati prima. Tali sistemi, ha affermato Rajpurkar, potrebbero conversare fluentemente con radiologi e medici sulle immagini mediche per assistere nelle decisioni diagnostiche e terapeutiche.
Il team mira anche a sviluppare assistenti di intelligenza artificiale in grado di spiegare e contestualizzare i risultati dell’imaging direttamente ai pazienti utilizzando un linguaggio semplice di tutti i giorni.
“Allineandosi meglio con i radiologi, le nostre nuove metriche accelereranno lo sviluppo dell’intelligenza artificiale che si integra perfettamente nel flusso di lavoro clinico per migliorare la cura del paziente”, Rajpurkar disse.
Fonte: HMS
Da un’altra testata giornalistica. news de www.technology.org
