Le raccomandazioni ChatGPT corrette e errate per i trattamenti contro il cancro basati su linee guida si mescolavano in un terzo delle risposte del chatbot, rendendo gli errori più difficili da rilevare.
Internet è un potente strumento per l’autoeducazione argomenti medici per molti pazienti.
Con ChatGPT ora a portata di mano dei pazienti, i ricercatori di Brigham e l’ospedale femminilemembro fondatore della Generale Brigham della Messa sistema sanitario, ha valutato la coerenza con cui il chatbot di intelligenza artificiale fornisce raccomandazioni per il trattamento del cancro in linea con le linee guida del National Comprehensive Cancer Network (NCCN).
I loro risultati, pubblicati in JAMA Oncologiamostrano che ChatGPT 3.5 ha fornito una raccomandazione inappropriata (“non concordante”) in circa un terzo dei casi, evidenziando la necessità di essere consapevoli dei limiti della tecnologia.
“I pazienti dovrebbero sentirsi autorizzati a informarsi sulle loro condizioni mediche, ma dovrebbero sempre discutere con un medico e le risorse su Internet non dovrebbero essere consultate in modo isolato”, ha affermato l’autore corrispondente. Danielle Bitterman, dottoressa, del Dipartimento di Radioterapia Oncologica al Brigham and Women’s Hospital e al Programma di Intelligenza Artificiale in Medicina (AIM). del generale Brigham.
“Le risposte di ChatGPT possono sembrare molto umane e possono essere abbastanza convincenti. Ma quando si tratta del processo decisionale clinico, ci sono così tante sfumature per la situazione unica di ogni paziente. Una risposta giusta può essere molto sfumata e non necessariamente qualcosa che ChatGPT o un altro modello linguistico di grandi dimensioni possano fornire”.
L’emergere di strumenti di intelligenza artificiale nel settore sanitario è stato rivoluzionario e ha il potenziale per rimodellare positivamente il continuum delle cure.
Il Mass General Brigham, in quanto uno dei migliori sistemi sanitari accademici integrati della nazione e una delle più grandi imprese di innovazione, è all’avanguardia nella conduzione di ricerche rigorose su tecnologie nuove ed emergenti per informare l’integrazione responsabile dell’intelligenza artificiale nell’erogazione dell’assistenza sanitaria, nel supporto della forza lavoro e nei processi amministrativi.
Sebbene il processo decisionale medico possa essere influenzato da molti fattori, Bitterman e colleghi hanno scelto di valutare la misura in cui le raccomandazioni di ChatGPT sono in linea con le linee guida del NCCN, che vengono utilizzate dai medici nelle istituzioni di tutto il paese.
Si sono concentrati sui tre tumori più comuni (cancro al seno, alla prostata e al polmone) e hanno spinto ChatGPT a fornire un approccio terapeutico per ciascun tumore in base alla gravità della malattia.
In totale, i ricercatori hanno incluso 26 descrizioni diagnostiche uniche e hanno utilizzato quattro suggerimenti leggermente diversi per chiedere a ChatGPT di fornire un approccio terapeutico, generando un totale di 104 suggerimenti.
Quasi tutte le risposte (98%) includevano almeno un approccio terapeutico in accordo con le linee guida del NCCN. Tuttavia, i ricercatori hanno scoperto che il 34% di queste risposte includeva anche una o più raccomandazioni non concordanti, che a volte erano difficili da individuare in mezzo a indicazioni altrimenti valide.
Una raccomandazione terapeutica non concordante è stata definita come corretta solo parzialmente; ad esempio, per un cancro al seno localmente avanzato, la raccomandazione del solo intervento chirurgico, senza menzione di un’altra modalità terapeutica.
In particolare, il completo accordo nel punteggio si è verificato solo nel 62% dei casi, sottolineando sia la complessità delle stesse linee guida del NCCN sia la misura in cui il risultato di ChatGPT potrebbe essere vago o difficile da interpretare.
Nel 12,5% dei casi, ChatGPT ha prodotto “allucinazioni” o una raccomandazione terapeutica del tutto assente dalle linee guida del NCCN. Queste includevano raccomandazioni su nuove terapie o terapie curative per tumori non curativi.
Gli autori hanno sottolineato che questa forma di disinformazione può definire in modo errato le aspettative dei pazienti riguardo al trattamento e potenzialmente avere un impatto sulla relazione medico-paziente.
Andando avanti, i ricercatori stanno esplorando la capacità sia dei pazienti che dei medici di distinguere tra consigli medici scritti da un medico e un modello linguistico di grandi dimensioni (LLM) come ChatGPT. Stanno inoltre sollecitando ChatGPT con casi clinici più dettagliati per valutare ulteriormente la sua conoscenza clinica.
Gli autori hanno utilizzato GPT-3.5-turbo-0301, uno dei modelli più grandi disponibili al momento in cui hanno condotto lo studio e la classe del modello attualmente utilizzata nella versione ad accesso aperto di ChatGPT (una versione più recente, GPT-4, è disponibile solo con l’abbonamento a pagamento).
Hanno utilizzato anche le linee guida NCCN del 2021, poiché GPT-3.5-turbo-0301 è stato sviluppato utilizzando dati fino a settembre 2021. Sebbene i risultati possano variare se vengono utilizzati altri LLM e/o linee guida cliniche, i ricercatori sottolineano che molti LLM sono simili nel il modo in cui sono costruiti e i limiti che possiedono.
“È una questione di ricerca aperta per quanto riguarda la misura in cui gli LLM forniscono risposte logiche coerenti poiché spesso si osservano” allucinazioni “, ha affermato il primo autore Shan Chen, MS, del Programma AIM.
“È probabile che gli utenti cerchino risposte dai LLM per informarsi su argomenti relativi alla salute, in modo simile a come sono state utilizzate le ricerche di Google. Allo stesso tempo, dobbiamo aumentare la consapevolezza che i LLM non sono l’equivalente di professionisti medici formati”.
Fonte: BWH
Originalmente pubblicato su The European Times.
