Un ricercatore dell’Università del Texas ad Arlington sta lavorando per aumentare la sicurezza dei sistemi di generazione del linguaggio naturale (NLG), come quelli utilizzati da ChatGPT, per proteggersi da usi impropri e abusi che potrebbero consentire la diffusione di disinformazione in rete.
Dobbiamo ricercare potenziali vulnerabilità dei sistemi di intelligenza artificiale quando sono esposti a disinformazione online. Credito immagine: Jenny Ueberberg tramite Unsplash, licenza gratuita
Shirin Nilizadeh, assistente professore presso il Dipartimento di Informatica e Ingegneria, ha ottenuto una sovvenzione quinquennale del Faculty Early Career Development Program (CAREER) di $ 567.609 dalla National Science Foundation (NSF) per la sua ricerca.
Shirin Nilizadeh. Credito immagine: UTA
Comprendere le vulnerabilità dell’intelligenza artificiale (AI) alla disinformazione online è “un problema importante e tempestivo da affrontare”, ha affermato.
“Questi sistemi hanno architetture complesse e sono progettati per apprendere da qualsiasi informazione si trovi su Internet. Un avversario potrebbe tentare di avvelenare questi sistemi con una raccolta di informazioni contraddittorie o false”, ha affermato Nilizadeh.
“Il sistema apprenderà le informazioni contraddittorie, nello stesso modo in cui apprende informazioni veritiere. L’avversario può anche utilizzare alcune vulnerabilità del sistema per generare contenuti dannosi. Dobbiamo prima comprendere le vulnerabilità di questi sistemi per sviluppare tecniche di rilevamento e prevenzione che migliorino la loro resilienza a questi attacchi”.
Il CAREER Award è l’onore più prestigioso della NSF per i giovani docenti. I destinatari sono ricercatori eccezionali, ma ci si aspetta che siano anche insegnanti eccezionali attraverso la ricerca, l’eccellenza educativa e l’integrazione dell’istruzione e della ricerca nelle loro istituzioni di origine.
La ricerca di Nilizadeh includerà uno sguardo completo ai tipi di attacchi a cui i sistemi NLG sono suscettibili e la creazione di metodi di ottimizzazione basati sull’intelligenza artificiale per esaminare i sistemi rispetto a diversi modelli di attacco.
Esplorerà inoltre un’analisi approfondita e la caratterizzazione delle vulnerabilità che portano ad attacchi e svilupperà metodi difensivi per proteggere i sistemi NLG.
Utilizzo di software di apprendimento automatico: impressione artistica. Credito immagine: Mohamed Hassan tramite Pxhere, dominio pubblico CC0
Il lavoro si concentrerà su due comuni tecniche di generazione del linguaggio naturale: sintesi e risposta a domande.
Nella fase di riepilogo, all’AI viene fornito un elenco di articoli e gli viene chiesto di riassumerne il contenuto. Nella risposta alle domande, il sistema riceve un documento, trova le risposte alle domande in quel documento e genera risposte testuali.
Hong Jiang, presidente del Dipartimento di Informatica e Ingegneria, ha sottolineato l’importanza della ricerca di Nilizadeh.
Codifica algoritmi di intelligenza artificiale – foto illustrativa. Credito immagine: Kevin Ku tramite Unsplash, licenza gratuita
“Con modelli di linguaggi di grandi dimensioni e sistemi di generazione di testo che rivoluzionano il modo in cui interagiamo con le macchine e consentono lo sviluppo di nuove applicazioni per l’assistenza sanitaria, la robotica e oltre, emergono serie preoccupazioni su come questi potenti sistemi possano essere utilizzati in modo improprio, manipolati o causare perdite di privacy e sicurezza minacce”, ha detto Jiang.
“Sono minacce come queste che il premio CAREER del Dr. Nilizadeh cerca di difendersi esplorando nuovi metodi per migliorare la robustezza di tali sistemi in modo che gli usi impropri possano essere rilevati e mitigati e gli utenti finali possano fidarsi e spiegare i risultati generati dai sistemi .”
Da un’altra testata giornalistica. news de www.technology.org