Ogni giorno che passa sembra sempre più difficile fidarsi di ciò che vedi e senti su Internet. Deepfake e audio manipolato sono diventati più facili da creare con la semplice pressione di un pulsante. Nuovo ricerca di tre studenti della School of Information e gli allumi renderanno facile determinare il autenticità di un clip audio.
Apparecchiature audio in una stazione radio – foto illustrativa. Credito immagine: Will Francis tramite Unsplash, licenza gratuita
Romit Barua, Gautham Koorma e Sarah Barrington (tutti MIMS ’23) hanno presentato per la prima volta la loro ricerca sulla clonazione vocale come loro progetto finale per il corso di Laurea Magistrale in Gestione e Sistemi dell’Informazione. Barrington è ora un dottorato di ricerca. studente della I Scuola. Lavorando con il professor Hany Farid, il team ha esaminato diverse tecniche per differenziare una voce reale da una voce clonata progettata per impersonare una persona specifica.
“Quando questo team mi ha contattato per la prima volta all’inizio della primavera del 2022, ho detto loro di non preoccuparsi dell’audio deepfake perché la clonazione vocale non era molto buona e ci sarebbe voluto un po’ di tempo prima che dovessimo preoccuparcene. Mi sbagliavo e, pochi mesi dopo, la clonazione vocale basata sull’intelligenza artificiale si è rivelata incredibilmente efficace, rivelando quanto velocemente si evolve questa tecnologia”, ha affermato il professor Farid.
“Il team ha svolto un lavoro importante nel presentare una serie di idee per rilevare la nuova minaccia dell’audio deepfake.”
Per iniziare, il team ha prima analizzato campioni audio di voci vere e false osservando caratteristiche o modelli percettivi che possono essere identificati visivamente. Attraverso questo obiettivo, si sono concentrati sull’osservazione delle onde audio e hanno notato che le voci umane reali spesso avevano più pause e variavano di volume durante la clip. Questo perché le persone hanno la tendenza a usare parole di riempimento e possono spostarsi e allontanarsi dal microfono durante la registrazione.
Analizzando queste caratteristiche, il team è stato in grado di individuare pause e ampiezza (coerenza e variazione nella voce) come fattori chiave da cercare quando si cerca di determinare l’autenticità di una voce. Tuttavia, hanno anche scoperto che questo metodo, sebbene facile da capire, può produrre risultati meno accurati.
Il team ha poi adottato un approccio più dettagliato, esaminando le caratteristiche spettrali generali utilizzando un pacchetto di analisi delle onde audio “pronte all’uso”. Il programma estrae oltre seimila caratteristiche, comprese statistiche riassuntive (media, deviazione standard, ecc.), coefficienti di regressione e altro ancora, prima di ridurre il numero alle venti più importanti. Analizzando queste caratteristiche estratte e confrontandole con altri clip audio, Barrington, Barua e Koorma hanno utilizzato queste caratteristiche per creare un metodo più accurato.
Tuttavia, i risultati più accurati si sono verificati con le funzionalità apprese, che implicano l’addestramento di un modello di deep learning. Per fare ciò, il team fornisce l’audio grezzo al modello, dal quale elabora ed estrae rappresentazioni multidimensionali, chiamate incorporamenti.
Una volta generato, il modello utilizza questi incorporamenti per distinguere l’audio reale da quello sintetico. Questo metodo ha costantemente sovraperformato le due tecniche precedenti in termini di precisione e ha registrato un errore pari allo 0% nelle impostazioni di laboratorio. Nonostante l’elevato tasso di precisione, il team ha notato che questo metodo potrebbe essere difficile da comprendere senza un contesto adeguato.
Il team ritiene che questa ricerca possa rispondere alle crescenti preoccupazioni sull’uso della clonazione vocale e dei deepfake per scopi nefasti.
La clonazione vocale è uno dei primi casi in cui assistiamo a deepfake con utilità nel mondo reale, sia che si tratti di aggirare la verifica biometrica di una banca o di chiamare un membro della famiglia chiedendo soldi”, ha spiegato Barrington.
“Non sono più a rischio solo i leader mondiali e le celebrità, ma anche le persone comuni. Questo lavoro rappresenta un passo significativo nello sviluppo e nella valutazione di sistemi di rilevamento in modo robusto e scalabile per il grande pubblico”.
Dopo aver pubblicato questa ricerca online, Barrington, Barua e Koorma sono stati invitati a presentare i loro risultati in varie conferenze prestigiose, come il Vertice del Premio Nobel e il MOGLI IEEE (Workshop in Information Forensics and Security) a Norimberga, Germania.
“WIFS ha fornito un forum eccellente per interagire con i ricercatori nel campo della medicina legale digitale, approfondendo la nostra conoscenza delle tecniche forensi all’avanguardia attraverso presentazioni dettagliate e discussioni arricchenti tra pari”, ha affermato Koorma.
“[It also] ci ha offerto una grande opportunità di vedere la ricerca dei leader nel nostro campo e di trovare un terreno comune per la futura collaborazione nell’area del rilevamento dei deepfake”, ha aggiunto Barua.
Mentre la società è alle prese con le implicazioni dei deepfake che colpiscono non solo i leader e le celebrità mondiali ma anche gli individui comuni, questa ricerca offre un approccio solido e scalabile alla salvaguardia del pubblico in generale.
Approfondire le caratteristiche percettive, l’analisi spettrale e sfruttare modelli avanzati di deep learning ha prodotto risultati promettenti e il lavoro del team rappresenta un passo cruciale verso il ripristino della fiducia nei contenuti audio online e la mitigazione dei rischi posti dal progresso della tecnologia.
Fonte: UC Berkeley
Da un’altra testata giornalistica. news de www.technology.org
