Maggior parte i sistemi di intelligenza artificiale si basano su reti neurali, algoritmi ispirati ai neuroni biologici presenti nel cervello. Queste reti possono essere costituite da più livelli, con input provenienti da un lato e output dall’altro. Ad esempio, gli output possono essere utilizzati per prendere decisioni automatiche nelle auto senza conducente. Gli attacchi volti a fuorviare una rete neurale possono comportare lo sfruttamento delle vulnerabilità nei livelli di input, ma in genere quando si ingegnerizza una difesa viene considerato solo il livello di input iniziale. Per la prima volta, i ricercatori hanno potenziato gli strati interni di una rete neurale con un processo che coinvolge rumore casuale per migliorarne la resilienza.
Uccello o scimmia? Ai nostri occhi le immagini di input x1 e x2 sembrano identiche, ma le caratteristiche nascoste spingono una tipica rete neurale a classificare per errore questa immagine di uccello come una scimmia. Si dice che le immagini siano distanti nello spazio di input, ma vicine nello spazio dello strato nascosto. I ricercatori miravano a chiudere questo exploit. Credito immagine: Ohki e Ukita CC-BY
L’intelligenza artificiale (AI) è diventata una cosa relativamente comune; è probabile che tu abbia uno smartphone con un assistente AI o utilizzi un motore di ricerca basato sull’intelligenza artificiale. Sebbene sia un termine ampio che può includere molti modi diversi di elaborare le informazioni e talvolta di prendere decisioni, i sistemi di intelligenza artificiale sono spesso costruiti utilizzando reti neurali artificiali (ANN) analoghe a quelle del cervello. E come il cervello, le ANN a volte possono confondersi, sia per sbaglio che per azioni deliberate di terzi. Pensa a qualcosa come un’illusione ottica: potrebbe farti sentire come se stessi guardando una cosa quando in realtà ne stai guardando un’altra.
La differenza tra le cose che confondono una ANN e le cose che potrebbero confonderci, tuttavia, è che alcuni input visivi potrebbero apparire perfettamente normali, o almeno potrebbero essere comprensibili per noi, ma potrebbero tuttavia essere interpretati come qualcosa di completamente diverso da una ANN.
Un esempio banale potrebbe essere un sistema di classificazione delle immagini che scambia un gatto per un cane, ma un esempio più serio potrebbe essere un’auto senza conducente che scambia un segnale di stop per un segnale di precedenza. E non si tratta solo del già controverso esempio delle auto senza conducente; esistono sistemi diagnostici medici e molte altre applicazioni sensibili che ricevono input e informano, o addirittura prendono, decisioni che possono influenzare le persone.
Poiché gli input non sono necessariamente visivi, non è sempre facile analizzare a colpo d’occhio il motivo per cui un sistema potrebbe aver commesso un errore. Gli aggressori che tentano di interrompere un sistema basato sulle ANN possono trarne vantaggio, alterando sottilmente un modello di input previsto in modo che venga interpretato erroneamente e il sistema si comporti in modo errato, forse anche problematico. Esistono alcune tecniche di difesa per attacchi come questi, ma hanno dei limiti. Il neolaureato Jumpei Ukita e il professor Kenichi Ohki del Dipartimento di Fisiologia della Graduate School of Medicine dell’Università di Tokyo hanno ideato e testato un nuovo modo per migliorare la difesa dell’ANN.
“Le reti neurali comprendono tipicamente strati di neuroni virtuali. I primi livelli saranno spesso responsabili dell’analisi degli input identificando gli elementi che corrispondono a un determinato input”, ha affermato Ohki. “Un utente malintenzionato potrebbe fornire un’immagine con artefatti che inducono la rete a classificarla erroneamente. Una tipica difesa per un attacco di questo tipo potrebbe essere quella di introdurre deliberatamente del rumore in questo primo strato. Sembra controintuitivo che possa essere d’aiuto, ma così facendo consente maggiori adattamenti a una scena visiva o ad altri set di input. Tuttavia, questo metodo non è sempre così efficace e abbiamo pensato di poter migliorare la questione guardando oltre lo strato di input per spingerci più all’interno della rete”.
Ukita e Ohki non sono solo informatici. Hanno anche studiato il cervello umano e questo li ha ispirati a utilizzare un fenomeno di cui erano a conoscenza in una ANN. Questo per aggiungere rumore non solo allo strato di input, ma anche agli strati più profondi. Ciò viene generalmente evitato poiché si teme che possa influire sull’efficacia della rete in condizioni normali. Ma i due hanno scoperto che non era così, e invece il rumore ha promosso una maggiore adattabilità nella loro ANN di prova, che ha ridotto la sua suscettibilità agli attacchi avversari simulati.
“Il nostro primo passo è stato ideare un ipotetico metodo di attacco che colpisca più in profondità rispetto allo strato di input. Un simile attacco dovrebbe resistere alla resilienza di una rete con una difesa dal rumore standard sul suo livello di input. Chiamiamo questi esempi contraddittori dello spazio delle funzionalità “, ha affermato Ukita. “Questi attacchi funzionano fornendo un input intenzionalmente lontano, piuttosto che vicino, all’input che una ANN può classificare correttamente. Ma il trucco sta invece nel presentare artefatti sottilmente fuorvianti agli strati più profondi. Una volta dimostrato il pericolo di un simile attacco, abbiamo iniettato rumore casuale negli strati nascosti più profondi della rete per aumentarne l’adattabilità e quindi la capacità difensiva. Siamo felici di annunciare che funziona.”
Sebbene la nuova idea si dimostri solida, il team desidera svilupparla ulteriormente per renderla ancora più efficace contro gli attacchi previsti, così come contro altri tipi di attacchi contro i quali non l’hanno ancora testata. Al momento la difesa funziona solo su questo specifico tipo di attacco.
“I futuri aggressori potrebbero provare a prendere in considerazione attacchi che possano sfuggire al rumore dello spazio delle funzionalità che abbiamo considerato in questa ricerca”, ha affermato Ukita. “In effetti, attacco e difesa sono due facce della stessa medaglia; è una corsa agli armamenti dalla quale nessuna delle due parti si tirerà indietro, quindi dobbiamo continuamente ripetere, migliorare e innovare nuove idee per proteggere i sistemi che usiamo ogni giorno”.
Fonte: Università di Tokio
Da un’altra testata giornalistica. news de www.technology.org
