李 濤

（聯(lián)勤保障部隊，武漢 430000）

隨著對智能運輸系統(tǒng)安全研究的不斷展開，本文根據(jù)語義對抗樣本的特點，提出了一種新穎的、基于物體檢測與顏色擾動的雙語義對抗樣本生成方法。

神經(jīng)網(wǎng)絡(luò)的復(fù)雜結(jié)構(gòu)在增強其學(xué)習(xí)能力的同時，也放大了其固有的內(nèi)生安全問題。當對一個輸入樣本做出微小的改變時，神經(jīng)網(wǎng)絡(luò)模型就可能會輸出截然不同的結(jié)果。這種擾動可能是很輕微的，不易察覺的，例如在圖像中改變一個或幾個像素值即可達到這樣的效果。這種做出微小改變使得神經(jīng)網(wǎng)絡(luò)模型的輸出發(fā)生變化的輸入樣本叫做對抗樣本。神經(jīng)網(wǎng)絡(luò)在面對對抗樣本時產(chǎn)生的脆弱性引起了人們極大的關(guān)注。

1 相關(guān)原理與技術(shù)

1.1 深度神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)（DNN）可以認為是對簡單神經(jīng)網(wǎng)絡(luò)的擴展延伸，其基本結(jié)構(gòu)可以用三層神經(jīng)元簡單表示。第一層為輸入層，即將圖片、語音等信息轉(zhuǎn)換為矩陣，并進行一些前置運算后再輸入至神經(jīng)網(wǎng)絡(luò)中；第二層為隱藏層，該層對輸入層提供的數(shù)據(jù)進行運算，深度神經(jīng)網(wǎng)絡(luò)中存在多個隱藏層，目的是為了通過大量的計算更好地模擬人腦中神經(jīng)元的模型，使得計算的結(jié)果更貼近于人腦的計算結(jié)果，更加準確；最后一層為輸出層，即利用隱藏層得出的數(shù)據(jù)來計算最終結(jié)果，并進行輸出。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[1]是神經(jīng)網(wǎng)絡(luò)的一個應(yīng)用，可以解決大部分圖像處理的問題。在2006年深度學(xué)習(xí)被提出后，卷積神經(jīng)網(wǎng)絡(luò)才逐步開始受到人們的重視。由于近年來硬件和算力的發(fā)展，復(fù)雜的計算可以借助GPU 完成，這大大提高了卷積神經(jīng)網(wǎng)絡(luò)的計算和學(xué)習(xí)效率。2012年，AlexNet 卷積神經(jīng)網(wǎng)絡(luò)模型在ImageNet[2]大規(guī)模視覺識別競賽中多次取勝。后來VGGNet，ResNet 等也采用了卷積神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)的網(wǎng)絡(luò)模型進行訓(xùn)練。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，其相較于深度神經(jīng)網(wǎng)絡(luò)更為復(fù)雜，分為輸入層、卷積層、池化層、全連接層、輸出層。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structure diagram of convolutional neural network

輸入層：輸入層即將樣本以矩陣的形式輸入至神經(jīng)網(wǎng)絡(luò)中，一般來說輸入的值是圖像的像素矩陣，并會對輸入的值進行前置處理，如歸一化處理，將值映射到［0，1］區(qū)間。

卷積層：卷積層可以認為是對于圖像中的每一個像素點，在經(jīng)過當前卷積核進行求積和求和的運算后，再把運算結(jié)果輸入到下一個卷積核中進行類似的運算。卷積核的尺寸會小于圖像的大小，并且卷積層中也可以存在多個卷積核。

池化層：池化層將卷積層計算的結(jié)果進行過濾和整合，如將輸入分為多個子區(qū)間，在每個子區(qū)間內(nèi)選擇像素點最大的值作為輸出值，這種方法叫做最大池化。除了最大池化函數(shù)，還有平均池化函數(shù)，L2 范數(shù)池化函數(shù)等。

全連接層：全連接層通過激活函數(shù)對卷積層和池化層的結(jié)果進行非線性轉(zhuǎn)換，進而處理更加復(fù)雜的場景。

輸出層：輸出層是計算最終結(jié)果并進行輸出的層。在這一層中，通常會附加邏輯函數(shù)或者歸一化函數(shù)（Softmax 函數(shù)）對輸出結(jié)果進行處理，使模型結(jié)果能更好地映射至樣本空間。舉例來說，對于二分類的問題，邏輯函數(shù)更加適用。如對于惡意樣本檢測，醫(yī)療環(huán)境下的癌癥檢測等，只存在2 種分類，故可以使用邏輯函數(shù)進行處理，再選擇值相對較高的標簽進行輸出，從而判斷結(jié)果屬于哪一種分類。對于復(fù)雜的分類問題，如圖像識別、語音識別等，可以使用Softmax 函數(shù)對結(jié)果進行處理，選取處理值最大對應(yīng)的那個標簽進行輸出。

1.3 生成對抗網(wǎng)絡(luò)

深度學(xué)習(xí)分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩大類。有監(jiān)督學(xué)習(xí)是使用已有的樣本標簽指導(dǎo)模型進行分類，而無監(jiān)督學(xué)習(xí)則是沒有任何先驗知識，通過學(xué)習(xí)樣本的特征，從而進行正確分類預(yù)測的方法。由于無監(jiān)督學(xué)習(xí)不需要人為標注大量樣本，故可以解決人力的問題。然而由于樣本量太少，無監(jiān)督學(xué)習(xí)的性能也較差。所以如何在使用較少人力或者不使用人力的情況下對無監(jiān)督學(xué)習(xí)的性能進行提升是一個十分重要的問題，只有這樣無監(jiān)督學(xué)習(xí)的效果才能完全超過有監(jiān)督學(xué)習(xí)。生成對抗網(wǎng)絡(luò)（簡稱GAN）是深度神經(jīng)網(wǎng)絡(luò)的一種模型，結(jié)構(gòu)如圖2所示，最早在2014年由Ian J.Goodfellow 等人提出[3]，用來解決無監(jiān)督學(xué)習(xí)性能低下的問題。GAN 不同于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，包含生成器和鑒別器2 組模型架構(gòu)，二者交替訓(xùn)練，相互制約，從而實現(xiàn)更好的樣本生成和樣本識別。

圖2 GAN 結(jié)構(gòu)圖Fig.2 GAN structure diagram

圖中的D 為鑒別器，用于判斷輸入的圖像是來自真實樣本還是生成器通過噪聲偽造的。圖中的G為生成器，用于生成與真實樣本類似的假樣本。生成器和鑒別器互相制約，鑒別器希望能夠識別出所有通過生成器生成的虛假樣本，而生成器希望其生成的樣本被鑒別器識別為真實樣本。鑒別器通過接收生成器生成的圖片并進行識別，然后將結(jié)果返回給生成器。如果鑒別器的識別結(jié)果為真，就是說生成器生成的圖片已經(jīng)欺騙過了鑒別器，那么此時鑒別器就需要修改自身參數(shù)來提高識別率；若鑒別器的識別結(jié)果為假，則說明生成器生成的圖片未欺騙過鑒別器，那么此時生成器就需要修改自身參數(shù)來改善生成效果。通過這樣的對抗，生成器能夠隨機生成高質(zhì)量的虛假圖片，而鑒別器也可以提升鑒別能力。

1.4 對抗樣本

對抗樣本xadv是將原樣本xorigi加入一定的擾動δ，使得對于模型f，f（xorigin）與f（xorigin+δ）不相等，即預(yù)測值yorigi不等于yadv。同時希望xadv與xorigin的差距盡量的小，所以這樣就給添加的擾動δ 做了一定的限制。對抗樣本的具體定義如下所示：

式中：ε 對擾動δ 做了限制，當ε 越小，對抗樣本和真實樣本的差距就越小。

2 神經(jīng)網(wǎng)絡(luò)對抗樣本

目前，已經(jīng)提出了一些對抗性擾動的防御方法。一般來說，這些方法可以分為三類。

第一種是對抗訓(xùn)練，使用對抗攻擊產(chǎn)生的對抗樣本作為訓(xùn)練數(shù)據(jù)集進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，使其具有鑒別能力。對抗訓(xùn)練可以提高模型的魯棒性[4]。在對抗訓(xùn)練的基礎(chǔ)上提出通過極大極小值進行對抗訓(xùn)練ERM 方法[5]，該方法從優(yōu)化的角度出發(fā)，研究神經(jīng)網(wǎng)絡(luò)魯棒性的特點并完成對抗訓(xùn)練。針對傳統(tǒng)對抗訓(xùn)練過擬合的問題，提出綜合對抗性訓(xùn)練的方法[6]，該方法是對抗性訓(xùn)練的另一種變體。綜合對抗訓(xùn)練會根據(jù)生成的對抗樣本進行再訓(xùn)練，以對其他各種預(yù)先訓(xùn)練的模型進行攻擊。這種目標模型和對抗訓(xùn)練的分離解決了傳統(tǒng)對抗訓(xùn)練出現(xiàn)的過擬合問題。

第二種是在圖像樣本輸入神經(jīng)網(wǎng)絡(luò)之前檢查并對其進行修改。利用原始圖像與對抗樣本在特征圖上的差異提出FDB 算法。這種去噪特征映射保證去噪塊只會作用在對抗性輸入部分，而不會以破壞原有輸入為代價。文獻[7]將概率論的方法應(yīng)用到擾動的破壞中，提出ME-NET 防御算法。該算法認為以一定的概率隨機丟棄部分像素后能破壞所添加的擾動結(jié)構(gòu)，并恢復(fù)原始圖像的矩陣數(shù)據(jù)。

第三種是通過修改神經(jīng)網(wǎng)絡(luò)模型來檢測對抗樣本。對抗樣本可以通過神經(jīng)網(wǎng)絡(luò)應(yīng)用隨機突變來檢測[8]，通過修剪神經(jīng)網(wǎng)絡(luò)[9]來找到對抗樣本，基于梯度掩蔽的防御性蒸餾方法[10]。本文改進了Softmax函數(shù)，對于大部分基于梯度的白盒對抗攻擊方法都能夠起到一定的防御作用，然而對于生成更加精細的對抗樣本而言，這種方法的效果并不理想。實際上，這也是這類防御方法的共同缺陷，意味著只有修改網(wǎng)絡(luò)結(jié)構(gòu)才能使用這類防御方法，不適用于黑盒模型。

綜上，當前沒有針對語義對抗樣本的防御研究。同時也正是因為語義對抗樣本的多樣性導(dǎo)致了目前難以防御語義對抗樣本。本文提出了4 種語義對抗樣本生成方法，可以為語義對抗樣本的防御提供研究思路，促進語義對抗樣本防御領(lǐng)域的發(fā)展。

3 實驗結(jié)果及分析

3.1 實驗環(huán)境

設(shè)備：MacBook Pro（13inch，M1，2020）；操作系統(tǒng)：MacOS Big Sur 11.0.1；運行語言：Python3.6.5；運行框架：Pytorch。

3.2 實驗方法

在實驗中，隨機選擇ImageNet 中的1000 張圖片作為原始數(shù)據(jù)集。這1000 張圖片包含了ImageNet中所有的分類，從而保證每一種分類都存在對應(yīng)的圖片用于生成對抗樣本。

本文的模型采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，共計20個卷積層和激活層。其中前19 層的激活函數(shù)為ReLU 函數(shù)，最后一層的激活函數(shù)為LeakyReLU 函數(shù)。將本方法與著色算法相結(jié)合，得出一個預(yù)訓(xùn)練的模型用于上色。在訓(xùn)練時，采用Adam 函數(shù)進行優(yōu)化，設(shè)置學(xué)習(xí)率為0.0001，最大攻擊輪次為50。使用ResNet50[11]作為初始驗證的網(wǎng)絡(luò)模型，若生成的對抗樣本與原始樣本在Pytorch 內(nèi)預(yù)訓(xùn)練的ResNet50網(wǎng)絡(luò)上的分類不同，則表示能夠成功欺騙該模型，即攻擊成功。

3.3 實驗結(jié)果

本實驗基于提出的基于Lab 顏色擾動的對抗攻擊方法生成的對抗樣本的魯棒性。使用一些防御對抗樣本的方法對本文生成的對抗樣本進行處理，隨后將處理后的圖片再次放入ResNet50 網(wǎng)絡(luò)中進行分類，如圖3所示。若分類結(jié)果與原圖片的分類結(jié)果一致，則代表本文的攻擊方法無法規(guī)避掉一些現(xiàn)有的防御手段；若分類結(jié)果與原圖片不一致，則代表本文的攻擊方法仍然有效，有一定的魯棒性。

圖3 基于Lab 顏色擾動的語義對抗樣本遷移性驗證Fig.3 Migration verification of semantic anti sample based on Lab color perturbation

將對抗樣本視作是一種噪聲，并利用圖像去噪算法，如均值濾波、中值濾波、高斯濾波和雙邊濾波對本文生成的圖片進行處理。本節(jié)使用Opencv 自帶的去噪函數(shù)對本文生成的圖片進行去噪，設(shè)置均值濾波的卷積核尺寸為3，高斯濾波的卷積核尺寸為3，X 方向，Y 方向的標準偏差為0，中值濾波的方框尺寸為3，雙邊濾波的鄰域直徑為0，空間高斯函數(shù)標準差為100，灰度值相似性高斯函數(shù)標準差為15。除此之外，還使用一些比較先進的利用神經(jīng)網(wǎng)絡(luò)來消除對抗擾動的方法處理本文生成的對抗樣本，如ComDefend[12]、特征壓縮[13]。實驗結(jié)果如表1、表2所示。

表1 經(jīng)過圖像去噪算法后的攻擊成功率Tab.1 Attack success rate after image denoising algorithm

表2 經(jīng)過對抗樣本防御方法后的攻擊成功率Tab.2 Attack success rate after countering the sample defense method

從表1可以看出，本文提出的基于物體檢測與顏色擾動的雙語義對抗攻擊在面對圖像去噪算法時仍然取得了突出的攻擊效果，即使是經(jīng)過濾波處理，也達到了平均91.8%的成功率，最高甚至可以達到93.2%。也就是說，該攻擊方法對于傳統(tǒng)的圖像去噪算法是魯棒的。

表2顯示了使用ComDefend 和特征壓縮對FGSM，BIM，PGD，DeepFool，C&W 算法以及本文提出的攻擊方法生成的對抗樣本進行處理后的攻擊成功率。實驗結(jié)果表明ComDefend 和特征壓縮方法對傳統(tǒng)的生成對抗樣本的方法FGSM，BIM，PGD，DeepFool，C&W 方法的效果是比較好的，可以防御大部分對抗樣本的攻擊，然而對本文提出的語義對抗攻擊的效果比較差，經(jīng)過ComDefend 和特征壓縮方法對本文生成的對抗樣本進行處理后，本文提出的方法對模型的攻擊成功率仍然可以在83.4%以上，這說明了本文提出的語義對抗攻擊可以抵擋大部分現(xiàn)有的對抗樣本防御方法。對其原因進行了進一步的探究和分析，認為出現(xiàn)如此高的攻擊成功率是因為目前沒有針對語義對抗樣本的防御方法。已有的對抗樣本防御方法，如ComDefend，特征壓縮等無法對語義對抗樣本進行防御，導(dǎo)致經(jīng)過防御方法處理后，添加的對抗擾動還保留在對抗樣本中?？偟膩碚f，本文提出的方法在面對神經(jīng)網(wǎng)絡(luò)防御對抗樣本的方法上同樣保持著較高的魯棒性。

3.4 實驗結(jié)果分析

實驗提出了基于Lab 顏色擾動的語義對抗樣本生成方法，該方法可以通過修改圖像中Lab 顏色通道的數(shù)值來迷惑神經(jīng)網(wǎng)絡(luò)模型，使神經(jīng)網(wǎng)絡(luò)識別的結(jié)果與原圖像識別的結(jié)果不一樣。與傳統(tǒng)的L2范數(shù)攻擊不同，該方法采用的是L∞攻擊，即可以對圖像進行不受限制的擾動。然而L∞攻擊雖然對圖像進行了不受限制地修改，但是仍然需要符合圖片自身的語義和人們的感知。

實驗表明，利用本文的攻擊方法生成的對抗樣本與原樣本的圖片相似度較高，并在其他的神經(jīng)網(wǎng)絡(luò)模型中同樣保持著較高的攻擊成功率。在面對主流的圖像去噪算法和一些主流的神經(jīng)網(wǎng)絡(luò)防御對抗樣本方法時，本文生成的對抗樣本同樣可以保持較高的攻擊成功率?？偟膩碚f，利用本文方法生成的對抗樣本在圖片相似度、對抗樣本遷移性和對抗樣本魯棒性上保持很好的性能。

4 結(jié)語

隨著時代的發(fā)展，神經(jīng)網(wǎng)絡(luò)在圖像識別、自然語言處理、自動駕駛、人臉識別等領(lǐng)域都發(fā)揮著不可替代的作用。神經(jīng)網(wǎng)絡(luò)為人們的生活提供大量的便利，但對抗樣本的出現(xiàn)使其可靠性大大降低。攻擊者只需要在原樣本中對語義算法進行改進與優(yōu)化就可以改變神經(jīng)網(wǎng)絡(luò)的輸出，甚至可以輸出攻擊者希望的結(jié)果。

本文通過攻擊方法生成的對抗樣本與原樣本的圖片相似度較高，并在其他的神經(jīng)網(wǎng)絡(luò)模型中同樣保持著較高的攻擊成功率。在面對主流的圖像去噪算法和一些主流的神經(jīng)網(wǎng)絡(luò)防御對抗樣本方法時，本文生成的對抗樣本同樣可以保持較高的攻擊成功率。總的來說，利用本文方法生成的對抗樣本在圖片相似度、對抗樣本遷移性和對抗樣本魯棒性上保持很好的性能。