范純龍, 李彥達, 夏秀峰, 喬建忠

(1. 東北大學(xué) 計算機科學(xué)與工程學(xué)院， 遼寧 沈陽 110169； 2. 沈陽航空航天大學(xué) 計算機學(xué)院， 遼寧 沈陽 110136)

深度神經(jīng)網(wǎng)絡(luò)在圖像分類研究中的應(yīng)用表現(xiàn)出良好的分類效果[1]，現(xiàn)在已發(fā)展成為一種重要的學(xué)習(xí)模型并廣泛應(yīng)用.但研究中發(fā)現(xiàn)[2]，如果在用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)輸入上做一些微小的特定改變，就會導(dǎo)致圖像分類結(jié)果錯誤，這一現(xiàn)象迅速推動了神經(jīng)網(wǎng)絡(luò)安全性、魯棒性研究的興起.這種對神經(jīng)網(wǎng)絡(luò)輸入的微小改變稱為對抗擾動，改變后的神經(jīng)網(wǎng)絡(luò)輸入稱為對抗樣本，利用對抗樣本使神經(jīng)網(wǎng)絡(luò)產(chǎn)生錯誤輸出的過程稱為對抗攻擊.

如果一個對抗擾動能夠使樣本集內(nèi)大量樣本的輸出結(jié)果發(fā)生錯誤，則該對抗擾動稱為通用擾動.本文對現(xiàn)有通用擾動生成方法進行了總結(jié)，并以圖像分類神經(jīng)網(wǎng)絡(luò)為具體研究對象，在給定神經(jīng)網(wǎng)絡(luò)模型和訓(xùn)練數(shù)據(jù)集的條件下，提出一種通用對抗擾動的貪心迭代算法，采用隨機梯度上升擾動求解策略和擾動的固定模長球面投影約束策略.經(jīng)實驗驗證，該算法取得了更為高效、快速的攻擊效果.

1 相關(guān)工作

神經(jīng)網(wǎng)絡(luò)對抗攻擊使神經(jīng)網(wǎng)絡(luò)在實際應(yīng)用中面臨重大安全威脅，可能對自動駕駛等系統(tǒng)[3]造成難以估計的后果；因此，對其開展深入研究是神經(jīng)網(wǎng)絡(luò)應(yīng)用[4-5]中必須面對的關(guān)鍵問題，也是當(dāng)前安全領(lǐng)域研究的熱點，對提高神經(jīng)網(wǎng)絡(luò)的安全性[4]有重要意義.

從提出神經(jīng)網(wǎng)絡(luò)對抗攻擊開始，研究者們就對抗攻擊問題進行了大量研究，依據(jù)模型已知程度可以分為黑盒攻擊、白盒攻擊，黑盒攻擊[5-6]只能通過查詢輸入樣本的神經(jīng)網(wǎng)絡(luò)輸出分類結(jié)果發(fā)起對抗攻擊，白盒攻擊[7-8]則利用模型的結(jié)構(gòu)、參數(shù)等信息開展對抗攻擊，常見方法有基于梯度信息的算法、基于神經(jīng)網(wǎng)絡(luò)幾何解釋的算法[7-8]等.依據(jù)攻擊樣本數(shù)量不同，可以分為單樣本攻擊和通用樣本攻擊，單樣本攻擊[9]針對每個樣本都需要生成不同的對抗擾動；通用樣本攻擊[10-11]是利用樣本集產(chǎn)生一個通用擾動，能夠改變樣本集中多數(shù)樣本的網(wǎng)絡(luò)輸出結(jié)果.

近年，大量通用樣本攻擊方法被提出.通用對抗擾動(universal adversarial perturbation, UAP)生成算法分析每個樣本的決策邊界，通過迭代的方法逐步尋找與輸入圖像無關(guān)的通用擾動.GD-UAP[12]對圖像的特征空間進行破壞，以產(chǎn)生數(shù)據(jù)無關(guān)的通用擾動.UPSET(universal perturbations for steering to exact targets)[13]算法利用殘差網(wǎng)絡(luò)生成與特定圖像樣本無關(guān)的通用擾動.CD-UAP(class discriminative UAP)[14]提出利用不同損失函數(shù)來處理目標類和非目標類圖像，以生成通用擾動.文獻[15]通過分析網(wǎng)絡(luò)參數(shù)的特征映射，并求解雅可比矩陣的奇異向量來生成通用擾動，該算法有較低的樣本數(shù)據(jù)依賴性.Hayes等[16]采用生成對抗網(wǎng)絡(luò)技術(shù)產(chǎn)生數(shù)據(jù)無關(guān)的通用擾動.NAG[17]設(shè)計了一個易于訓(xùn)練的框架，對擾動的分布進行建模，進而可以得到表現(xiàn)良好的通用擾動.本文針對用于圖像分類的典型卷積神經(jīng)網(wǎng)絡(luò)，開展白盒通用樣本攻擊研究.

2 通用擾動生成方法

針對白盒通用對抗攻擊問題，本文提出采用批量隨機梯度上升的通用擾動迭代計算技術(shù)，并將通用擾動模長限定為常量，從而將通用擾動理解為高維球面上的點，將通用擾動求解理解為點在高維球面上移動的角度和方向計算問題，然后結(jié)合實驗結(jié)果，對算法又進行了正則化改進.

2.1 問題描述

通用擾動是一個向量，可以疊加到樣本上形成攻擊樣本，并使盡可能多的樣本網(wǎng)絡(luò)輸出結(jié)果與攻擊樣本網(wǎng)絡(luò)輸出結(jié)果不一致.通用擾動的質(zhì)量可描述如下：

(1)

v*=maxv{hX(v)|v∈[0,1]d,‖v‖p≤ε} .

(2)

式中：X?[0,1]d表示一個d維空間上的圖像樣本集合；K是一個圖像分類函數(shù)，文中為神經(jīng)網(wǎng)絡(luò)，該函數(shù)為每個圖像x∈X輸出一個估計的圖像分類標簽K(x)；v代表一個通用擾動，hX(v)稱為通用擾動v在樣本集X上的擾動比，即X中的圖像樣本在疊加v后，神經(jīng)網(wǎng)絡(luò)輸出的分類標簽發(fā)生改變的比例，是衡量v的通用擾動質(zhì)量的重要依據(jù)；v*是要尋找的通用擾動，其p-范數(shù)模長要求小于或等于ε閾值，以避免造成原樣本肉眼可觀察的圖像改變.

2.2 算法改進思想

(3)

首先，通用擾動迭代求解過程中，每次處理一個樣本，先求解其最優(yōu)擾動，再計算通用擾動，這是一種串行迭代模式，限制了通用擾動求解效率的提升.尋找具有較好并行性的通用擾動生成算法，支持對樣本集數(shù)據(jù)的高效處理，是提升算法效率的關(guān)鍵.

結(jié)合上述分析，本文提出一種基于隨機梯度上升和球面投影的通用擾動生成算法，思想如下：

1) 神經(jīng)網(wǎng)絡(luò)是采用隨機梯度下降方法來調(diào)優(yōu)權(quán)重參數(shù)，那么當(dāng)權(quán)重參數(shù)固定時，也可以把通用擾動作為參數(shù)來進行批量訓(xùn)練使其優(yōu)化.隨機梯度下降是使樣本對應(yīng)的標簽概率上升，而通用擾動則是使樣本對應(yīng)的標簽概率下降，所以需要采用隨機梯度上升的訓(xùn)練策略，使通用擾動求解過程在原理上支持樣本集的分輪分批訓(xùn)練，本質(zhì)上提高了其計算的并行性.

2) 使用隨機梯度上升訓(xùn)練通用擾動，需要設(shè)計訓(xùn)練的目標損失函數(shù)，文中采用交叉熵損失函數(shù)，并在目標損失函數(shù)中增加正則化項，限制個別維度的取值過大，形成明顯的圖像噪點.

3) 通用擾動迭代過程中，p-范數(shù)模長會逐漸增大，并導(dǎo)致求解陷入局部極值，因此，本文選擇2-范數(shù)模長，并直接將通用擾動模長設(shè)為固定值ε，使通用擾動的迭代求解轉(zhuǎn)化為在高維空間超球面上點的搜索問題，即尋找通用擾動在球面上的移動方向和距離.

基于上述思想，通用擾動求解算法的搜索空間減小至高維超球面，并且通過隨機梯度上升的批量樣本訓(xùn)練策略大幅減少反向傳播查詢次數(shù).經(jīng)過實驗驗證，算法在NiN，ResNet，VGG等典型分類器上能夠快速生成高質(zhì)量的通用擾動.

2.3 改進的通用擾動求解算法

2.3.1 基于隨機梯度上升的樣本攻擊

圖像樣本集X中的某個樣本x的神經(jīng)網(wǎng)絡(luò)分類預(yù)測標簽為Kx，其定義見式(4)，其中C為圖像類別數(shù)，pk(x)為樣本x在第k個圖像類別上的輸出概率.

Kx=arg max1≤k≤C{pk(x)} .

(4)

設(shè)rx為樣本x的一個對抗擾動，則x′=x+rx是樣本x的一個對抗樣本，其對應(yīng)的神經(jīng)網(wǎng)絡(luò)預(yù)測分類結(jié)果為Kx′，即對抗樣本x+rx的預(yù)測標簽值，由式(4)可知，對于樣本x，其對抗擾動rx就是要減小其在類別Kx上的概率輸出，增大在其他類別上的概率輸出，直到Kx≠Kx′，此時滿足pKx(x′)

loss(x′)=-logpKx(x′) ;

(5)

r=?x′loss(x′) .

(6)

設(shè)v為樣本集X的一個通用擾動，如果hX(v)要接近1，則v就要同時成為盡可能多樣本的對抗擾動；為此，對求解單樣本對抗擾動的梯度上升方法進行擴展.將式(5)擴展到適用批量樣本輸入的情況，求得的損失函數(shù)值代表了批量樣本中各樣本輸出概率梯度上升的平均值，從而使計算出的擾動r對批量樣本中盡可能多的樣本產(chǎn)生梯度上升影響，即r具有更好的通用性，并最終逼近生成v.計算過程中，首先根據(jù)樣本集計算出平均梯度，再由此計算通用擾動，所以該平均梯度是樣本集內(nèi)各樣本梯度的統(tǒng)計量，因此，批量樣本上的這種訓(xùn)練過程稱為隨機梯度上升訓(xùn)練.通過采用批量樣本訓(xùn)練和隨機梯度上升策略，使通用擾動求解的并行處理能力得到提升.

2.3.2 基于球面投影的通用擾動求解算法

為進一步提高通用擾動迭代求解時的模長變化影響，文中選擇2-范數(shù)模長作為通用擾動求解時的約束條件，并且整個迭代過程中，保持通用擾動的2-范數(shù)模長固定為閾值常量ε，使得每次迭代產(chǎn)生的通用擾動模長不再變化，從而將通用擾動的解空間限制在了半徑為ε的超球面上，大幅縮小了通用擾動的求解范圍，有助于提高搜索效率.

(7)

(8)

表1 超球面通用攻擊算法

另外，通用擾動每次在球面上轉(zhuǎn)過的角度是一個預(yù)先設(shè)置好的參數(shù)，對求解過程會產(chǎn)生重要影響.如果每次轉(zhuǎn)動的角度θ過小，則通用擾動容易落入局部極小值；如果角度θ過大，則易在迭代后期出現(xiàn)震蕩現(xiàn)象，解質(zhì)量不穩(wěn)定.因此，在通用擾動求解過程中，添加了一個轉(zhuǎn)角收斂系數(shù)η，利用該系數(shù)與迭代輪數(shù)i構(gòu)成一個動態(tài)轉(zhuǎn)角調(diào)控參數(shù)ηi，以此讓通用擾動的轉(zhuǎn)角在計算初期較大，計算后期逐漸變小.實驗發(fā)現(xiàn)該策略對算法收斂速度幾乎無影響，但可以使后期迭代收斂更為穩(wěn)定，解質(zhì)量更好.

2.3.3 算法生成通用擾動質(zhì)量的優(yōu)化

上述現(xiàn)象的產(chǎn)生可能受到多種因素的影響.首先，相似的攻擊模式更多地體現(xiàn)為一種波動紋理，并且不同的通用擾動間差異雖然大，但是波動紋理在肉眼觀察下卻很相似，這與隨機梯度上升訓(xùn)練的方法相關(guān)，體現(xiàn)為一種統(tǒng)計上的相似性.另外，可觀察的噪聲點則是因為通用擾動訓(xùn)練過程中的損失函數(shù)與輸出概率之外的其他約束無關(guān)，無法感知單點值的較大改變，并約束這個改變的影響.求解一個樣本集X上的通用擾動，本文算法內(nèi)使用了2-范數(shù)模長的限制來控制通用擾動的質(zhì)量，以滿足擾動不易被視覺感知的要求；但2-范數(shù)模長限制并沒有約束個別像素點上發(fā)生較大的顏色變化，也沒有對擾動的區(qū)域進行限定.

為減少部分像素因像素值改變過大帶來的單點噪聲問題，本文在損失函數(shù)中引入正則化項，其作用是在通用擾動的訓(xùn)練過程中引入像素值改變的最大閾值限制，從而迫使訓(xùn)練過程中，算法在搜索通用擾動的近似解時，避免出現(xiàn)少數(shù)像素點因擾動過大而造成易于觀察的單點噪聲.

具體地，本文引入正則化參數(shù)ξ，損失函數(shù)修改為式(9)：

(9)

實驗結(jié)果表明，正則化方法在部分條件下會讓通用擾動的攻擊成功率稍有降低，但可以有效抑制噪聲點的出現(xiàn)，防止部分像素點的無窮范數(shù)過大，對通用擾動的質(zhì)量控制起到了積極的作用.

3 實 驗

在給定實驗數(shù)據(jù)集和基準算法的條件下，對基于隨機梯度上升和球面投影的通用擾動生成算法進行了驗證.實驗結(jié)果表明，該算法能夠快速生成良好的通用擾動，性能較已有典型通用擾動生成算法顯著提升，求解的通用擾動不但取得了更好的攻擊效果，通用擾動生成效率也大幅提高.

3.1 實驗條件設(shè)置

本文選用CIFAR-10圖像分類數(shù)據(jù)集和SVHN門牌號碼數(shù)據(jù)集作為實驗用數(shù)據(jù)集，并基于這兩個數(shù)據(jù)集的訓(xùn)練集，分別訓(xùn)練了NiN[18]，VGG[19]和ResNet[20]三種不同規(guī)模的經(jīng)典神經(jīng)網(wǎng)絡(luò)分類器.從各數(shù)據(jù)集中依次抽取250, 500, 750, 1 000張樣本作為通用擾動的訓(xùn)練集；另外各測試數(shù)據(jù)集中額外抽取1 000張樣本，作為求得通用擾動的驗證集.

本文選用UAP算法作為與本文提出的HGAA算法及其正則化算法HGAA-Z進行性能對比的基線方法，Seyed-Mohsen在UAP算法中首次提出了白盒通用擾動生成的思想，是該場景下的典型算法.實驗中，不同算法通用擾動的2-范數(shù)模長均限制為2，含有正則化參數(shù)的損失函數(shù)中，正則化參數(shù)設(shè)置為0.9.

文中所有實驗均在一臺工作站上完成，工作站搭載有NVIDIA GeForce RTX2080Ti GPU顯卡一塊，采用Python編程開發(fā)環(huán)境和Pytorch框架.

3.2 算法攻擊效率

為了驗證本文算法求解通用擾動的效率，選取3個指標與基線算法對比，分別為反向傳播查詢次數(shù)、相鄰2輪通用擾動求解結(jié)果間的夾角余弦值cosθ，以及每輪通用擾動在訓(xùn)練集上的攻擊成功率，即擾動比hX(v*).

首先，在給定訓(xùn)練集上統(tǒng)計UAP的反向傳播查詢次數(shù).以NiN模型和CIFAR-10數(shù)據(jù)集為例，分別對250, 500, 750, 1 000四個樣本集進行通用擾動訓(xùn)練，UAP調(diào)用反向傳播的平均次數(shù)分別為74 312, 197 628, 319 712, 421 364，單個樣本的平均調(diào)用次數(shù)均超過300次，HGAA算法反向傳播的次數(shù)與迭代的輪數(shù)和批樣本數(shù)有關(guān)，在50輪、每輪50批樣本的情況下，4個訓(xùn)練樣本集中，單個樣本的平均調(diào)用次數(shù)均為1.效率差距在時間上也能夠直接反映出來，訓(xùn)練250, 500, 750, 1 000 張樣本集時，UAP算法耗時分別為311, 628, 835, 1 186 s，而HGAA算法耗時僅12, 19, 26, 32 s.

其次，選用ResNet模型、CIFAR-10數(shù)據(jù)集，設(shè)置通用擾動的2-范數(shù)模長的值為2，訓(xùn)練樣本數(shù)為1 000，迭代輪數(shù)為40，對UAP, HGAA, HGAA-Z三種算法在訓(xùn)練集上進行相鄰輪夾角余弦和攻擊成功率對比，如圖1、圖2所示.從相鄰輪通用擾動夾角的變動情況看，HGAA算法在經(jīng)過迭代后，每次更新的夾角在2°左右，而UAP算法的夾角在8°左右，并且存在較大波動，反映出HGAA算法求解通用擾動的穩(wěn)定性更好；從攻擊成功率看，HGAA算法的攻擊成功率遠高于UAP算法，并且攻擊成功率的波動幅度很小，收斂速度更快.實驗結(jié)果證明，基于隨機梯度上升的球面投影算法求解通用擾動的效果更好，效率更高.

圖1 通用擾動間的夾角

圖2 通用擾動的攻擊成功率

3.3 算法攻擊效果

為了驗證HGAA算法生成通用對抗擾動的效果，分別定義通用擾動在訓(xùn)練集上的攻擊成功率ηT=hT(v*)和在測試集上的攻擊成功率ηV=hV(v*).這兩個指標反映了通用擾動分別對訓(xùn)練集和測試集的攻擊效果.由于UAP的通用擾動約束為‖v‖p≤ε，因此在進行對比實驗的時候，限定UAP求解的通用擾動2-范數(shù)模長最大值為2.另外，實驗中還計算了HGAA和HGAA-Z算法的無窮范數(shù)指標.

相關(guān)實驗結(jié)果見表2，從表中數(shù)據(jù)結(jié)果可以看出，同等2-范數(shù)模長約束條件下，UAP求解出的通用擾動模長全部達到了2-范數(shù)模長的閾值2，說明對于通用擾動而言，2-范數(shù)模長的大小更多是出于保持圖像質(zhì)量的要求，通用擾動的解大概率地處于2-范數(shù)模長等于閾值的高維球面上.另外，與UAP算法相比較，本文算法在不同的數(shù)據(jù)集和模型上均表現(xiàn)出更好的性能，攻擊成功率較UAP提高10%～20%，訓(xùn)練集和測試集攻擊成功率的波動也有所減小.再有，采用或者不采用正則化策略，本文兩種算法的攻擊成功率相差不大，未發(fā)現(xiàn)引入正則化損失函數(shù)，導(dǎo)致算法攻擊成功率降低的情況，甚至在樣本數(shù)量較多的實驗中，采用正則化策略，其攻擊成功率表現(xiàn)似乎更好；并且正則化方法使通用擾動的無窮范數(shù)明顯降低，說明正則化技術(shù)對提高通用擾動質(zhì)量是有效的.

表2 不同算法的效果對比

表2(續(xù))

3.4 關(guān)鍵參數(shù)對算法性能的影響

1) 2-范數(shù)模長閾值的影響.為研究2-范數(shù)模長閾值變化對HGAA算法攻擊效果的影響，選擇VGG11模型、CIFAR10數(shù)據(jù)集、500樣本的訓(xùn)練集，測試了通用擾動的攻擊成功率與2-范數(shù)模長閾值變化的關(guān)系.從表3可以看出，模型在訓(xùn)練集和測試集上的攻擊成功率均隨著2-范數(shù)模長的增加而增加，但增幅逐步放緩；從無窮范數(shù)的變化可以看出，通用擾動的無窮范數(shù)也隨著2-范數(shù)模長的增加而增大，并基本保持同步的增長態(tài)勢.表3的數(shù)據(jù)說明，適當(dāng)選擇2-范數(shù)模長閾值，能夠獲得較好的攻擊成功率和攻擊質(zhì)量.

2) 正則化參數(shù)ξ的影響.前面的實驗結(jié)果已經(jīng)驗證了正則化損失函數(shù)的設(shè)置能夠降低通用擾動的無窮范數(shù).為了更好地認識正則化參數(shù)的影響，在前面的實驗條件下，對正則化參數(shù)ξ的取值與通用擾動性能的關(guān)系進行了實驗，并與不引入正則化損失函數(shù)的算法結(jié)果進行對比，比較的指標包括訓(xùn)練集攻擊成功率、測試集攻擊成功率和無窮范數(shù).通過表4可以發(fā)現(xiàn)，正則化參數(shù)ξ的大小直接影響通用擾動的生成質(zhì)量.整體上看，當(dāng)ξ增大時，攻擊成功率也隨著增大，直到其值大于0.1后，成功率略有下降.正則化對通用擾動的攻擊成功率的影響與取值密切相關(guān)，并且對通用擾動中單像素模長的抑制非常明顯.實驗看，當(dāng)ξ值為0.090左右時，正則化帶來了良好的效果，攻擊成功率較高，且單像素模長符合閾值約束.另外，文中對正則化參數(shù)ξ的分析相對簡單，正則化設(shè)置策略還需要進一步研究，需要根據(jù)具體模型慎重選擇，以實現(xiàn)正則化閾值參數(shù)的自適應(yīng)選擇能力.

表3 2-范數(shù)模長閾值影響

表4 正則化系數(shù)影響

4 結(jié) 論

1) 本文針對有訓(xùn)練集的神經(jīng)網(wǎng)絡(luò)白盒攻擊場景條件，采用隨機批量梯度上升的通用擾動訓(xùn)練策略，即利用批量樣本計算平均損失函數(shù)，進而生成通用對抗擾動，這樣就將單樣本迭代轉(zhuǎn)化為批量樣本迭代，從而顯著提高通用擾動生成效率.

2) 將通用擾動的搜索空間從高維超立方空間限定到通用擾動模長為常量的高維球面上，從而縮小通用擾動的搜索空間，并進一步提出了基于球面投影的通用擾動HGAA生成方法，通過迭代擾動的結(jié)果計算歷史累計擾動在高維球面上的一定距離和方向，實現(xiàn)通用擾動在球面上的搜索，方法不但提高了通用擾動的攻擊效果，而且提升了通用擾動的質(zhì)量.

3) 文中對通用擾動的損失函數(shù)進行優(yōu)化，為防止單像素色相變化劇烈導(dǎo)致的可觀測噪聲問題，在損失函數(shù)中引入了正則化項，直接對無窮范數(shù)的增長進行約束，使通用擾動的人眼可察覺程度進一步降低.

4) 通過實驗驗證了本文算法的有效性，并對模長閾值、正則化系數(shù)兩個通用對抗樣本生成控制參數(shù)進行了實驗分析，給出了兩個參數(shù)取值的實驗參考依據(jù).

總之，在給定的實驗數(shù)據(jù)集和神經(jīng)網(wǎng)絡(luò)分類模型上，本文算法生成的通用擾動在訓(xùn)練樣本集和測試樣本集上的攻擊成功率均大幅超過基線算法，算法的時間復(fù)雜度降低近2個數(shù)量級，效果和效率改善明顯.但文中實驗樣本數(shù)據(jù)集的規(guī)模依然較小，基線算法及比對場景有待增加，以便針對算法的適應(yīng)性和關(guān)鍵控制參數(shù)的影響進行全面分析，為優(yōu)化改進算法提供依據(jù)，以生成更有效的通用擾動.