韋健杰，呂東輝，陸小鋒，孫廣玲

上海大學(xué)通信與信息工程學(xué)院，上海200444

近年來，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用于圖像分類[1]、目標(biāo)檢測[2]和自然語言處理[3]等領(lǐng)域.然而網(wǎng)絡(luò)的輸出非常容易受到輸入端微小擾動(dòng)的影響，如果把特定算法生成的微小擾動(dòng)添加到圖像上，容易使網(wǎng)絡(luò)輸出錯(cuò)誤的結(jié)果[4].這種以攻擊性為目的的擾動(dòng)稱為對(duì)抗擾動(dòng)[5].對(duì)抗擾動(dòng)已經(jīng)對(duì)人工智能系統(tǒng)的安全性和可靠性構(gòu)成嚴(yán)重威脅，例如在交通指示牌上添加了刻意設(shè)計(jì)的貼紙，容易使自動(dòng)駕駛的汽車錯(cuò)誤地識(shí)別交通標(biāo)志信號(hào)，因而導(dǎo)致重大的交通事故.除此之外，對(duì)抗擾動(dòng)具有跨模型攻擊能力，可以通過已知模型進(jìn)行訓(xùn)練優(yōu)化以實(shí)現(xiàn)對(duì)未知模型的攻擊[6].因此，深入研究對(duì)抗擾動(dòng)的存在根源和生成方法，對(duì)構(gòu)建安全可靠的人工智能系統(tǒng)至關(guān)重要.

面向深度神經(jīng)網(wǎng)絡(luò)生成對(duì)抗擾動(dòng)的研究成果較多，包括快速梯度符號(hào)法[7]、基本迭代法[8]、CW攻擊法[9]和深度欺騙法[10]等，這些方法只針對(duì)單幅圖像和單個(gè)網(wǎng)絡(luò)模型生成對(duì)抗擾動(dòng)，效率不高.文獻(xiàn)[11]基于深度欺騙法針對(duì)特定的樣本集和特定的網(wǎng)絡(luò)模型，生成了一幅可作用于所有輸入圖像并且可以將攻擊成功遷移到其他網(wǎng)絡(luò)模型上的通用擾動(dòng)圖像.文獻(xiàn)[12]提出了快速特征欺騙（fast feature fool, FFF）方法，該方法不必學(xué)習(xí)圖像數(shù)據(jù)，在僅知網(wǎng)絡(luò)模型內(nèi)部結(jié)構(gòu)和參數(shù)的情況下即可生成通用擾動(dòng).文獻(xiàn)[13]在FFF 方法的基礎(chǔ)上引入了數(shù)據(jù)集的信息，提出了通用擾動(dòng)生成方法的一個(gè)系列.該系列共包含3 種方法：數(shù)據(jù)無關(guān)的特征欺騙方法；基于統(tǒng)計(jì)特征的特征欺騙方法；基于輸入樣本的特征欺騙方法.

在對(duì)抗擾動(dòng)的防御方面，文獻(xiàn)[14]考慮到自然圖像的特殊屬性，如像素的空間相關(guān)性和高頻中的低能量性，提出了利用圖像預(yù)處理的方法如濾波器濾波來去除擾動(dòng)的干擾.文獻(xiàn)[15]用對(duì)抗訓(xùn)練的方法來提高神經(jīng)網(wǎng)絡(luò)的魯棒性，將添加擾動(dòng)后的對(duì)抗樣本重新輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，從而降低錯(cuò)誤率.文獻(xiàn)[16]提出集成對(duì)抗訓(xùn)練方法，將用于固定預(yù)訓(xùn)練模型的干擾添加到訓(xùn)練數(shù)據(jù)中來提高訓(xùn)練效果.文獻(xiàn)[17]提出網(wǎng)絡(luò)蒸餾法，將第1 個(gè)神經(jīng)網(wǎng)絡(luò)輸出的分類結(jié)果輸入到第2個(gè)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練以降低模型對(duì)小擾動(dòng)的敏感度，從而提升模型的魯棒性[17].

研究基于FFF的通用擾動(dòng)生成方法時(shí)發(fā)現(xiàn)，與基于深度欺騙法的通用擾動(dòng)生成方法相比，前者有著攻擊成功率更高、訓(xùn)練時(shí)間更短及遷移攻擊效果更好的優(yōu)點(diǎn)，它們都通過最大化卷積層輸出特征的方式來實(shí)現(xiàn)攻擊，可以認(rèn)為是簡單有效地增大對(duì)抗圖像與原始圖像之間特征差異的方法.然而，如果原輸入圖像在某一層的輸出特征大到接近飽和時(shí)，該方法就無法達(dá)到欺騙神經(jīng)網(wǎng)絡(luò)分類器的目的.另外該方法將所有卷積層的輸出特征以相同權(quán)重求和，沒有考慮不同卷積層對(duì)于生成擾動(dòng)的不同影響.事實(shí)上，網(wǎng)絡(luò)模型中往往存在少數(shù)可以對(duì)預(yù)測結(jié)果造成較大影響的卷積層，只要攻擊這些卷積層就可以提高擾動(dòng)的攻擊效率.

針對(duì)卷積層輸出特征最大化的問題，本文不再通過最大化卷積層輸出特征的方式來訓(xùn)練擾動(dòng)，而是注意到輸入圖像在網(wǎng)絡(luò)中的實(shí)際激活狀態(tài)，尋求對(duì)抗圖像與原圖像在各卷積層輸出特征之間差異的最大化.針對(duì)各卷積層權(quán)重相同的問題，本文將考慮不同卷積層對(duì)于生成擾動(dòng)的不同影響，在損失函數(shù)中對(duì)不同卷積層附以不同權(quán)重.針對(duì)不同的圖像分類網(wǎng)絡(luò)模型進(jìn)行攻擊可以說明，改進(jìn)后的方法更加有效，也具備了更強(qiáng)的遷移攻擊能力.

1 快速特征欺騙

快速特征欺騙是一種基于梯度下降的迭代優(yōu)化算法，其原理如圖1所示.該方法提取網(wǎng)絡(luò)模型各卷積層的輸出特征，通過最大化各卷積層的輸出特征之和來優(yōu)化網(wǎng)絡(luò)模型的輸入，最后生成一幅可以對(duì)神經(jīng)網(wǎng)絡(luò)模型的特征提取造成最大影響的通用擾動(dòng)圖像.該系列一共包含3種方法，下面分別加以介紹.

圖1 FFF 原理框圖Figure 1 Diagram of FFF

1.1 數(shù)據(jù)無關(guān)的特征欺騙方法

該方法無需任何圖像數(shù)據(jù)，僅將隨機(jī)初始化擾動(dòng)輸入到網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練.設(shè)δ為對(duì)抗擾動(dòng)，ξ為擾動(dòng)的最大強(qiáng)度，li(·)是網(wǎng)絡(luò)第i層卷積層的輸出，K為被攻擊的層數(shù)，則該方法的損失函數(shù)為

1.2 基于統(tǒng)計(jì)特征的特征欺騙方法

該方法預(yù)先生成一幅呈現(xiàn)高斯分布的偽數(shù)據(jù)樣本，其均值為圖像數(shù)據(jù)集的均值，并為其指定方差使得絕大多數(shù)采樣點(diǎn)都在0～255 范圍內(nèi)，然后將此樣本和隨機(jī)初始化擾動(dòng)疊加，輸入到網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練.偽數(shù)據(jù)樣本具有與數(shù)據(jù)集相同的統(tǒng)計(jì)特性，可以為擾動(dòng)的生成提供方向.該方法的損失函數(shù)為

式中，d為呈現(xiàn)高斯分布的偽數(shù)據(jù)樣本.

1.3 基于輸入樣本的特征欺騙方法

該方法將圖像數(shù)據(jù)集中的原始圖像和隨機(jī)初始化擾動(dòng)疊加，輸入到網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練.與1.2 節(jié)中基于統(tǒng)計(jì)特征的特征欺騙方法不同的是該方法直接使用了真實(shí)的圖像數(shù)據(jù)，因此擾動(dòng)的訓(xùn)練更具有針對(duì)性，其損失函數(shù)為

式中，x表示原始圖像樣本.

2 改進(jìn)的快速特征欺騙

在第1 節(jié)中介紹的3 種方法存在以下問題：1）它們都以最大化對(duì)抗樣本在各卷積層的輸出特征為目標(biāo)對(duì)擾動(dòng)進(jìn)行優(yōu)化，從而造成對(duì)抗樣本和原始圖像在對(duì)應(yīng)卷積層上的特征差異，但輸出特征不可能無限增大，當(dāng)原始圖像的輸出特征足夠大時(shí)，該方法無法達(dá)到欺騙神經(jīng)網(wǎng)絡(luò)分類器的效果.2）各卷積層的輸出特征以相同權(quán)值相加，而神經(jīng)網(wǎng)絡(luò)不同卷積層的輸出特征是有差異的，簡單求和的方式無法體現(xiàn)各卷積層之間的差異.針對(duì)以上兩個(gè)問題，本文在FFF 系列3 種方法的基礎(chǔ)上進(jìn)行改進(jìn)，下面加以介紹.

2.1 改進(jìn)的FFF 原理

改進(jìn)的FFF原理如圖2所示.1）采用特征差異最大化的方式代替原本特征最大化的方式，將原始圖像和對(duì)抗樣本分別輸入到網(wǎng)絡(luò)模型中，計(jì)算原始圖像和對(duì)抗樣本在對(duì)應(yīng)卷積層的輸出特征差異.2）考慮不同卷積層之間的差異，采用各卷積層加權(quán)求和的方式代替各卷積層的簡單求和，對(duì)網(wǎng)絡(luò)輸出結(jié)果影響較小的卷積層給予較低的權(quán)重，而對(duì)網(wǎng)絡(luò)輸出結(jié)果影響較大的卷積層則給予較大的權(quán)重，圖2中的α1、α2、αK?1和αK分別表示卷積層1、卷積層2、卷積層K ?1 和卷積層K的權(quán)重.最后以最大化該特征差異總和為目標(biāo)進(jìn)行優(yōu)化得到通用擾動(dòng).

圖2 改進(jìn)的FFF 原理框圖Figure 2 Diagram of improved FFF

基于原理框圖可將改進(jìn)方法的損失函數(shù)設(shè)計(jì)為

式中，li(x+δ)?li(x)為對(duì)抗樣本和原始圖像在第i層上的特征差異，αi為第i層輸出特征的權(quán)重，并且所有權(quán)重之和為1.經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，卷積層層數(shù)越高對(duì)網(wǎng)絡(luò)模型輸出結(jié)果的影響越大，于是采用權(quán)重逐層遞增的規(guī)則設(shè)置權(quán)重.卷積層權(quán)重與其對(duì)應(yīng)的層數(shù)滿足如下關(guān)系：

2.2 通用擾動(dòng)生成過程

通用擾動(dòng)生成的流程圖如圖3所示，其中Sati表示擾動(dòng)在第i次迭代時(shí)的“飽和度”，即擾動(dòng)圖像中達(dá)到擾動(dòng)最大強(qiáng)度ξ的像素的比率，SatCi表示前后兩次迭代“飽和度”的變化率.首先隨機(jī)初始化擾動(dòng)，根據(jù)式(4)計(jì)算當(dāng)前損失函數(shù)并對(duì)擾動(dòng)進(jìn)行更新，每次迭代完成后計(jì)算當(dāng)前的Satt和SatCt，當(dāng)Satt >0.5 且SatCt <0.000 01 時(shí)，認(rèn)為訓(xùn)練達(dá)到了“飽和狀態(tài)”.在驗(yàn)證集上對(duì)此時(shí)的擾動(dòng)進(jìn)行測試，如果新的擾動(dòng)在驗(yàn)證集上能夠得到更高的欺騙率，則覆蓋之前的結(jié)果并保存此時(shí)的擾動(dòng).然后將擾動(dòng)大小壓縮至原來的一半，繼續(xù)訓(xùn)練，直至到達(dá)下一個(gè)“飽和狀態(tài)”或最大迭代次數(shù)，即可得到通用擾動(dòng).

圖3 通用擾動(dòng)生成流程圖Figure 3 Flow chart of crafting universal perturbations

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)設(shè)置

本文選取圖像分類任務(wù)中比較經(jīng)典的5 個(gè)網(wǎng)絡(luò)模型作為本次實(shí)驗(yàn)的目標(biāo)攻擊模型，這5個(gè)網(wǎng)絡(luò)模型分別是Caffenet、Vggf、Vgg16、Vgg19和Googlenet，并且預(yù)先在ILSVRC 圖像數(shù)據(jù)集中訓(xùn)練完成.在通用對(duì)抗擾動(dòng)訓(xùn)練過程中，將學(xué)習(xí)率（learning rate, LR）設(shè)置為0.1，將最大迭代次數(shù)設(shè)置為40 000；擾動(dòng)強(qiáng)度可設(shè)置為10，即擾動(dòng)圖像上每個(gè)像素點(diǎn)的值在[–10,10]之間.

實(shí)驗(yàn)使用PC 的硬件配置為Intel core i7-8750H 處理器、NVIDIA GTX1060 獨(dú)立顯卡、16GB 內(nèi)存；軟件配置為python3.7 版本、pycharm 開發(fā)環(huán)境、pytorch＆tensorflow 深度學(xué)習(xí)框架.

3.2 改進(jìn)的快速特征欺騙的實(shí)驗(yàn)結(jié)果

采用改進(jìn)的FFF 方法分別針對(duì)5 個(gè)不同的網(wǎng)絡(luò)模型訓(xùn)練生成通用擾動(dòng)，結(jié)果如圖4和5 所示.圖4為改進(jìn)的FFF 方法訓(xùn)練生成的通用擾動(dòng)示意圖，對(duì)應(yīng)的網(wǎng)絡(luò)模型標(biāo)注在圖像正下方.可以觀察到：在不同網(wǎng)絡(luò)模型下訓(xùn)練生成的通用擾動(dòng)有著不同的視覺紋理特征，同一擾動(dòng)的紋理特征則呈現(xiàn)出一定的規(guī)律性.圖5為添加了本文生成的通用擾動(dòng)的對(duì)抗樣本與其對(duì)應(yīng)的原始圖像的主觀視覺差異對(duì)比，其中第1 排代表原始圖像，第2 排代表對(duì)抗樣本，圖5(f)～(j)的圖名為Googlenet 網(wǎng)絡(luò)模型對(duì)圖像的預(yù)測結(jié)果.此時(shí)人的肉眼幾乎無法辨別對(duì)抗樣本和原始圖像之間的視覺差異，而網(wǎng)絡(luò)模型卻對(duì)所有的對(duì)抗樣本給出了錯(cuò)誤的分類結(jié)果，說明了改進(jìn)方法所生成的通用擾動(dòng)在滿足擾動(dòng)的視覺不可感知性的同時(shí)能夠達(dá)到欺騙網(wǎng)絡(luò)模型的效果.

圖4 改進(jìn)的FFF 生成的通用擾動(dòng)Figure 4 Universal perturbations crafted by improved fast feature fool

3.3 相關(guān)方法性能比較

在圖像分類任務(wù)上，通用擾動(dòng)的攻擊效果的評(píng)價(jià)指標(biāo)為欺騙率（fooling rate, FR），F(xiàn)R 表示添加通用擾動(dòng)后會(huì)造成模型分類錯(cuò)誤的圖像占整個(gè)測試集圖像數(shù)的比例，F(xiàn)R 越高，說明通用擾動(dòng)的攻擊效果越好.

本文在已有的FFF 系列方法上進(jìn)行了兩點(diǎn)改進(jìn)，即考慮特征差異最大化和考慮層間差異.將本文方法與只考慮特征差異最大化的改進(jìn)方法、只考慮層間差異的改進(jìn)方法以及快速特征欺騙系列的3 種方法進(jìn)行比較，采用上述6 種方法分別針對(duì)5 個(gè)不同的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，共生成30 幅通用擾動(dòng)圖像，在包含50 000 幅圖像的測試集上對(duì)擾動(dòng)的攻擊效果進(jìn)行測試并對(duì)比統(tǒng)計(jì)FR 值，實(shí)驗(yàn)結(jié)果如表1所示.

在表1中，第1 行為擾動(dòng)訓(xùn)練及攻擊的網(wǎng)絡(luò)模型，第1 列為擾動(dòng)生成方法.對(duì)比前3 行已有方法可知，數(shù)據(jù)信息的引入能在一定程度上提升通用擾動(dòng)的FR 值，數(shù)據(jù)信息引入得越多，F(xiàn)R值越高，通用擾動(dòng)的攻擊效果就越好.另外只考慮層間差異的改進(jìn)方法和只考慮特征差異最大化的改進(jìn)方法的FR 值在5 個(gè)不同的網(wǎng)絡(luò)模型上均高于已有的3 種方法，說明本文提出的兩點(diǎn)改進(jìn)措施都是有效的.最后，本文方法同時(shí)考慮了兩點(diǎn)改進(jìn)，其FR值相較于已有表現(xiàn)最好的基于輸入樣本的特征欺騙方法，平均提升了5.3%.

圖5 原始圖像和對(duì)抗樣本的主觀視覺差異對(duì)比Figure 5 Comparisons of subjective visual difference between original images and adversarial samples

表1 不同策略FFF 的欺騙率Table 1 FR of FFF using different strategies

3.4 跨模型性能比較

為了進(jìn)一步說明本文方法的有效性，將本文方法與已有表現(xiàn)最好的基于輸入樣本的特征欺騙方法的跨模型攻擊效果進(jìn)行比較，結(jié)果如表2～4 所示.

在表2和3 中，列代表擾動(dòng)生成網(wǎng)絡(luò)，行代表目標(biāo)攻擊網(wǎng)絡(luò)，Average 表示攻擊5 個(gè)網(wǎng)絡(luò)模型的平均欺騙率.由表2和3 可知：對(duì)于絕大部分通用擾動(dòng)來說，攻擊自身的成功率高于攻擊其他模型的成功率，說明了白盒攻擊能力總是強(qiáng)于黑盒攻擊能力.表4對(duì)比了兩種方法的平均跨模型欺騙率，因?yàn)镃affenet 網(wǎng)絡(luò)結(jié)構(gòu)簡單，且與其他網(wǎng)絡(luò)模型之間結(jié)構(gòu)差異較大，所以改進(jìn)方法的跨模型攻擊效果并沒有得到明顯的提升.然而，在其他4 個(gè)網(wǎng)絡(luò)模型中，本文提出的改進(jìn)方法在跨模型攻擊效果方面明顯優(yōu)于FFF 系列中基于輸入樣本的特征欺騙方法，進(jìn)一步驗(yàn)證了本文方法的有效性.

表2 基于輸入樣本的特征欺騙方法的跨模型欺騙率Table 2 Cross-model FR of FFF using input samples %

表3 本文方法的跨模型欺騙率Table 3 Cross-model FR of the proposed method %

表4 平均跨模型欺騙率對(duì)比Table 4 Comparisons of average cross-model FR %

4 結(jié) 語

FFF 系列的3 種通用擾動(dòng)生成方法的不足之處在于：1）沒有考慮添加擾動(dòng)后的輸出特征與原始圖像輸出特征之間的差異.2）沒有考慮不同卷積層之間輸出特征的差異.對(duì)此，本文提出了一種基于FFF 的通用擾動(dòng)生成改進(jìn)方法，在特征差異最大化和層間差異兩方面對(duì)原有方法進(jìn)行改進(jìn).實(shí)驗(yàn)表明，本文提出的改進(jìn)方法相較于原有方法，其擾動(dòng)攻擊成功率有了較大提升，并且改進(jìn)方法在圖像分類任務(wù)的不同網(wǎng)絡(luò)模型之間具有良好的遷移攻擊能力.

本文提出的改進(jìn)方法目前僅僅在圖像分類任務(wù)上被證明是一種高效的通用擾動(dòng)生成方法，尚不能證明該方法在其他計(jì)算機(jī)視覺任務(wù)中也具備良好的攻擊效果.未來工作還可以結(jié)合其他計(jì)算機(jī)視覺任務(wù)如語義分割和目標(biāo)檢測等展開研究，以探究該方法的通用性.