蔣玲玲，羅娟娟，朱玉鵬，周東青

（1.北京郵電大學計算機學院，北京 100089； 2.軍事科學院系統(tǒng)工程研究院，北京 100089）

0 引言

在大數(shù)據(jù)時代下，人工智能飛速發(fā)展，在計算機視覺［1］、自然語言處理［2］、語音［3］等領域都取得了很大的成就。2012年Krizhevsky 等人［1］提出AlexNet，并且在ImageNet［4］數(shù)據(jù)集上取得非常突出的表現(xiàn)，此后卷積神經(jīng)網(wǎng)絡（CNN）成為圖像識別領域的標準結(jié)構(gòu)。隨著硬件設備的發(fā)展、對海量數(shù)據(jù)算力的提升，計算機視覺領域涌現(xiàn)了更多更好的深度神經(jīng)網(wǎng)絡（DNN），如VGG［5］、GoogleNet［6］、ResNet［7］等，然而一旦面對蓄意攻擊，深度學習系統(tǒng)往往會崩潰。比如，在路標上張貼攻擊者精心制作的貼紙即可誤導自動駕駛系統(tǒng)將停止路標識別為限速路標［8］，帶上對抗眼鏡框即可欺騙人臉識別系統(tǒng)［9］。這嚴重危脅了社會公共秩序和財產(chǎn)安全。深度學習模型給人類的生活帶來巨大便利的同時，也帶來了不容忽視的安全隱患問題。

為了構(gòu)建安全可靠的深度學習系統(tǒng)，減少其在實際部署應用時潛在問題的出現(xiàn)，保證深度學習模型的安全性、魯棒性、可靠性，許多學者研究深度學習模型的安全與隱私問題，并提出了一系列對抗攻擊方法。本文對現(xiàn)有的對抗攻擊方法進行歸納和總結(jié)，第1 節(jié)介紹對抗攻擊的定義、分類標準和發(fā)展；第2、3 節(jié)分別介紹白盒和黑盒攻擊方法；第4 節(jié)通過實驗驗證對比分析經(jīng)典的攻擊算法；最后總結(jié)并展望。

1 相關概念簡介

1.1 對抗攻擊的定義

對抗攻擊是指在干凈樣本上添加精心設計的人眼不可見、或人眼可見的不影響整體的擾動以欺騙人工智能技術（AI），使得原樣本不能被正確分類的過程。對抗樣本是指以很高置信度使AI 誤分類，然而人類依舊能夠正確分類的樣本［10］。

1.2 對抗攻擊的分類

攻擊者會根據(jù)不同的攻擊場景提出不同的攻擊方法，通過歸納、總結(jié)現(xiàn)有的攻擊方法，對抗攻擊可以按照攻擊環(huán)境、有無目標、迭代次數(shù)、擾動來源等標準分類，分類情況如表1 所示。

表1 對抗攻擊的分類

1.3 對抗攻擊的發(fā)展

自2014年Goodfellow 提出：一種快速產(chǎn)生對抗樣本方法——FGSM 后，對抗樣本生成算法不斷涌現(xiàn)，白盒攻擊和黑盒攻擊的發(fā)展歷程如圖1—2 所示。在黑盒場景下，攻擊者因其對模型了解的信息比白盒場景少，攻擊難度更大，初始階段發(fā)展緩慢，但黑盒攻擊方法更貼近現(xiàn)實、挑戰(zhàn)難度更大，后續(xù)研究較多。

圖1 白盒攻擊的發(fā)展

2 白盒攻擊

白盒攻擊可以分為基于梯度的攻擊、基于優(yōu)化的攻擊、基于決策邊界的攻擊、基于生成式模型的攻擊、基于雅可比顯著圖的攻擊。常見的白盒攻擊方法的對比如表2 所示。下文具體分析經(jīng)典的白盒攻擊方法。

表2 白盒攻擊方法對比

2.1 基于梯度的攻擊

Goodfellow 等人［11］提出FGSM 攻擊方法，該方法使得目標模型的損失函數(shù)增大，即模型預測中真實標簽對應的概率減小，因此沿著梯度生成方向攻擊最合適?；谔荻鹊墓粢訤GSM 為基礎，演變出其他攻擊方法，F(xiàn)GSM 及其變體之間的關系如圖3 所示。圖中，I-FGSM［13］引入步長，提出迭代的攻擊方法；MIFGSM［15］在梯度下降的過程中引入動量；PI-FGSM［18］使用放大因子來計算每步的步長，一方面可以避免在迭代過程中陷入目標模型的局部最優(yōu)點，另一方面也為塊級別擾動的產(chǎn)生提供了基礎；NI-FGSM［27］在IFGSM 基礎上使用Nesterov 加速梯度；VMI-FGSM［28］在I-FGSM 基礎上進一步考慮上一次迭代的梯度方差來調(diào)整當前梯度，以穩(wěn)定梯度更新方向，避免陷入局部最優(yōu)；DI2-FGSM［16］受到數(shù)據(jù)增強的啟發(fā)，對輸入的圖片以固定的概率應用隨機翻轉(zhuǎn)、縮放；TI-FGSM［17］利用卷積神經(jīng)網(wǎng)絡平移不變性的思想。

圖2 黑盒攻擊的發(fā)展

圖3 FGSM 及其變體之間的關系

2.2 基于優(yōu)化的攻擊

尋找對抗樣本是一個逐步優(yōu)化的過程。一方面要確保添加的對抗擾動足夠小，人眼無法察覺；另一方面，要確保模型要能夠誤分類對抗樣本。因此，基于優(yōu)化的攻擊方法目標函數(shù)如下：

式中，DNN 定義為f( · )，輸入干凈圖片x，對應DNN的預測結(jié)果為f(x)，δ為添加的全局擾動，ytar為目標標簽。常見的基于優(yōu)化的攻擊方法有2 種：

1） L-BFGS

Szegedy 等人［12］提出的L-BFGS 攻擊方法是對抗樣本領域的開山之作。在公式（1）中滿足條件的δ值不唯一，用D(x，ytar)來表示一個最小的δ。因為找到擾動D是十分困難的，所以可轉(zhuǎn)換為求解以下問題得到對抗樣本。

式中，L 為損失函數(shù)。通過線性搜索找到滿足c＞0 的參數(shù)c，轉(zhuǎn)化為求解盒約束的L-BFGS 從而找到D(x，ytar)的近似值，后續(xù)基于優(yōu)化的攻擊都是基于公式（2）改進的，但是對抗樣本的質(zhì)量依賴于參數(shù)c的選擇，尋找滿足條件的c需要消耗大量時間。

2） C&W

Carlini 和Wagner 等人［20］提 出基于最 優(yōu)化目 標的攻擊方法C&W 與L-BFGS 相似，優(yōu)化目標為公式（2）。C&W 中對抗擾動定義如下：

則x+δ=(tanh (θ)+1)/2 ∈[0，1]，可以確保對抗樣本始終在圖片有效范圍內(nèi)。對于目標攻擊而言，目標類別為ytar，損失函數(shù)L(xadv)可以定義為：

式中，Z(x)是神經(jīng)網(wǎng)絡未經(jīng)過Softmax 層之前的值。

C&W 與L-BFGS、FGSM 等攻擊方法相比攻擊效果、視覺效果更好，同時能以很高置信度攻擊防御性的蒸餾模型。但是C&W 是基于優(yōu)化的攻擊，大量的時間消耗在常數(shù)c的搜索上，攻擊效率低。

2.3 基于邊界的攻擊

基于決策邊界的攻擊方法是基于分類模型中高維超平面分類的思想，即為了改變某個樣本x的分類，可以將x迭代式地朝著模型決策邊界移動，直到越過模型決策邊界，從而被模型誤分類?；跊Q策邊界的攻擊方法有2 種：

1） DeepFool

基于解析幾何原理，Moosavi-Dezfooli 等人［21］提出了DeepFool 攻擊方法。在多分類問題中，分類邊界和樣本的距離即為改變樣本分類標簽的最小擾動；在二分類問題中，計算對抗擾動相當于計算樣本到分類邊界的距離。DeepFool 在每次迭代中修改擾動將原始樣本推向決策邊界直到跨越邊界。DeepFool 使用的距離衡量標準是L2范數(shù)，在相同攻擊成功率下，與FGSM 相比，圖像需要改變的擾動量更小。

2） UAP

Moosavi-Dezfooli 等人［22］在DeepFool 基礎上進一步改進提出通用對抗擾動計算方法UAP，與Deep-Fool 方法相比，該方法生成的擾動遷移能力強，不僅是針對一張圖片有效，而是針對某個數(shù)據(jù)集有效。通用對抗擾動的存在揭示了DNN 在高維決策邊界之間的幾何相似性。

2.4 基于生成式模型的攻擊

Xiao 等人［23］提出基于生成對抗網(wǎng)絡（GAN）的攻擊框架AdvGAN，如圖4 所示，該框架包括生成器G、鑒別器D和目標模型f。G的輸入是原始樣本x，輸出為對抗擾動G(x)。將對抗樣本x+G(x)送到D中判斷是否真實。作者使用對抗損失使對抗樣本更接近原始樣本和訓練生成式模型，此外還引入使對抗樣本被誤識別為目標類別的攻擊損失和限制擾動大小合頁損失訓練GAN。

2.5 小結(jié)

白盒攻擊方法的優(yōu)缺點總結(jié)如表2 所示。

表2 白盒攻擊方法優(yōu)缺點總結(jié)

3 黑盒攻擊

黑盒攻擊可以分為基于遷移的攻擊和基于查詢的攻擊，詳細分類如圖5 所示。基于遷移的攻擊訓練替代模型代替目標黑盒，在替代模型上使用白盒攻擊方法生成對抗樣本，利用對抗樣本的遷移性攻擊目標模型?；谶w移的攻擊無需目標模型的反饋，但需要數(shù)據(jù)集訓練替代模型?；诓樵兊墓敉ㄟ^輸入樣本到目標模型得到反饋信息（如硬標簽或者分數(shù)），然后利用目標模型的反饋信息進行攻擊。

圖5 黑盒攻擊分類

3.1 基于遷移的攻擊

在黑盒環(huán)境下，模型內(nèi)部參數(shù)不可知，因此無法獲取目標模型的梯度，無法利用基于梯度的方法來生成對抗樣本。Goodfellow 等人［11］研究表明，對抗樣本具有遷移性，即白盒上生成的對抗樣本在未知結(jié)構(gòu)的黑盒模型上也可以攻擊成功。

基于遷移的攻擊具體流程可分為3 個步驟：攻擊者獲取訓練數(shù)據(jù)集；攻擊者設計替代模型的結(jié)構(gòu)，使用訓練集訓練替代模型； 攻擊者在替代模型上使用白盒攻擊方法攻擊黑盒模型。

基于遷移的攻擊方法可分為2 類：

一是面向所有黑盒。通過提高對抗樣本的遷移性，使得對抗樣本在任意黑盒上的攻擊成功率提高。

二是面向特定黑盒。訓練替代模型盡可能復制目標黑盒的功能或者決策邊界，在替代模型上使用白盒攻擊方法生成對抗樣本。

3.1.1 面向所有黑盒

面向所有黑盒提高對抗樣本遷移性的方法有基于梯度、基于注意力的黑盒攻擊方法等。

1） 基于梯度的黑盒攻擊

許多研究者不斷改進基于梯度的攻擊方法，主要通過優(yōu)化梯度計算和輸入變換提高對抗樣本的遷移性，在2.1 小節(jié)中已經(jīng)做具體介紹。

2） 基于注意力的黑盒攻擊

Selvaraju 等 人［29］提出梯度加權(quán)類激活映射圖（Grad-CAM）將模型感興趣的區(qū)域以熱力圖的方式可視化。圖6 為用于貓預測的三種代表性的模型的熱力圖。紅色區(qū)域在模型做出決策的時候貢獻較大?；谧⒁饬Φ墓舴椒ǖ幕舅枷胧寝D(zhuǎn)移模型的關注區(qū)域，當模型的注意力不再關注重要區(qū)域的時候，模型誤判。

圖6 用于貓預測的3 種代表性模型的熱力圖

除上述方法外，許多學者研究了其他方法提高對抗樣本的遷移性，如表3 所示。

表3 提高遷移性的其他方法

3.1.2 面向特定黑盒

面向特定黑盒提高對抗樣本遷移性主要采取模型竊?。∕S）的方法。MS 允許攻擊者擁有黑盒訪問目標模型的權(quán)力，通過獲取不同輸入在目標模型中的預測結(jié)果訓練替代（克?。┠Ｐ?，從而復制目標模型功能［33］。

模型竊取的過程是首先通過查詢目標模型構(gòu)造數(shù)據(jù)集，若目標模型的訓練數(shù)據(jù)集未知，則訓練克隆模型的難度更大。然后根據(jù)不同的任務選擇克隆模型的結(jié)構(gòu)，使用構(gòu)造的訓練集訓練克隆模型。最后在克隆模型的基礎上生成對抗樣本，過程如圖7 所示。

圖7 模型竊取生成對抗樣本

Papernot 等人［34］將攻擊過程分為2 個階段，第一階段僅使用訓練數(shù)據(jù)集的部分數(shù)據(jù)或者與目標模型的訓練數(shù)據(jù)集不一定具有相同分布的真實數(shù)據(jù)，使用Jacobian-based Dataset Augmentation 方法生成數(shù)據(jù)集訓練替代模型，以擬合目標模型的決策邊界。第二階段在替代模型上生成對抗樣本。

Zhou［35］等人首次提出無需任何真實數(shù)據(jù)訓練替代模型的攻擊方法DAST，對傳統(tǒng)的GAN 進行了改進，為生成模型設計了多分支架構(gòu)和標簽控制損失以解決合成樣本不均勻分布的問題，利用合成的樣本來訓練替代模型。該方法中替代模型輸出與目標模型相同的預測結(jié)果而不是擬合目標模型的決策邊界，而且沒有恢復訓練數(shù)據(jù)集的數(shù)據(jù)分布。Wang 等人［36］提出多樣數(shù)據(jù)生成模塊和對抗替代訓練策略，保證合成的數(shù)據(jù)訓練的替代模型的邊界和目標模型的邊界更相似，提高了攻擊的成功率。Kariyappa 等人［37］提出MAZE 攻擊方法，將無數(shù)據(jù)的知識蒸餾方法和零階優(yōu)化（ZOO）相結(jié)合，訓練合成數(shù)據(jù)的生成器，使得目標模型的邊界和克隆模型的邊界對齊，獲得高精度的克隆模型。

3.2 基于查詢的攻擊

查詢目標黑盒可以得到反饋信息，攻擊者可以利用反饋信息攻擊.基于查詢的黑盒攻擊可以描述為：

式中，Q為單個圖像的最大查詢次數(shù)，ytrue是干凈圖像x的真實標簽，Mtar為要攻擊的目標模型，Mtar(xadv)是輸入xadv到目標模型中輸出的概率，L 為損失函數(shù)。

根據(jù)從目標模型得到的反饋信息不同，基于查詢的攻擊可以分為基于分數(shù)的攻擊和基于邊界的攻擊?；诜謹?shù)的攻擊從目標模型得到的反饋信息是分數(shù)或者概率，基于邊界的攻擊則是硬標簽。

3.2.1 基于分數(shù)的攻擊

1） 基于梯度估計的黑盒攻擊

基于梯度估計主要通過查詢目標模型得到的反饋信息估計目標模型的梯度，Chen 等人［38］提出零階梯度估計攻擊方法。在黑盒環(huán)境下，網(wǎng)絡的參數(shù)、結(jié)構(gòu)未知，因此無法通過反向傳播知道梯度更新對抗樣本，該方法使用對稱商差來估計一階梯度和二階梯度。獲得梯度后，使用隨機坐標下降方法即ZOO-Adam 和ZOO-Netwon 更新對抗樣本。該方法需要查詢目標模型2p次，其中p為一張圖片的總像素數(shù)目，對于高分辨率的圖片必然導致查詢次數(shù)過多，因此提出使用雙線性插值的方法減少攻擊空間的維度。此外還采取了坐標采樣，即根據(jù)坐標的重要性選取重要坐標更新梯度。該方法的缺點是所需查詢次數(shù)較多，容易引起目標模型的注意。在梯度估計方法的基礎上，研究者提出如表4 所示的改進方法。

表4 基于梯度估計的方法的改進

2） 基于模型竊取的黑盒攻擊

Du 等人［42］將元學習和對抗攻擊結(jié)合起來提出Meta Attack，Aθ是模擬黑盒的梯度輕量級的自編碼器，利用元學習的方法訓練攻擊器Aθ。該方法僅在Aθ的微調(diào)時使用到需要查詢密集的梯度估計方法，因此保證了梯度生成質(zhì)量的同時大幅減少了查詢次數(shù)。但如果圖片分辨率高，Aθ無法準確預測梯度矩陣。因此，Meta Attack 方法從梯度矩陣中選擇最大梯度值的125 個元素進行回歸，但攻擊高分辨率圖片時仍效果不佳。

Ma 等人［43］提出Simulator Attack，利用元 學習的方法訓練模擬器M，與Aθ不同的是，M 模擬目標黑盒的輸出。M 只需要查詢少量的數(shù)據(jù)微調(diào)即可精確地模擬任何未知黑盒的輸出，生成對抗樣本時將大量的查詢轉(zhuǎn)移到M 上，有效減少查詢次數(shù)。

3） 基于進化算法的黑盒攻擊

Su 等人［44］提出One-Pixel 攻擊方法，該方法只改變一個像素點的值，不限制其改變大小，對擾動像素的位置信息和擾動強度進行優(yōu)化生成對抗樣本。該方法針對分辨率較低的數(shù)據(jù)集如MNIST、CIFAR10效果較好，但是圖片分辨率較高時，一個像素點的改變很難影響分類結(jié)果。此外，基于進化的算法依賴于種群規(guī)模和迭代次數(shù)，為了獲得全局最優(yōu)解，種群規(guī)模和迭代次數(shù)設置很大。因此，One-Pixel 攻擊需要消耗的時間長，攻擊效率低。

Jia 等人［45］提出了結(jié)合了圖像水印技術的對抗水印生成算法Adv-watermark，提出基于種群的全局搜索策略BHE（Basin Hopping Evolution）來搜索水印的位置和透明度生成對抗樣本。

3.2.2 基于邊界的攻擊

基于邊界的攻擊在一個更加嚴格的黑盒環(huán)境下，將樣本輸入到目標模型中，僅能獲取到模型預測類別即硬標簽，而不能獲取概率或者置信度，獲取的信息更少，攻擊難度更高。

Brendel 等人［46］提出僅能獲取目標模型輸出的硬標簽的Boundary Attack 攻擊方法。對于非定向攻擊，在圖片有效范圍［0，255］內(nèi)通過最大熵分布采樣得到初始對抗樣本。對于定向攻擊，選擇目標類別的圖片作為初始對抗樣本。每次迭代產(chǎn)生一個擾動，產(chǎn)生的擾動滿足：1） 對抗樣本在圖片有效范圍內(nèi)；2） 擾動和對抗樣本與原始樣本之間的距離成正比，且盡量減少對抗樣本和原始樣本之間的差異，在不斷迭代靠近原始樣本的基礎上生成對抗樣本。Boundary Attack 是基于邊界的攻擊方法的開山之作，可以攻破防御性蒸餾，缺點是需要大量的查詢，且無法保證一定能收斂。

3.2.3 小結(jié)

面向特定黑盒的攻擊主要是采用模型竊取的攻擊方法，其缺點是當目標模型的結(jié)構(gòu)發(fā)生改變后，在替代模型基礎上生成的對抗樣本攻擊成功率會明顯下降。如果目標模型結(jié)構(gòu)發(fā)生很大變化，則會導致基于替代模型產(chǎn)生的對抗樣本無法攻擊成功。面向特定黑盒需要根據(jù)攻擊場景選擇替代模型結(jié)構(gòu)，如攻擊場景為分類場景，選擇替代模型一般為VGG 系列或者ResNet 系列等。面向所有黑盒的攻擊利用對抗樣本的遷移性，針對任意未知結(jié)構(gòu)的黑盒遷移性都略有提高。與基于分數(shù)和遷移的攻擊相比，基于邊界的攻擊更貼近真實場景，不需要依賴替代模型，但也帶來了挑戰(zhàn)：首先分類標簽對基于梯度的小擾動不是很敏感；其次輸入樣本到目標模型中，只能獲取到硬標簽，所以攻擊目標函數(shù)是不連續(xù)的，因此難以優(yōu)化。基于遷移的攻擊方法雖然無需查詢目標模型但是有2 個缺點：1） 一般都需要訓練數(shù)據(jù)集訓練替代模型；2） 攻擊成功率特別是定向攻擊的成功率不高?；诓樵兊墓舴椒ㄈ秉c在于查詢次數(shù)多，容易被目標黑盒防御和檢測，且攻擊效率低。因此，基于查詢的攻擊方法的改進目標在于如何減少查詢次數(shù)。

4 實驗對比和分析

4.1 常見的攻擊方法對比

實驗利用MNIST 數(shù)據(jù)集對分類器LeNet-5 卷積神經(jīng)網(wǎng)絡進行訓練和測試，epoch 設為10，經(jīng)歷過10 次epoch 訓練和測試后，分類器準確率可達98.14%?；谔荻鹊姆椒óa(chǎn)生的對抗樣本識別準確率如表5 所示，其他攻擊方法對抗樣本識別準確率如表6 所示。

表5 FGSM 系列對抗樣本識別準確率%

表6 其他攻擊方法對抗樣本識別準確率

由表5—6 分析可知：

1） I-FGSM 和FGSM 相比，對抗樣本識別準確率降低，說明迭代攻擊的效果比單步攻擊效果好；

2）?越大，攻擊強度越大，肉眼可見的噪聲越多，對抗樣本識別準確率越低，攻擊成功率越高；

3） C&W 攻擊識別準確率最低，是最強的白盒攻擊方法之一，但是比FGSM 系列的算法攻擊時間長；

4） 黑盒攻擊方法One-Pixel 僅僅修改一個像素，攻擊成功率低，生成對抗樣本時間長。

4.2 黑盒遷移性對比

實驗利用CIFAR10 數(shù)據(jù)集對白盒模型VGG19 和黑盒模型ResNet18 進行訓練和測試，經(jīng)歷過250 次epoch 訓練和測試后，VGG19 的分類準確率可達93.53%，ResNet18 的分類準確率可達95.01%。

通過實驗，常見的幾種攻擊方法黑盒遷移性對比如表7 所示。由表7 分析可知：

表7 常見的幾種攻擊方法黑盒遷移性對比

1） 黑盒模型識別干凈樣本的準確率為95.010%，在黑盒模型上對抗樣本的識別率均小于95%，說明對抗樣本存在遷移性。

2） 基于梯度的攻擊方法生成的對抗樣本在黑盒模型上的識別準確率明顯低于非梯度的方法，與其他白盒攻擊方法相比，基于梯度的攻擊方法生成的對抗樣本的遷移性高。

3） 對抗樣本識別準確率：MI-DI-FGSM＜MIFGSM＜BIM，說明利用輸入多樣性、動量等方法可以與其他方法相結(jié)合，提高對抗樣本的遷移性。

5 研究展望

深度學習領域?qū)构艏夹g的發(fā)展歷程主要分為：1） 攻擊方法由剛開始簡單的白盒攻擊到黑盒攻擊、攻擊模型由分類模型到目標檢測模型和圖像檢索模型等；2） 由數(shù)字世界的攻擊轉(zhuǎn)變?yōu)槲锢硎澜绲墓簦?） 攻擊的領域由圖像領域逐漸應用到自然語言處理、語音識別、隱私保護等各個領域。

總的來說，目前深度學習對抗攻擊領域仍處于研究探索階段，提出以下展望：

1） 提高對抗樣本泛化性能

對抗樣本的泛化性能，指對抗擾動的通用性，即對抗擾動對整個數(shù)據(jù)集或者其他未知結(jié)構(gòu)模型都有效。在現(xiàn)實世界中，大部分是黑盒環(huán)境，面對模型結(jié)構(gòu)未知、參數(shù)未知的黑盒模型，提高對抗擾動泛化性意味著對抗樣本對多種結(jié)構(gòu)不同的黑盒模型都依然保持攻擊成功率。在攻擊時，直接添加通用擾動，無需大量訪問被攻擊網(wǎng)絡，不容易暴露攻擊，攻擊過程變得簡單高效。

2） 拓展對抗攻擊技術應用領域

目前對抗攻擊技術已經(jīng)拓展到文本、語音等領域，未來可探索發(fā)揮對抗攻擊積極的作用。諸如，對抗攻擊可應用在隱私保護領域，將隱私數(shù)據(jù)添加對抗擾動相當于進行加密操作，即使上傳到網(wǎng)絡后蓄意收集隱私者也無法利用數(shù)據(jù)訓練；將對抗攻擊應用到軍事作戰(zhàn)領域中，可以欺騙敵方的無人車或者無人機目標檢測系統(tǒng)，從而達到隱藏裝備的目的。

3） 關注模型魯棒性

對抗樣本的存在使研究者意識到模型的高識別準確率并不等于魯棒性。當模型僅追求更高的分類準確度時，往往會犧牲在對抗攻擊下的魯棒性。當分類器具有非常低的分類錯誤率的時候，在對抗攻擊下它將變得非常脆弱。因此，模型的設計要重視模型的對抗魯棒性。未來模型的結(jié)構(gòu)設計可以多關注于圖片的整體形狀，減少對紋理的依賴。

6 結(jié)束語

本文首先介紹對抗攻擊的定義、分類標準和發(fā)展歷程，對比分析白盒攻擊方法和黑盒攻擊方法，然后使用MNIST、CIFAR-10 數(shù)據(jù)集對經(jīng)典的攻擊方法進行實驗驗證，最后總結(jié)對抗攻擊技術，分析其發(fā)展前景。未來不僅要圍繞對抗攻擊的技術深度展開研究，還要拓寬對抗攻擊技術的應用領域，提高深度學習系統(tǒng)的安全性和魯棒性?！?/p>