李杉

摘? ?要：如今，作為人工智能應用方面關鍵之一的深度學習被廣泛應用于圖像分類和圖像識別的問題中。近期，研究人員提出了“對抗樣本”的概念。對抗樣本是通過深度學習方法產(chǎn)生的普遍存在于機器學習模型中的問題之一。文章介紹了對抗樣本的基本概念及其相關概念。對近年來有關于對抗樣本的研究和論文進行了簡單總結(jié)，按照各自的算法原理將經(jīng)典的生成算法分成基于梯度優(yōu)化損失函數(shù)，基于優(yōu)化目標函數(shù)和GAN 3大類進行簡單介紹，并對一些方法的對抗性進行了分析與對比。

關鍵詞：深度學習;對抗樣本生成;機器學習

近年來，人工智能發(fā)展勢頭迅猛。深度學習的概念也被廣泛應用到當今研究的諸多方面。對抗樣本是由Szegedy等[1]提出的、常見于深度神經(jīng)網(wǎng)絡中、能夠使得深度學習出現(xiàn)錯誤的一類合成樣本。目前，對對抗樣本的研究逐漸引發(fā)了人們對深度學習安全問題的思考，深度學習模型將某些人類無法識別的樣本以高置信度進行分類從而暴露了其極大的脆弱性。對抗樣本的生成技術是研究對抗樣本的關鍵之一，通過對生成對抗樣本的各種技術的總結(jié)與歸納，不但可以發(fā)現(xiàn)基本的生成規(guī)律，還可以發(fā)現(xiàn)一些創(chuàng)新點與應用價值。

1? ? 簡介

1.1? 對抗樣本的基本概念

對抗樣本（Adversarial Examples，AE）是指在人類能夠辨識出來目標物體的前提下，向原有樣本中添加微小擾動，導致模型以高置信度給出一個錯誤的輸出。人類觀察者不會察覺原始樣本和對抗樣本之間的差異，但是網(wǎng)絡會作出非常不同的預測[2]。

1.2? 相關概念

黑盒測試[3]（Black Box Test，BBT）：未知模型（包括網(wǎng)絡結(jié)構及權值參數(shù)等信息）的情況下，從輸入和輸出數(shù)據(jù)的對應關系進行測試的方法。

白盒測試[3]（White Box Test，WBT）：已知模型（包括網(wǎng)絡結(jié)構及權值參數(shù)等信息）的情況下進行的測試方法，與黑盒測試相對。

目標定向攻擊（Targeted Attack，TA）：通過對輸入樣本進行一定的擾動，使得模型誤分類為某個特定類別。

目標非定向攻擊（Non-targeted Attack，NTA）：對輸入樣本進行一定的擾動，使得模型產(chǎn)生誤分類。

2? ? 對抗樣本生成方法

近年來，學術界針對不同的優(yōu)化算法提出了很多的對抗樣本生成算法。文章僅挑選幾個經(jīng)典的算法簡單介紹。

2.1? 基于梯度優(yōu)化損失函數(shù)

2.1.1? FGSM

FGSM是一種對抗樣本的快速生成的方法，僅對輸入進行一次擾動，它將輸入x的每個像素修改一個小幅度，以最大化預測損失。因此，它不能保證成功改變輸入的類別。通過增加擾動幅度可以提高成功率，但這可能會導致人眼可見的較大擾動。FGSM在對抗樣本領域被廣泛使用，由于它具有極高的效率和較高的攻擊成功率，所以通常作為新的防御策略的基準攻擊方法或基準評估方法[4]。

2.1.2? I-FGSM

I-FGSM即Itersative FGSM，是迭代版FGSM算法，其基本的思想是把優(yōu)化區(qū)間減小，也就是假設優(yōu)化的目標函數(shù)在很小的區(qū)間內(nèi)是線性的，就可以在這個很小的區(qū)間內(nèi)采用FGSM的優(yōu)化算法。I-FGSM通過迭代的方式使得生成的對抗樣本的攻擊性能更好，也極大地提高了對抗樣本的魯棒性[5]。

2.1.3? MI-FGSM

MI-FGSM是由Yinpeng Dong等[6]在借鑒I-FGSM和ILCM兩種算法以后提出的基于定向目標的黑盒攻擊方法。該方法把梯度迭代部分用動量迭代來替代，并在Iterative的基礎上引入了Momentum，在保證樣本攻擊能力的同時提升了對抗樣本的遷移性。

2.2? 基于優(yōu)化目標函數(shù)

2.2.1? C&W attacks

C&W attacks是由Carlini等[7]在總結(jié)了L-BFGS、FGSM和JSMA幾個對抗樣本生成的方法后提出的算法。該方法是前3種方法的拓展，并且比以往的攻擊方式更加有效。這個算法被公認為是目前最強的攻擊算法。

2.2.2? DeepFool

DeepFool是由Seyed-Mohsen等[8]提出的目標非針對性的方法。該方法對深度網(wǎng)絡有很強的對抗性和魯棒性，并且在保持與FGSM差不多的對抗性的同時產(chǎn)生更小的擾動。

2.2.3? Curls&Whey

Curls&Whey是由Yucheng Shi等提出的針對黑盒攻擊設計的方法。該方法采用卷曲迭代和過濾擾動結(jié)合的解決算法，以期解決在沿梯度上升方向單調(diào)地添加擾動所生成的迭代軌跡缺乏多樣性和適應性的缺陷及容易添加過多擾動的問題。

2.2.4? Box-constrained L-BFGS

Box-constrained L-BFGS是由Szegedy等提出的基于L-BFGS的對抗樣本生成算法，該算法成功對MNIS和ImageNet（Alexnet分類模型）的數(shù)據(jù)進行攻擊[10]。

2.3? 基于GAN

PS-GAN[11]是針對攻擊力的增強和逼真程度的提高而提出的一種感知敏感生成對抗網(wǎng)絡。PS-GAN將patch的生成轉(zhuǎn)化為一個patch到另一個patch的翻譯以提高視覺逼真度，進而輸出與被攻擊圖像具有高度感知相關性的類似對抗patch。在對抗樣本的生成中引入attention機制以增強對抗樣本的攻擊能力，預測出合適的攻擊區(qū)域作為patch，進而產(chǎn)生更真實、更有攻擊性的對抗樣本。

3? ? 結(jié)語

近年來，機器學習技術被廣泛應用，對抗樣本作為機器學習模型普遍存在的問題之一，受到了更多的重視。文章簡單介紹了基于梯度優(yōu)化損失函數(shù)、優(yōu)化目標函數(shù)、GAN 3種分類的8種對抗樣本生成方法，對一些方法的對抗性進行了分析與對比，可為對抗樣本生成技術的研究與應用提供參考。

[參考文獻]

[1]SZEGEDY C，ZAREMBA W，SUTSKEVER I，et al.Intriguing properties of neural networks[J].Computer Science，2013（4）：1312.

[2]MIYATO T，MAEDA S，KOYAMA M，et al.Distributional smoothing by virtual adversarial examples[C].Kyoto：International Conference on Learning Representations，2015.

[3]ZHAO C.Analysis of black box testing and white box testing[J].Silicon Valley，2010（11）：39.

[4]潘文雯，王新宇，宋明黎，等.對抗樣本生成技術綜述[J].軟件學報，2016（2）：1-17.

[5]劉雨佳.針對神經(jīng)網(wǎng)絡的圖像對抗樣本生成及應用研究[D].北京：中國科學技術大學，2019.

[6]DONG Y，LIAO F，PANG T，et al.Boosting adversarial attacks with momentum[J].Springer，2017（3）：1085.

[7]CARLINI N，WAGNER D.Towards evaluating the robustness of neural networks[J].2017 IEEE Symposium on Security and Privacy，2016（2）：39-57.

[8]MOOSAVIDEZFOOLI S M，F(xiàn)AWZI A，F(xiàn)ROSSARD P.DeepFool：a simple and accurate method to fool deep neural networks[C].Las Vegas：Processing of the IEEE Conference On Computer Vision and Pattern recognition（CVPR） IEEE，2016.

[9]SHI Y，WANG S，HAN Y.Curls&Whey：boosting black-box adversarial attacks[EB/OL].（2019-04-02）[2020-01-01].https：//arxiv.org/abs/1904.01160v1.

[10]陳岳峰，毛瀟鋒，李裕宏，等.AI安全—對抗樣本技術綜述與應用[J].信息安全研究，2019（11）：1000-1007.

[11]AISHAN L，XIANGLONG L，JIAXIN F，et al.Perceptual-sensitive GAN for generating adversarial patches[EB/OL].（2019-07-10）[2020-01-01].https：//www.researchgate.net/publication/335800857_Perceptual-Sensitive_GAN_for_Generating_Adversarial_Patches.