孟東宇

（1.上海微系統(tǒng)與信息技術(shù)研究所上海200050；2.上?？萍即髮W(xué)信息學(xué)院，上海201210；3.中國科學(xué)院大學(xué)北京100029）

近年來，深度學(xué)習(xí)及相關(guān)技術(shù)高速發(fā)展，在眾多領(lǐng)域取得了重大的突破[1]。在機器視覺[2-3]，語音識別等領(lǐng)域[4]，基于深度學(xué)習(xí)的方法將原有方法的功能極限向前大幅推進。而隨著硬件性能優(yōu)化和軟件模型設(shè)計的進步，深度學(xué)習(xí)在很多實際生產(chǎn)生活場景中也得到了應(yīng)用，自動駕駛汽車[5]，人臉識別驗證[6]等等技術(shù)稱為了新的熱點。

這些場景中，計算機系統(tǒng)的功能正確性對相關(guān)人員的生命財產(chǎn)安全起決定性作用。因此，如何有效地對深度學(xué)習(xí)系統(tǒng)的安全性做檢測和驗證成為了重要的研究課題。此前，研究人員已經(jīng)發(fā)現(xiàn)，即使對于在正常測試樣本上表現(xiàn)十分出色的神經(jīng)網(wǎng)絡(luò)模型，只需在正常測試樣本上疊加一個非常小的惡意噪聲，就可以導(dǎo)致神經(jīng)網(wǎng)絡(luò)出現(xiàn)錯誤。這樣由正常樣本疊加微小惡意噪聲而生成的數(shù)據(jù)樣本被稱為對抗樣本。對抗樣本的存在對基于深度學(xué)習(xí)技術(shù)的人工智能系統(tǒng)造成了巨大的安全威脅。

由于深度學(xué)習(xí)技術(shù)的相關(guān)理論研究依然處于起步階段，人們無法形式化地解釋深度神經(jīng)網(wǎng)絡(luò)的工作機制，也就無法通過形式驗證的方法確保大型深度神經(jīng)網(wǎng)絡(luò)的正確性。因此，借鑒其他軟件安全研究方法，找到某一特定神經(jīng)網(wǎng)絡(luò)模型的對抗樣本就有了巨大的實際安全評估研究價值。對神經(jīng)網(wǎng)絡(luò)進行攻擊產(chǎn)生對抗樣本是得到一手安全威脅的重要指標(biāo)，也是評估、研究、乃至解決這一安全問題的第一步。

此前關(guān)于針對特定網(wǎng)絡(luò)產(chǎn)生對抗樣本的方法多集中在所謂白盒威脅模型下[7-9]。在此模型中，攻擊者掌握了目標(biāo)網(wǎng)絡(luò)的模型結(jié)構(gòu)及參數(shù)。然而，此模型在實際威脅建模中并不常見，更為廣泛的應(yīng)用場景實際是黑盒攻擊模型，即攻擊者能對受攻擊網(wǎng)絡(luò)做出請求，給出輸入樣本，得到目標(biāo)網(wǎng)絡(luò)的輸出，但攻擊者對網(wǎng)絡(luò)本身的結(jié)構(gòu)設(shè)計和參數(shù)內(nèi)容并不知情。許多實際應(yīng)用如視頻網(wǎng)站查重檢測、在線病情診斷等在服務(wù)器不被入侵的情況下就面臨此類威脅。因而，對黑盒模型下對抗樣本產(chǎn)生方法的研究就尤為重要。

文中針對于此，以圖像分類網(wǎng)絡(luò)為例提出了一種在黑盒模型下針對深度神經(jīng)網(wǎng)絡(luò)模型的攻擊方法。該方法借助黑盒優(yōu)化方法，不需要借助網(wǎng)絡(luò)的具體結(jié)構(gòu)和參數(shù)內(nèi)容，僅需向網(wǎng)絡(luò)發(fā)起查詢即可產(chǎn)生攻擊。本文所提出的對抗樣本產(chǎn)生方法對深度神經(jīng)網(wǎng)絡(luò)的安全評估有推動作用。

1 深度學(xué)習(xí)和對抗樣本

1.1 深度學(xué)習(xí)簡介

深度學(xué)習(xí)是一類深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法。通過大量樣本的端到端訓(xùn)練，神經(jīng)網(wǎng)絡(luò)模型能夠自動抽取訓(xùn)練所用數(shù)據(jù)集的有效特征，達到非常好的效果。

一般而言，認(rèn)為深度神經(jīng)網(wǎng)絡(luò)是對一個高維空間中復(fù)雜函數(shù)的逼近。訓(xùn)練過程中，通過計算當(dāng)前函數(shù)給出的估計值和標(biāo)定的真實值之間的誤差，反向求導(dǎo)進行隨機梯度下降優(yōu)化，從而更新網(wǎng)絡(luò)權(quán)重達到函數(shù)逼近的效果。

深度學(xué)習(xí)類方法自2012年以極大優(yōu)勢贏得ILSVRC比賽重新回到公眾視野中之后[10]，迅速在多個領(lǐng)域取得了重大的突破，包括圖像處理，自言語言處理等領(lǐng)域。深度學(xué)習(xí)方法也在自動駕駛汽車，監(jiān)控攝像等應(yīng)用場景下進入了我們生活。

1.2 對抗樣本及其分類

對抗樣本（adversarial examples）是一種針對深度神經(jīng)網(wǎng)絡(luò)的特殊攻擊形式。其一般形式為在生產(chǎn)環(huán)境下，控制深度神經(jīng)網(wǎng)絡(luò)的輸入，使其具有幅度極小人類難以注意的惡意噪聲，從而達到使神經(jīng)網(wǎng)絡(luò)產(chǎn)生錯誤處理的效果。具體而言，研究人員在原本神經(jīng)網(wǎng)絡(luò)可以正常處理的樣本的基礎(chǔ)上疊加一個極小的經(jīng)過計算得到的惡意噪聲，就能夠使得神經(jīng)網(wǎng)絡(luò)對輸入的處理發(fā)生變化；于此同時，人類很難區(qū)別兩次輸入的區(qū)別。

對抗樣本一般根據(jù)生成所依據(jù)的模型和具體算法來區(qū)分。常見的威脅模型分為3類：白盒模型，黑盒模型，和轉(zhuǎn)移模型。白盒模型中，攻擊者可以利用網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的所有知識產(chǎn)生攻擊；黑盒模型中，攻擊者可以利用對模型的詢問得到輸入輸出對，但無法獲知模型內(nèi)部信息；轉(zhuǎn)移模型中，攻擊者不能向模型發(fā)起查詢請求，對模型內(nèi)部信息也不知情，但了解模型所要解決的具體問題是什么[11]。

當(dāng)前較為主流的白盒攻擊方法包括Carlini攻擊[8]，F(xiàn)GSM攻擊[7]，以及PGD攻擊[12]等。其主要的攻擊思路為依據(jù)神經(jīng)網(wǎng)絡(luò)產(chǎn)生輸入對輸出結(jié)果影響的梯度，再根據(jù)梯度更新輸入圖像，逐步迭代從而產(chǎn)生最終的攻擊樣本。

在黑盒模型中，無法直接利用網(wǎng)絡(luò)模型內(nèi)部結(jié)構(gòu)與參數(shù)進行反向傳播計算，因而也無法直接得到生成對抗樣本所需的梯度。

2 黑盒EM優(yōu)化算法

為了對黑盒威脅模型下的輸入針對輸出所具有的梯度進行計算，文中的方法采用了黑盒優(yōu)化算法，在對模型內(nèi)部結(jié)構(gòu)和參數(shù)內(nèi)容不知情的情況下對所需梯度進行估計。文中采用的黑盒優(yōu)化模型為最大期望算法（expectation-maximization）。

具體而言，想要在某項參數(shù)的可采樣分布中優(yōu)化目標(biāo)函數(shù)，可以首先給出對參數(shù)的初始估計，然后迭代如下過程：在當(dāng)前估計狀態(tài)周圍采樣，選取采得樣本中目標(biāo)函數(shù)表達較優(yōu)的樣本，對參數(shù)估計進行再次擬合。

這一方法可以在不獲取網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的條件下，快速得到近似的優(yōu)化結(jié)果。非常適合深度神經(jīng)網(wǎng)絡(luò)中黑盒模型的對抗樣本產(chǎn)生問題。

3 設(shè)計概覽

黑盒樣本生成方法將黑盒EM優(yōu)化方法應(yīng)用到深度神經(jīng)網(wǎng)絡(luò)模型中。本節(jié)對具體算法設(shè)計進行介紹。

3.1 圖像的概率模型表示

文中考慮一般的單通道灰度圖像和三通道彩色圖像。一般而言，圖像具有較高的維度，即使是如手寫字體識別數(shù)據(jù)集這樣相對簡單的數(shù)據(jù)集，其單張圖像的維度也高達784維。

文中使用簡單的多元高斯分布模型來對圖像進行建模。以單通道圖像為例，對于每一個像素點，將其像素值表示為一個高斯分布，即用高斯分布的均值表示像素值，用方差表示像素可能的變化范圍。這樣一來，可以用均值、方差兩個參數(shù)對某一像素點進行描述。

對于整張圖像而言，基本模型假設(shè)任意兩個像素之間沒有關(guān)系，即任意兩個像素之間的隨機變量相互獨立。這一假設(shè)忽略了圖像內(nèi)容上的空間相關(guān)性，是一個簡化的基本模型。通過后面的試驗表面，即使在這樣簡單的模型下，對抗樣本生成方法也能夠獲得很好的優(yōu)化效果。

由于圖像內(nèi)容有其豐富而復(fù)雜的內(nèi)在結(jié)構(gòu)，通過對這些空間結(jié)構(gòu)的表示，能夠降低維度，得到更為精煉的圖像表示。將在后文介紹這一更為優(yōu)化的表示方法。

3.2 優(yōu)化目標(biāo)

優(yōu)化目標(biāo)由兩部分組成，第一部分對應(yīng)于當(dāng)前樣本能否成功欺騙目標(biāo)網(wǎng)絡(luò)，這是對生成樣本的功能性保證；第二部分對應(yīng)于生成樣本與原樣本間的距離，我們希望生成的對抗樣本與原樣本有盡可能小的差別，從而使人類觀察者無法察覺到圖像的異常。

對第一項優(yōu)化目標(biāo)，用概率歸一化前一層對應(yīng)元素的數(shù)值與第二大的數(shù)值之前的差距作為具體的優(yōu)化函數(shù)。當(dāng)對應(yīng)項是當(dāng)前概率最大的一項時，該項數(shù)值為正值，且差距越大，數(shù)值越大；當(dāng)對應(yīng)項數(shù)值不是概率最大的一項時，我們將其值設(shè)為零，即只要生成的的樣本能夠成功欺騙目標(biāo)網(wǎng)絡(luò)，就不再考慮第一項在整個優(yōu)化目標(biāo)中的作用。

對于第二項優(yōu)化目標(biāo)，采用當(dāng)前樣本與初始樣本之間的歐幾里得距離。希望得到的樣本在能夠成功欺騙目標(biāo)網(wǎng)絡(luò)的情況下盡可能與初始樣本相似。

為了平衡兩項的關(guān)系，在實際使用時可以給第一個優(yōu)化目標(biāo)設(shè)定相較于第二項更大的權(quán)重，從而在保證優(yōu)先完成第一項優(yōu)化目標(biāo)的情況下盡可能完成第二項優(yōu)化目標(biāo)。希望同時最小化兩項優(yōu)化目標(biāo)。

3.3 算法描述

黑盒對抗樣本的生成方法流程圖參見圖1，

包括以下幾個主要步驟：

圖1 對抗樣本生成流程圖

1）模型初始化：對抗樣本常常以正常的圖像數(shù)據(jù)為藍(lán)本，作為初始值，在其基礎(chǔ)之上進行惡意噪聲疊加，得到對抗樣本。對應(yīng)到我們的圖像表示方法中，我們將初始狀態(tài)下的模型均值設(shè)為正常數(shù)據(jù)的值，再統(tǒng)一設(shè)定其方差，作為模型的初始化方法。

2）采樣：以當(dāng)前所估計的參數(shù)為生成模型進行多次隨機采樣。

3）評估：對于每一個采樣得到的圖像，首先將它像送入神經(jīng)網(wǎng)絡(luò)模型中進行處理得到輸出結(jié)果，以此判斷它是否能夠成功欺騙目標(biāo)網(wǎng)絡(luò)，進而得到優(yōu)化目標(biāo)的第一項。緊接著，計算當(dāng)前采樣圖像與初始樣本的歐幾里得距離，以此得出優(yōu)化目標(biāo)的第二項。綜合兩項的內(nèi)容，能夠計算出這一采得圖像的效用值。

4）篩選：依據(jù)步驟3得到的效用值對步驟2所采樣得到的樣本做排序，效用值越小，就認(rèn)為采樣樣本的質(zhì)量越好。從采得樣本中取效用最好的一部分（如十分之一）供后續(xù)處理使用。

5）參數(shù)更新：有了較優(yōu)的部分樣本，就可以對圖像的生成模型進行更新。具體而言，用當(dāng)前一次采得較優(yōu)的樣本的均值替代原均值，用其方差替代原方差。

6）重復(fù)步驟2）～5）一定次數(shù)。由于得到可以成功欺騙目標(biāo)網(wǎng)絡(luò)的對抗樣本后，還可以繼續(xù)通過原有目標(biāo)函數(shù)進一步降低對抗樣本與初始樣本的距離，因此本文不推薦在第一次采得能夠欺騙目標(biāo)網(wǎng)絡(luò)的時候就停止優(yōu)化，而是應(yīng)該以迭代次數(shù)作為終止條件。

3.4 算法改進

前文提到，可以用過對描述圖像的概率模型進行改進從而提高本文所提算法的效率。一個可行的方法是通過主成分分析[13]或自編碼器[14-17]對圖像進行降維，再在映射得到的較低維空間中進行建模、采樣和計算。這樣一來，算法的運行效率可以得到較大的提升。

4 實驗與評測

此處內(nèi)容介紹對所提出算法進行的實驗數(shù)據(jù)、實驗方法以及實驗結(jié)果。

4.1 實驗數(shù)據(jù)集

文中采用經(jīng)典的兩個實驗數(shù)據(jù)集：MNIST（手寫數(shù)字識別數(shù)據(jù)集）和CIFAR-10（小型物體識別數(shù)據(jù)集）來進行測試。

對于MNIST數(shù)據(jù)集，選出55 000個訓(xùn)練樣本和1 000個測試樣本。訓(xùn)練得到的目標(biāo)分類器在正常的測試樣本上能夠得到的正確率為99.4%。

對于CIFAR-10數(shù)據(jù)集，選出45 000個訓(xùn)練樣本，10 000個測試樣本。在此數(shù)據(jù)集上訓(xùn)練得到的目標(biāo)分類器的正確率達到了90.6%。

訓(xùn)練得到的兩個模型都有很高的正確率，并且能夠取得非常好的泛化效果。

4.2 實驗方法和評價方法

實驗中，希望對目標(biāo)分類器產(chǎn)生對抗樣本，即我們在任意選出的正常測試數(shù)據(jù)上，運算得出并疊加一個小的惡意噪聲，使得原本能被分類正確的樣本被錯分為其他類別。

測試中，文中提出的對抗樣本生成方法會向目標(biāo)模型發(fā)起查詢，但對模型內(nèi)部的結(jié)構(gòu)與參數(shù)均不知情。測試中的所有初始樣本均為可以被目標(biāo)分類器分類正確的樣本。

從生成對抗樣本成功率以及對抗樣本與初始樣本的平均距離對本文所提出的算法進行評價。

4.3 實驗結(jié)果

文中提出方法在MNIST和CIFAR-10數(shù)據(jù)集上對抗樣本生成的成功率、平均噪聲距離以及平均生成用時見表1。

表1 對抗樣本生成實驗結(jié)果

從表中數(shù)據(jù)可以看到，在兩個測試數(shù)據(jù)集上，本文提出的黑盒模型下的對抗樣本生成都達到了100%的成功率，其成功率甚至高于部分白盒對抗樣本生成方法[18-20]，且平均噪聲很小。

圖2展示了一組初始樣本與本文所提出的方法生成的對抗樣本之間的對比關(guān)系。圖2的左側(cè)圖為初始樣本，右側(cè)圖為生成的對抗樣本，左圖可以被目標(biāo)網(wǎng)絡(luò)正確分類為0，而右圖會被錯分為類別1。

5 結(jié)論

圖2 初始樣本與對抗樣本對比圖

文中詳盡調(diào)查研究了現(xiàn)有的神經(jīng)網(wǎng)絡(luò)對抗樣本生成方法，發(fā)現(xiàn)當(dāng)前所提出方法對黑盒模型的重視程度不足。因而，文中提出了一種新的基于黑盒威脅模型的深度神經(jīng)網(wǎng)絡(luò)對抗樣本的生成方法。文中所提出的方法利用黑盒優(yōu)化方法，對不可直接求梯度的神經(jīng)網(wǎng)絡(luò)做梯度估計，可以在不了解神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)和參數(shù)的情況下以高成功率快速生成高質(zhì)量對抗樣本，填補了之前研究在這一方向上的空白。