熊水彬

（江西理工大學(xué)，江西 贛州 341000）

0 引言

深度強化學(xué)習(xí)是深度學(xué)習(xí)與強化學(xué)習(xí)相結(jié)合的產(chǎn)物[1]，是一種新興的人工智能技術(shù)。但是，深度強化學(xué)習(xí)模型會面臨一些安全性和魯棒性的問題，其中之一就是對抗攻擊和對抗防御[2]。對抗攻擊是指攻擊者針對深度強化學(xué)習(xí)模型的弱點或缺陷對模型進行攻擊，使得模型產(chǎn)生錯誤的預(yù)測或輸出，從而使得深度強化學(xué)習(xí)模型的效果降低甚至完全失效。對抗防御則是防御者為了保護深度強化學(xué)習(xí)模型免受對抗攻擊的干擾，降低對抗攻擊帶來的危害，從而采取的一系列防御方法。

對抗攻擊會影響深度強化學(xué)習(xí)智能體的性能，能夠暴露其內(nèi)部的弱點和缺陷。在此基礎(chǔ)上進行針對性的對抗防御能夠大大提高面對類似對抗攻擊的防御效果。因此，深入研究深度強化學(xué)習(xí)模型的對抗攻擊和防御問題，對于提高深度強化學(xué)習(xí)模型的安全性和魯棒性，保證其在實際應(yīng)用中的可靠性和穩(wěn)定性具有非常重要的意義。目前對抗攻擊與對抗防御的研究大多是面向靜態(tài)圖像的分類任務(wù)，在動態(tài)視頻方面的應(yīng)用研究關(guān)注較少。由于Atari 游戲[3]簡單的游戲規(guī)則和動態(tài)的游戲畫面，因此本文選擇Atari 游戲作為實驗平臺，在Atari 游戲[4]中設(shè)計實驗實現(xiàn)深度強化學(xué)習(xí)模型中的對抗攻擊與對抗防御，在動態(tài)視頻方面對對抗攻擊與防御方法進行綜合性探討研究。

1 DQN 算法

深度Q 網(wǎng)絡(luò)（Deep Q-Network，DQN）屬于基于值函數(shù)的算法[5]，它的基本思想是用一個深度神經(jīng)網(wǎng)絡(luò)來表示Q 值函數(shù)，輸入數(shù)據(jù)是一幅圖像或者一個狀態(tài)，輸出數(shù)據(jù)則是對應(yīng)的選擇各個動作時的Q 值。DQN 使用經(jīng)驗回放機制和目標(biāo)網(wǎng)絡(luò)來提高學(xué)習(xí)效率和穩(wěn)定性，通過梯度下降最小化損失函數(shù)來不斷更新網(wǎng)絡(luò)權(quán)重，從而逼近最優(yōu)的Q 值函數(shù)。

本文利用經(jīng)驗回放機制[6]、目標(biāo)網(wǎng)絡(luò)和對輸入狀態(tài)圖像進行預(yù)處理等技巧完成DQN 算法設(shè)計。DQN 模型在Atari 中的Pong 游戲上表現(xiàn)得分情況如表1 所示。

表1 不同訓(xùn)練輪次DQN 模型得分情況

2 對抗攻擊實現(xiàn)

2.1 FGSM 攻擊

快速梯度符號方法（Fast Gradient Sign Method，F(xiàn)GSM）是一種基于梯度的對抗樣本生成方法[7-8]。FGSM 的基本思路是在原始輸入樣本的基礎(chǔ)上計算損失函數(shù)對輸入樣本的梯度，然后將梯度符號作為擾動方向，并將梯度的絕對值作為擾動大小，向著使分類結(jié)果最差的方向添加擾動，從而得到對抗樣本[9]，使得模型對該樣本的分類結(jié)果發(fā)生錯誤。對抗樣本生成過程如圖1 所示，第1 行原始圖像加上第2 行擾動，得到第3 行的對抗樣本。設(shè)x為原始輸入樣本，θ表示模型參數(shù)，y表示輸入樣本真實標(biāo)簽，J(θ,x,y)表示損失函數(shù)，sign是符號函數(shù)，ε表示擾動的大小。對抗樣本生成公式為：

圖1 對抗樣本生成過程

得到對抗樣本后，將對抗樣本作為輸入圖像，輸入到DQN 模型中，繼而影響模型判斷，通過不斷地生成對抗樣本就可達到攻擊模型的效果。

在白盒環(huán)境中[10]，基于DQN 模型的Q 值和動作張量使用交叉熵損失函數(shù)計算出損失函數(shù)，然后進行反向傳播得到梯度，再用sign()符號函數(shù)得到梯度方向，之后擾動量乘以梯度方向再加上原本狀態(tài)張量得到對抗樣本。在實驗過程中還設(shè)置了攻擊概率，即對每一幀圖像以一定概率值選擇是否生成對抗樣本。不同概率進行FGSM 白盒攻擊時，實驗結(jié)果如表2、表3 和表4 所示。

表2 100%概率進行FGSM 白盒攻擊時擾動量與得分關(guān)系

表3 80%概率進行FGSM 白盒攻擊時擾動量與得分關(guān)系

表4 50%概率進行FGSM 白盒攻擊時擾動量與得分關(guān)系

在黑盒環(huán)境中[11]，首先根據(jù)游戲觀測畫面得到狀態(tài)，然后將該狀態(tài)輸入替身模型中得到選擇各個動作的Q 值，再用替身模型計算出選擇的動作，同時將動作轉(zhuǎn)化為張量類型。然后將該Q 值和動作張量使用交叉熵損失函數(shù)計算出損失函數(shù)，再進行反向傳播得到替身模型的梯度，將這個梯度作為目標(biāo)模型的梯度，再用sign()符號函數(shù)得到梯度方向，之后擾動量乘以梯度方向再加上原本狀態(tài)張量得到最終的對抗樣本。當(dāng)替代模型為訓(xùn)練400 輪的DQN模型時，F(xiàn)GSM 黑盒攻擊的實驗結(jié)果如表5 所示。

利用FGSM 攻擊方式對輸入圖像進行攻擊擾動，模型效果明顯變差。白盒攻擊時效果都較好，使用很小的擾動量即可以對模型性能造成較大影響；黑盒攻擊的攻擊效果很大部分取決于替代模型，當(dāng)替代模型越接近最優(yōu)策略時，攻擊效果就越好。

2.2 PGD 攻擊

投影梯度下降（Projected Gradient Descent，PGD）攻擊是一種迭代的基于梯度的攻擊方法，它通過多次迭代來使攻擊更加精確，適用于求解帶有約束條件的凸優(yōu)化問題[13]。PGD 攻擊的主要思想是利用梯度下降法在每次迭代時將當(dāng)前解投影到可行域內(nèi)，以滿足約束條件，從而得到“最優(yōu)”的擾動，即輸出最差的結(jié)果使模型獲得更低的獎勵。

PGD 攻擊具體的步驟如下：

（1）給定輸入數(shù)據(jù)為xt、標(biāo)簽為y及模型的參數(shù)為θ；

（2）計算模型的損失函數(shù)L(θ,xt,y)，并根據(jù)損失函數(shù)的梯度得到擾動d=?×sign(?xJ(θ,xt+1,y))；

（3）利用截斷函數(shù)將xt+d投影到一個預(yù)定義的范圍內(nèi)，得到新的輸入樣本xt+1；

（4）以xt+1為輸入，重復(fù)步驟（2）～（3），直到達到指定的迭代次數(shù)或滿足停止條件。PGD 攻擊可表示為：

式中：Clip為截斷函數(shù)。

PGD 攻擊在迭代次數(shù)為3、截斷值為0.2 時，不同擾動量對DQN 模型的攻擊結(jié)果如表6 所示。

通過比較PGD 攻擊結(jié)果與FGSM 攻擊結(jié)果，發(fā)現(xiàn)PGD 攻擊進行多次小步的迭代得到的對抗樣本效果比FGSM攻擊進行一次一大步的擾動好很多。FGSM 白盒攻擊時，擾動量為0.000 4 時模型被干擾效果僅相當(dāng)于PGD 迭代3 次、截斷為0.2、擾動量為0.000 2 的效果?？梢奝GD 攻擊是個強大的對抗攻擊算法。

2.3 單像素攻擊

單像素攻擊（One Pixel Attack）[14]是一種典型的黑盒攻擊方法，只需獲取輸入圖像即可對模型進行攻擊。它的基本思想是通過改變圖像中較少的像素點，甚至只改變其中的一個像素點就能夠?qū)崿F(xiàn)較好的攻擊效果。

對原始游戲畫面進行像素攻擊后得到的圖像如圖2 所示，其中一個像素點被改變。表7 是進行簡單隨機像素攻擊時，改變像素的個數(shù)與得分的關(guān)系。

圖2 像素攻擊后Pong 游戲圖像

表7 像素攻擊時改變像素數(shù)目與得分關(guān)系

實驗結(jié)果表明，改變圖像像素點的像素攻擊方式可以對DQN 模型進行攻擊，能夠?qū)QN 模型產(chǎn)生威脅，而且改變的像素個數(shù)越多，模型的得分就越低，像素攻擊對模型的攻擊效果就越明顯。

3 對抗防御

3.1 隨機化防御

隨機化防御是一種基于隨機化思想的對抗性防御方法，通過在程序代碼、內(nèi)存布局、執(zhí)行文件等多個層面引入隨機性、多樣性和動態(tài)性，來消除軟件的同質(zhì)化現(xiàn)象，實現(xiàn)軟件的多態(tài)化，減小或者動態(tài)變化系統(tǒng)攻擊面，增加攻擊者漏洞利用難度，能有效抵御針對軟件缺陷的外部代碼注入型攻擊、文件篡改攻擊、數(shù)據(jù)泄露攻擊、感染攻擊等攻擊。隨機化防御方法的核心思想是對輸入數(shù)據(jù)進行隨機化，使得攻擊者難以構(gòu)造有效的對抗樣本。

本文使用高斯數(shù)據(jù)增強方法對DQN 模型進行隨機化防御[15]。在實驗中，高斯數(shù)據(jù)增強通過在行為網(wǎng)絡(luò)的輸出上使用Pytorch內(nèi)置的高斯函數(shù)添加高斯噪聲來實現(xiàn)，其中高斯噪聲均值為0，標(biāo)準(zhǔn)差為0.01（由交叉驗證方法得出）。進行FGSM 白盒攻擊時，高斯數(shù)據(jù)增強DQN 模型得分情況如表8 所示，F(xiàn)GSM 黑盒攻擊得分情況如表9 所示，PGD 攻擊得分情況如表10 所示，像素攻擊得分情況如表11所示。

表9 FGSM 黑盒攻擊時模型得分情況

表10 PGD 攻擊時模型得分情況

表11 像素攻擊時模型得分情況

使用高斯數(shù)據(jù)增強會影響一些DQN 模型的訓(xùn)練效果，但從實驗結(jié)果中可以得到高斯數(shù)據(jù)增強對FGSM 攻擊、PGD 攻擊和像素攻擊都能有一定的防御能力，尤其對FGSM 黑盒攻擊和像素攻擊防御效果較好。但是整體而言防御效果并不是很顯著，當(dāng)對抗攻擊強度增大到一定值時，模型性能仍然會受到較大影響。造成該結(jié)果可能的原因是訓(xùn)練輪次不足，使用高斯數(shù)據(jù)增強訓(xùn)練時會影響訓(xùn)練效果，所以需要更多的訓(xùn)練次數(shù)才能使模型達到較好的效果，以及得到更強的防御能力。

3.2 對抗訓(xùn)練

對抗訓(xùn)練（Adversarial Training）是一種主動防御方法[16-17]，它通過向訓(xùn)練集中添加對抗樣本，做一次數(shù)據(jù)增強，使得深度強化學(xué)習(xí)（Deep Reinforcement Learning，DRL）系統(tǒng)在訓(xùn)練過程中能夠更好地學(xué)習(xí)到對抗干擾，從而提高其抵抗能力。對抗訓(xùn)練方法包括基于FGSM 算法的對抗訓(xùn)練、基于PGD 算法的對抗訓(xùn)練等。

對抗訓(xùn)練的步驟如下：

（1）初始化DRL 策略πθ和對抗攻擊算法A；

（2）從環(huán)境中采樣一個狀態(tài)s，并使用策略πθ選擇一個動作a；

（3）使用對抗攻擊算法A生成一個對抗觀察sadv=s+δ，其中δ是一個小的擾動，使得πθ(sadv)=πθ(s)；

（4）將對抗觀察sadv和原始觀察s加入訓(xùn)練集中，作為輸入特征；

（5）使用訓(xùn)練集中的數(shù)據(jù)更新策略πθ的參數(shù)，使其能夠在對抗觀察和原始觀察下都表現(xiàn)良好；

（6）重復(fù)步驟（2）～（5），直到策略πθ達到預(yù)期的性能或收斂。

對對抗訓(xùn)練后的DQN模型進行對抗攻擊實驗，進行500 輪對抗訓(xùn)練的模型防御FGSM 白盒攻擊時得分情況如表12 所示；對抗訓(xùn)練500 輪的模型防御FGSM 黑盒攻擊的得分情況如表13 所示；進行PGD 攻擊時，對抗訓(xùn)練500 輪的模型得分情況如表14 所示；進行像素攻擊時，對抗訓(xùn)練500 輪的模型得分情況如表15 所示。

表12 FGSM 白盒攻擊時防御模型的得分情況

表13 FGSM 黑盒攻擊時各防御模型的得分情況

表14 PGD 攻擊時防御模型的得分情況

表15 像素攻擊時防御模型的得分情況

使用基于FGSM 的對抗訓(xùn)練方法，對FGSM 白盒攻擊與黑盒攻擊這兩種同類型的對抗攻擊具有很強大的防御能力；對于PGD 攻擊也有一定的防御效果，需要擾動量增大到一定值才能對模型產(chǎn)生影響。不過對于像素攻擊，對抗訓(xùn)練并沒有體現(xiàn)出良好的防御能力。總體而言，經(jīng)過對抗訓(xùn)練，模型的魯棒性得到明顯提高，可見對抗訓(xùn)練防御方法是一種有效的對抗防御方法。

4 結(jié)語

本文首先闡述了深度強化學(xué)習(xí)中的DQN算法，并且在Atari 中的Pong 游戲中訓(xùn)練了DQN 智能體模型；其次引入對抗攻擊和對抗防御，詳細介紹了FGSM 攻擊、PGD 攻擊、單像素攻擊3 種對抗攻擊方法和對抗訓(xùn)練、隨機化防御、對抗檢測3 種對抗防御方法，闡述了它們的基本原理，然后對DQN模型進行了對抗攻擊和對抗防御實驗，并且相互之間進行了分析比較。最后得出結(jié)論，對抗攻擊可以輕松地影響DRL 模型，能降低DRL 模型的性能，會對DRL 模型產(chǎn)生很大的危害，而對抗防御方法可以在一定程度上提高模型的魯棒性，提高對對抗攻擊的防御能力。

深度強化學(xué)習(xí)的對抗攻擊與對抗防御是一個不斷發(fā)展和改進的領(lǐng)域，需要不斷地進行研究和探索，未來應(yīng)更加深入研究各種對抗攻擊，尋求破解之道，研究出更加有效的對抗防御方法，讓智能體模型能夠抵御攻擊，不被干擾，發(fā)揮出它強大的能力，從而造福社會、造福人類。