宣 琦,周 晴,崔 慧,顧淳濤,徐東偉,朱佳偉,王 巍,楊小牛,
1浙江工業(yè)大學(xué)網(wǎng)絡(luò)空間安全研究院 杭州 中國 310012
2通信信息控制和安全技術(shù)重點實驗室 嘉興 中國 314033
20世紀(jì)以來,電子信息技術(shù)飛速發(fā)展,使得信號種類及數(shù)量呈指數(shù)級增長,面對新時期各種多元化的信號,各種不同的分類方法也開始涌現(xiàn)[1]。此外,深度學(xué)習(xí)[2]逐漸廣泛應(yīng)用于各個領(lǐng)域(生物醫(yī)學(xué)[3-4]、視覺場景[5]、語音識別[6]、自然語言處理[7])。它在通信領(lǐng)域的應(yīng)用也取得長足進展,O’Shea T J[8]等人對基于深度學(xué)習(xí)的無線電信號分類方法的性能進行了深入研究,提出了使用更高階矩和強大的增強梯度樹分類的嚴(yán)格基準(zhǔn)方法; Mendis G J等人[9]出了一種基于深度學(xué)習(xí)的智能方法來檢測和識別無線電信號,該方法可應(yīng)用于識別微型無人機系統(tǒng)的認(rèn)知雷達和航空通信系統(tǒng); Rajendran S等人[10]提出了一種基于長短期記憶(Long Short-Term Memory,LSTM[11])的數(shù)據(jù)驅(qū)動模型,并發(fā)現(xiàn)其對于分類具有不同符號率的調(diào)制信號能夠發(fā)揮出強大的作用。
然而即便深度神經(jīng)網(wǎng)絡(luò)已成功應(yīng)用于處理復(fù)雜問題,卻不斷有研究表明[12-16]它們在強對抗環(huán)境下是非常脆弱的。最近,Han X等人[17]開發(fā)了一種方法構(gòu)造平滑的心電圖追蹤對抗樣本,該樣本無法被人類專家察覺,卻能讓應(yīng)用于醫(yī)學(xué)影像的深度學(xué)習(xí)模型檢測異常。此外,在信號領(lǐng)域,對抗攻擊研究工作也有了不少成果。Sadeghi M等人[18]通過在信道上發(fā)送利用無線信道的開放性設(shè)計的擾動信號,將通信系統(tǒng)的誤塊率提高了幾個數(shù)量級; Sagduyu Y[19]提出了一種通過發(fā)射機對其頻譜感測結(jié)果進行深度學(xué)習(xí),以預(yù)測空閑時隙來進行數(shù)據(jù)傳輸?shù)目罩蓄l譜中毒攻擊; Davaslioglu K等人[20]針對無線通信中的深度學(xué)習(xí)應(yīng)用提出了木馬攻擊,取得了不錯的效果; Kim B等人[21-22]研究發(fā)現(xiàn),攻擊方天線數(shù)量的增加會使攻擊成功率顯著提高,并證實了調(diào)制分類器對空中對抗攻擊的脆弱性。Sadeghi M等人[23]提出了一種使用通用對抗網(wǎng)絡(luò)生成和傳輸無法與預(yù)期信號可靠區(qū)分的合成信號來欺騙無線信號,成功使信號分類精度顯著降低的新穎方法。隨著信號攻擊領(lǐng)域研究的不斷推進,哪些攻擊更難以捉摸或者哪種攻擊得到的攻擊樣本隱匿性更高的關(guān)鍵性問題也隨之出現(xiàn),這意味著當(dāng)下急需一個能夠?qū)π盘柟舨呗赃M行綜合評估的平臺。
縱觀當(dāng)前研究現(xiàn)狀,深度學(xué)習(xí)在圖像領(lǐng)域的應(yīng)用已經(jīng)較為成熟,而在信號領(lǐng)域的研究成果卻少之又少。Ling X等人[24]搭建了一個較為完備的深度學(xué)習(xí)模型安全分析平臺,整合了 16個最先進的攻擊方法和10個攻擊效用指標(biāo)。Sadeghi M等人[23]在信號攻擊研究過程中提出擾動信號功率比(Perturbation Signal Rate,PSR)這一指標(biāo),該項指標(biāo)能夠計算對抗樣本中添加的擾動與原信號的功率之比,與擾動噪聲功率比(Perturbation Noisel Rate,PNR)綜合可體現(xiàn)信號樣本攻擊前后的信噪比變化。不過僅憑借這一項指標(biāo)評價攻擊策略的優(yōu)劣尚不夠全面。
為了進一步推進信號攻擊的研究,提供一個分析平臺來支持對信號領(lǐng)域的對抗性攻擊進行全面、翔實的評估至關(guān)重要,現(xiàn)有的工作尚不能滿足需求,因此本文提出了第一個信號人工智能對抗攻擊綜合分析平臺。
本文主要研究工作如下。
1) 提出信號人工智能對抗攻擊綜合分析平臺,該平臺中特有的信號特性計算指標(biāo)(VC,ACR,APD,PSR,PNR,SNRD具體介紹見第2章)讓本平臺有別于其他已有技術(shù),如Ling X等人[24]搭建的深度學(xué)習(xí)模型安全分析平臺均適用于圖像處理,平臺中提到的誤分類、不可感知性、計算代價等方面的指標(biāo)尚可用于信號攻擊評價,但忽略了信號在處理過程中幅度、相位等特性的變化,本平臺解決了該問題。
2) 采用了8種常見的攻擊方法對信號樣本進行攻擊,并利用信號攻擊綜合分析平臺中的10項攻擊效果指標(biāo)對其進行全面的分析,其中的 4項(VC,ACR,APD,SNRD)均為本文首次提出。
3) 研究發(fā)現(xiàn)攻擊方法的誤分類與不可感知性、信號特性以及計算代價之間存在相互限制的關(guān)系,個別攻擊方法在信號上的攻擊性能有別于圖像。
研究者們通常使用簡單的度量標(biāo)準(zhǔn)進行攻擊方法評估,比如誤分類率便是評估攻擊方法的主要指標(biāo)。然而各項研究均顯示,誤分類率不足以全面地描述一種攻擊方法。
另一方面,區(qū)別于圖像的可視性,信號的特性更加抽象化,信號具有相位、幅度、功率等特有的屬性。此外,在信號處理過程中一般采用復(fù)信號[25]概念來表示實信號,規(guī)避實信號具有共軛對稱的頻譜會造成的處理困難。對復(fù)數(shù)信號進行采樣需要同時進行 I、Q兩路采樣,這兩路數(shù)據(jù)是相關(guān)的,無法當(dāng)成獨立的數(shù)據(jù)點對待。在攻擊評價過程中需要上述重要參考因素,因此一個全新的信號攻擊評價平臺必不可少。
圖1 平臺指標(biāo)結(jié)構(gòu)Figure 1 Platform indicator structure
圖像領(lǐng)域中已有的攻擊分析平臺從誤分類、不可感知性、計算代價三方面對攻擊策略進行分析,分析了錯誤分類的百分比,無法從表面察覺的物理量的變化,攻擊者生成對抗樣本的平均速度。本文為了補充在信號攻擊中對信號特性的描述,在此基礎(chǔ)上增加信號特性分析,從誤分類、不可感知性、信號特性、計算代價四個方面提供了如下指標(biāo)(本處介紹以Radio-ML2016.10a數(shù)據(jù)集為例,具體數(shù)據(jù)集介紹見第3章)。
1) 誤分類:
(a)攻擊成功率(Attack Success Rate,ASR):
ASR計算的是由攻擊方造成的誤分類百分比。ACC or i為原信號樣本的分類精度,而 A CC a dv 是對抗樣本通過相同分類模型所得分類精度。攻擊成功率能體現(xiàn)一個攻擊方法導(dǎo)致錯誤分類的能力。
2) 不可感知性
(a)L0范數(shù):
L0計算的是一個信號樣本在攻擊后改變的點的數(shù)量占總數(shù)的比例。Cc為一個樣本(128×2個點)中修改的點的個數(shù),N為一個信號樣本中數(shù)據(jù)點的個數(shù),本文采用的數(shù)據(jù)集N值為256(128×2)。
(b) L2范數(shù):
L2計算的是一個原信號樣本和對抗樣本之間在數(shù)值上的歐氏距離。Voi為原始樣本第 i個數(shù)據(jù)點的數(shù)值,Vai為對抗樣本第 i個數(shù)據(jù)點的數(shù)值,N為256(128×2)。
3) 信號特性:
(a) 數(shù)值變化(Value Change,VC):
VC計算的是一個信號樣本中每個數(shù)據(jù)點攻擊前后數(shù)值變化量的平均值。VC指標(biāo)雖與L2范數(shù)存在一定線性關(guān)系,但VC更側(cè)重于對幅度這一物理量的變化的描述。
(b) 幅度變化率(Amplitude Change Rate,ACR):
ACR計算的是攻擊前后信號的幅度變化率。在信號處理過程中,區(qū)別于圖像中互相獨立的像素點,信號數(shù)據(jù)集中的I/Q兩路存在一一對應(yīng)的關(guān)系,分別為復(fù)信號實部與虛部的采樣值,倘若參照與圖像相同的計算方法,則忽略了I/Q兩路的相關(guān)性。
A為信號有效幅值,I和Q分別為信號實部和虛部的系數(shù)。Aoi為原始信號第i個采樣點的有效幅度,Aai為攻擊后信號第i個采樣點的有效幅度,n為一個信號樣本中采樣點的個數(shù),本文所用數(shù)據(jù)集 n值為128。與圖像中每一個獨立的像素點不同,信號中128×2尺寸的樣本,將其I路和Q路對應(yīng)起來描述一個信號采樣點會比把其當(dāng)成256個獨立點更加確切。
(c)平均相位差(Average Phase Difference,APD):
APD計算的是一個信號樣本中每個采樣點的相位差平均值。相位作為描述信號波形變化的重要度量,也是評價信號攻擊的重要因素,相位的延遲可以完全改變一個信號,從而導(dǎo)致無法提取出真實消息。Ioi是原始信號第i個采樣點的實部系數(shù),Qoi是原始信號第i個采樣點的虛部系數(shù)。Iai是攻擊后信號第i個采樣點的實部系數(shù),Qai是原始信號第i個采樣點的虛部系數(shù)。
(d)擾動信號比(Perturbation Signal Rate,PSR):
PSR計算的是對抗樣本添加的擾動與信號的功率比。P是信號功率,Ai為信號第i個采樣點的有效幅度。
(e)擾動噪聲比(Perturbation Noise Rate,PNR):
PNR計算的是對抗樣本與原樣本的噪聲功率比,與上文的PSR綜合可體現(xiàn)信號樣本攻擊前后的信噪比變化。Pp為擾動功率,Pn為噪聲功率。信噪比是度量通信系統(tǒng)通信質(zhì)量可靠性的一個主要技術(shù)指標(biāo),為信號平均功率與噪聲平均功率的比值,是評價信號攻擊方法優(yōu)劣必不可少的一項指標(biāo)。
(f)信噪比差(Signal Noise Rate Difference,SNRD):
SNRD計算的是原樣本與對抗樣本的信噪比差值,SNRori,SNRadv分別表示攻擊前與攻擊后信號樣本的信噪比。公式(11)給出的是信噪比的計算方式。
4)計算代價(Calculating Cost,CC)
計算代價定義為攻擊策略生成對抗樣本所用的平均時間,本文中度量單位為秒(s)。
圖2給出了本平臺的整體架構(gòu)。通過8種攻擊方法對信號樣本進行攻擊得到對樣的對抗樣本,然后通過信號攻擊綜合分析平臺提供的10項指標(biāo)對攻擊結(jié)果進行分析評價。8種攻擊方法包括現(xiàn)下常用的6種白盒攻擊方法(FGSM[13],BIM[26],PGD[27],DF[16],JSMA[28],CW[29])和2種黑盒攻擊(OPA[30],UAP[31]);10項評價指標(biāo)包括誤分類(ASR)、不可感知性(L0范數(shù)、L2范數(shù))、信號特性(VC,APD,ACR,PSR,PNR,SNRD)、計算代價(CC)4個模塊。
圖2 平臺整體架構(gòu)Figure 2 Overall platform architecture
本文采用由O’Shea T J等人[8]提出的用于調(diào)制識別的殘差神經(jīng)網(wǎng)絡(luò)ResNet模型。該分類方法具有容易優(yōu)化、復(fù)雜度低優(yōu)點的同時分類性能強大,是當(dāng)下具有強大優(yōu)勢的深度學(xué)習(xí)分類模型之一,因此本文采用該模型作為深度學(xué)習(xí)分類網(wǎng)絡(luò)。
該模型結(jié)構(gòu)在殘差塊的基礎(chǔ)上,構(gòu)建了殘差堆疊層,讓堆疊層去擬合殘差映射,每個殘差堆疊層包括一個卷積核大小為 1×1的卷積層,兩個殘差塊,一個最大池化層。在整個ResNet模型中,包含6個殘差堆疊層,數(shù)據(jù)每經(jīng)過一個殘差堆疊層維度減半,且模型中所有卷積層的卷積核數(shù)量均為 32,激活函數(shù)均采用縮放指數(shù)線性單位(Selu)。
由于當(dāng)下已有的信號攻擊工作成果較少,本文采用的 8種攻擊方法均從圖像領(lǐng)域遷移而來。將攻擊方法從兩個角度分類:根據(jù)攻擊需要的條件可分為黑盒攻擊和白盒攻擊,白盒攻擊需要對模型結(jié)構(gòu)深入了解,知道模型的結(jié)構(gòu)和各層的參數(shù),可以計算梯度,黑盒攻擊完全把模型當(dāng)做一個黑盒,根據(jù)一定的算法,不斷根據(jù)輸出的反饋調(diào)整輸入數(shù)據(jù); 根據(jù)攻擊頻率,可分為迭代攻擊和非迭代攻擊,非迭代攻擊只需要一步即可生成對抗樣本,而迭代攻擊需要進行多次迭代更新。這兩個分類并非互相獨立,兩者之間存在著緊密聯(lián)系,但是為了更加清晰地分析其攻擊效果,后續(xù)將分開表述。
非迭代型白盒攻擊: FGSM在白盒環(huán)境下,通過求出模型對輸入的導(dǎo)數(shù)之后用符號函數(shù)得到其具體的梯度方向,接著乘以一個步長,得到的擾動添加在原來的輸入上就得到了在FGSM方法的攻擊樣本,表達式為:
X為原始樣本,Xadv為對抗樣本,Y為原始樣本標(biāo)簽,sign()為符號函數(shù),ε為可調(diào)節(jié)超參數(shù)。
迭代型白盒攻擊: 在 FGSM 方法的基礎(chǔ)上,Goodfellow I J等人[26]提出其變體BIM,采取多個小步驟進行多次迭代,并在每一步后調(diào)整方向。隨后,Madry A等人[27]提出了BIM的變體PGD,在BIM的基礎(chǔ)上增加迭代輪數(shù)并添加一層隨機化處理達到了更佳的分類效果。Moosavi-Dezfooli S M等人[16]提出的DeepFool通過尋找原樣本到目標(biāo)模型決策邊界的最近距離來生成對抗樣本,解決了 FGSM 未對添加的擾動范圍進行界定的問題。Papernot N等人[28]提出了 JSMA,此方法首先計算給定樣本的雅可比矩陣,通過尋找對輸出結(jié)果影響最顯著的樣本的輸入特征來添加擾動。Carlini N和Wagner D等人[29]提出的CW,在對目標(biāo)函數(shù)的定義上進行了創(chuàng)新,目標(biāo)函數(shù)使用交叉熵,迭代優(yōu)化的過程就是不斷減少目標(biāo)函數(shù),因此CW能夠調(diào)節(jié)置信度,生成擾動也較小。
非迭代型黑盒攻擊: Su J等人[30]提出一種基于差分進化生成單像素的對抗性擾動 OPA,可以在最小攻擊信息的條件下對網(wǎng)絡(luò)進行欺騙。
迭代型黑盒攻擊: Moosavi-Dezfooli S M等人[31]提出的 UAP是一種通用擾動,具有很強遷移性,跨數(shù)據(jù)且跨模型。
表1 攻擊方法Table 1 Attack methods
1) 數(shù)據(jù)集: 本文實驗過程中使用的數(shù)據(jù)集為Radio-ML2016.10a,該數(shù)據(jù)集為布拉德利大學(xué)公開的調(diào)制信號數(shù)據(jù)集,它使用GNU Radio合成I/Q信號樣本,包含 11種調(diào)制類型,信噪比范圍從–20dB到18dB,間隔2dB均勻分布。每個信號都有128個復(fù)雜的浮點時間樣本。數(shù)據(jù)集大小為: 220000×128×2。I和Q兩路分別保存了這個128個信號點的實部和虛部的系數(shù)。
本文實驗過程中采集了數(shù)據(jù)集中高于或等于10dB的高信噪比信號,訓(xùn)練集樣本數(shù)為35200,該測試集數(shù)據(jù)經(jīng)過ResNet模型進行分類得到91.01%的精度。
2) 攻擊參數(shù)設(shè)置: 各個不同攻擊方法的常用參數(shù)值相同,其他參數(shù)按照原作者默認(rèn)值設(shè)置。
3) 其他設(shè)置: 數(shù)據(jù)集中選取的 35200個信號樣本的信噪比平均值為15dB,用于后續(xù)計算SNRD。
攻擊結(jié)果如表2,隨機抽取第 5555個信號樣本波形圖如圖3所示。
圖3 樣本波形圖Figure 3 Waveform of the samples
表2 攻擊結(jié)果Table 2 Attack results
1) 誤分類: 現(xiàn)有的攻擊方法僅從誤分類角度來看,都表現(xiàn)出強大的攻擊能力。由表中可看出,在RadioML2016.10a數(shù)據(jù)集上,白盒攻擊中迭代型的攻擊方法攻擊成功率普遍高于非迭代型的攻擊方法,JSMA和CW方法達到了100%的攻擊成功率,其中原因非常直觀,與非迭代型攻擊只需一步的擾動計算方法不同,迭代型攻擊通過多個復(fù)雜的迭代來尋找目標(biāo)模型的最佳擾動,因此能夠達到更高的攻擊成功率。但在黑盒攻擊中,迭代型攻擊未在攻擊成功率上體現(xiàn)明顯優(yōu)勢,這是由于黑盒攻擊本身成功率較低。
白盒攻擊的攻擊成功率明顯高于黑盒攻擊,顯而易見白盒攻擊對模型的參數(shù)和結(jié)果都進行了深入了解,攻擊成功率自然也高于僅靠輸出反饋調(diào)整輸入數(shù)據(jù)的黑盒攻擊。
2) 不可感知性: 本文通過 2項指標(biāo)對攻擊方法的不可感知性進行了量化。大多數(shù)現(xiàn)有的攻擊方法都使用Lp范數(shù)在目標(biāo)函數(shù)中對攻擊算法進行規(guī)范,比如基于L0范數(shù)的攻擊方法,能夠在L0失真指標(biāo)上表現(xiàn)更加良好,但在 L2失真指標(biāo)上便差強人意,如JSMA方法本身比較簡單直接,在攻擊過程中未限制擾動大小,只控制了擾動個數(shù)足夠少,從表格中可看出該方法L0失真非常小,而L2失真異常高。
迭代型攻擊方法的不可感知性高于非迭代型攻擊方法,如非迭代攻擊 FGSM 方法的 L0和 L2指標(biāo)都是白盒攻擊中最高的,這就是非迭代攻擊簡單地一步生成對抗樣本,忽略尋找最佳擾動所致。通過表格觀察可得,誤分類和不可感知性之間存在著密切聯(lián)系,兩者計算的是基于兩個不同目標(biāo)的優(yōu)化問題。誤分類的優(yōu)化目標(biāo)是對抗樣本的誤分類率,而不可感知性的優(yōu)化目標(biāo)為對抗樣本和原樣本的差異最小化。這兩個目標(biāo)無法保持一致,因此誤分類和不可感知性之間相互限制。白盒攻擊的攻擊成功率普遍較高,但在不可感知性上的表現(xiàn)明顯劣于黑盒攻擊。
3) 信號特性: 信號是表示消息的物理量,如電信號可以通過幅度、頻率、相位等參數(shù)的變化來表示不同的消息。信號是消息的載體,在信號攻擊過程中,信號幅度、相位等特性的變化極為重要,過度失真將導(dǎo)致難以提取正確信息。本模塊通過6項指標(biāo)(VC,APD,ACR,PSR,PNR,SNRD)對攻擊過程中的信號特性進行量化,VC,APD,ACR,PSR,PNR值越小,SNRD值越接近零,信號特性維持程度越高。
誤分類程度高的攻擊方法生成的對抗樣本,維持信號特性的程度相對較低。攻擊成功率達到100%的JSMA和CW的信號特性變化明顯高于其他類別的攻擊方法,特別是JSMA的PSR和PNR都是所有攻擊方法中數(shù)值最大的,數(shù)值越大,對抗樣本相對原樣本的信號特性變化就越大,這也是 JSMA追求修改數(shù)據(jù)點足夠少忽略擾動幅度大小的特點所致。黑盒攻擊與白盒攻擊相比,其信號特性維持程度更高,攻擊成功率更低。
迭代型攻擊方法在信號特性上表現(xiàn)也優(yōu)于非迭代型攻擊,例如 FGSM 的每一項信號特性指標(biāo)都劣于其他攻擊方法,VC,APD,ACR,PSR,PNR值都是所有方法中最高的,SNRD值也是偏離零值程度最大的。這說明非迭代型攻擊方法不僅在攻擊圖像時需要付出較大的攻擊代價來換取誤分類,在對信號攻擊時,同樣需要犧牲更多的信號特性換取更高的誤分類。
信號特性中的VC指標(biāo)計算方式類似于圖像,將I/Q兩路信號的采樣值當(dāng)作獨立的數(shù)據(jù)點對攻擊代價進行量化,該項指標(biāo)可對對抗樣本的信號特性進行描述,卻忽略了I/Q兩路采樣值之間的內(nèi)在聯(lián)系,故不夠全面,需要添加其他幾項信號特性指標(biāo)來對攻擊方法進行全面、綜合的評價分析。由表3中數(shù)據(jù)分析可得,其他幾項信號特性指標(biāo)并不完全與VC指標(biāo)成正比,這就是I/Q兩路采樣值之間的內(nèi)在聯(lián)系所致。本文所選的所有攻擊方法在VC指標(biāo)上都有較好表現(xiàn),但FGSM在其他幾項指標(biāo)中表現(xiàn)不足,JSMA的PNR和SNRD也明顯劣于其他攻擊方法,但其劣勢卻并未在VC指標(biāo)中得到明顯體現(xiàn),說明這兩種攻擊方法得到的對抗樣本雖然與原樣本的整體改變不大,但其幅度、相位等信號特征卻發(fā)生了較大失真。CW 方法的 VC指標(biāo)與其他攻擊方法相比不算優(yōu)秀,但是其PNR值非常小,說明該攻擊方法添加的擾動與原樣本中本就存在的噪聲相比微不足道。這 6項信號特性指標(biāo)能夠全面地評價攻擊方法對于信號特性的影響。
4) 計算代價: 為了估計攻擊的計算成本,本文計算了各個攻擊方法生成對抗樣本耗費的時間。從表中觀察可得,一般情況下,非迭代型攻擊方法所用的計算時間明顯低于迭代型攻擊方法,多次的迭代過程需以計算時間為代價獲取更佳的攻擊效果。
本文提供的信號人工智能對抗攻擊綜合分析平臺與其他平臺相比,不僅分析了錯誤分類的百分比,無法從表面察覺的物理量的變化,攻擊者生成對抗樣本的平均速度等其他平臺常用因素,同時還根據(jù)信號具有的相位、幅度、功率等特有屬性提出了信號特性指標(biāo),描述了攻擊造成的信號特性變化,為后續(xù)的解碼等工作提供量化數(shù)據(jù)。此外。本平臺的研究工作也為攻擊和防御工作的開展提供了新的啟發(fā),如能否針對信號特性提出一種新的攻擊方法,并針對該攻擊方法提出新的防御方法。
不過,本平臺尚缺少對信號攻擊的頻域分析,將在后續(xù)研究工作中繼續(xù)改進; 此外,本文只提供了號人工智能對抗攻擊綜合分析平臺的理論分析方法,并未搭建相應(yīng)的物理系統(tǒng),因此我們將在未來的研究工作中不斷完善,并搭建物理訪問平臺。
本文提供了第一個信號人工智能對抗攻擊綜合分析平臺,實現(xiàn)了當(dāng)下常用的 8種攻擊方法對信號數(shù)據(jù)集的攻擊,并通過本平臺提供的10項攻擊評價指標(biāo)(誤分類、不可感知性、信號特性、計算代價)對這8種攻擊方法進行了全面、有效的評價分析,希望本平臺能為今后信號攻擊和防御研究工作的推進提供幫助。