李 前 藺琛皓 楊雨龍 沈 超 方黎明

1(西安交通大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 西安 710049) 2(智能網(wǎng)絡(luò)與網(wǎng)絡(luò)安全教育部重點(diǎn)實(shí)驗(yàn)室(西安交通大學(xué)) 西安 710049) 3(南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 南京 210016)

近些年，得益于數(shù)據(jù)數(shù)量和質(zhì)量的提升、高性能硬件所帶來的計(jì)算能力增長以及算法上的不斷突破，以深度學(xué)習(xí)為代表的人工智能技術(shù)得到了前所未有的發(fā)展和應(yīng)用[1].從指紋解鎖、刷臉支付，到語音助手、產(chǎn)品推薦，再到智慧制造、無人駕駛，深度學(xué)習(xí)正全方位改變著人類的生產(chǎn)和生活方式[2].同時(shí)，模型輕量化技術(shù)的成熟也可將原本依賴于高性能圖形處理器(graphic processing unit, GPU)的大型神經(jīng)網(wǎng)絡(luò)進(jìn)行輕量化處理，讓其在計(jì)算資源有限的嵌入式設(shè)備和物聯(lián)網(wǎng)設(shè)備上也可部署運(yùn)行.隨著云邊端計(jì)算架構(gòu)的成熟，邊緣計(jì)算正在日益走向智能時(shí)代的舞臺中央.為了對各場景下產(chǎn)生的數(shù)據(jù)進(jìn)行分析處理，越來越多的深度學(xué)習(xí)模型正在全球范圍內(nèi)大規(guī)模地被部署在云邊端全場景，惠及人類生產(chǎn)生活的方方面面.

然而，隨著人工智能技術(shù)的日益普及，深度學(xué)習(xí)模型的安全性和可靠性問題也逐步暴露，引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注[3-5].2014年，Szegedy和Goodfellow等人率先注意到了深度學(xué)習(xí)模型中存在對抗樣本(adversarial example)[6-7].Goodfellow等人指出，深度神經(jīng)網(wǎng)絡(luò)的高度非線性和數(shù)據(jù)分布空間的高維性導(dǎo)致其預(yù)測結(jié)果一般不可驗(yàn)證和解釋，致使了模型推斷盲區(qū)，即對抗樣本的存在.2016年，美國前國家情報(bào)總監(jiān)Clapper表示，人工智能系統(tǒng)的欺騙性和破壞性難以預(yù)測和理解，將會對國家安全和關(guān)鍵敏感信息的基礎(chǔ)設(shè)施建設(shè)帶來巨大危險(xiǎn)；2018年，美國密歇根大學(xué)的研究表明，自動駕駛的無人車容易被對抗攻擊所欺騙，導(dǎo)致嚴(yán)重的交通事故[8]；2020年中國科學(xué)院院士姚期智在浦江創(chuàng)新論壇的演講中指出深度學(xué)習(xí)的魯棒性是通往通用人工智能道路的三大瓶頸之一；2022年Gupta等人的研究[9]打破了人們之前關(guān)于量化網(wǎng)絡(luò)魯棒性較強(qiáng)的認(rèn)識，首次揭露了量化網(wǎng)絡(luò)中存在的對抗攻擊安全風(fēng)險(xiǎn).由此可見，深度神經(jīng)網(wǎng)絡(luò)的魯棒脆弱性問題已經(jīng)成為其進(jìn)一步發(fā)展的瓶頸之一.攻擊者可以利用對抗攻擊以誘導(dǎo)各場景下部署的人工智能系統(tǒng)，威脅其安全運(yùn)行[10-11].因此，深入研究云邊端各個場景下深度學(xué)習(xí)模型脆弱性問題并設(shè)計(jì)安全的對抗防御方法亟待解決并具有重大意義.

針對以上問題和挑戰(zhàn)，研究者從不同的角度對深度神經(jīng)網(wǎng)絡(luò)的魯棒對抗問題進(jìn)行了調(diào)研和綜述，包括針對語音識別[12-15]、圖像處理[16-19]、自然語言處理[20]、多媒體信息處理[21]、強(qiáng)化學(xué)習(xí)[22]等任務(wù)的對抗攻防.然而，現(xiàn)有的深度學(xué)習(xí)模型對抗攻防相關(guān)文獻(xiàn)綜述大多針對特定的場景和應(yīng)用，且僅圍繞普通大型網(wǎng)絡(luò)模型展開介紹，而缺乏針對輕量化網(wǎng)絡(luò)模型攻擊與對應(yīng)的防御研究的系統(tǒng)性詳細(xì)介紹.另一方面，針對輕量化模型，個別研究者目前僅從實(shí)驗(yàn)角度對其對抗魯棒性進(jìn)行了初步探索[23]：比如陳光耀等人[23]實(shí)驗(yàn)探究了模型壓縮技術(shù)對模型對抗魯棒性的影響；Qin等人[24]實(shí)驗(yàn)對比了二值量化網(wǎng)絡(luò)(binarized neural networks, BNN)在白盒對抗魯棒性和黑盒對抗遷移性方面的差異；Gorsline等人[25]實(shí)驗(yàn)研究了量化網(wǎng)絡(luò)的對抗魯棒性，發(fā)現(xiàn)量化網(wǎng)絡(luò)與對應(yīng)全精度網(wǎng)絡(luò)之間的相對魯棒性取決于攻擊強(qiáng)度.然而，這些工作缺乏對輕量化網(wǎng)絡(luò)的對抗攻防技術(shù)的系統(tǒng)歸納和總結(jié).

隨著邊緣計(jì)算的發(fā)展，大型網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)均在實(shí)際場景中有越來越多的部署.為了更加全面深入地了解云邊端全場景下深度學(xué)習(xí)算法的對抗攻防問題，需要對大型網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)的對抗攻防技術(shù)做整體分析和整理.

如圖1所示，在云邊端全場景下，由于端側(cè)往往以輕量化模型為主，而云側(cè)和邊側(cè)更多會部署大型網(wǎng)絡(luò)，因此需要為二者分別設(shè)計(jì)針對性的對抗攻擊與防御方法.本文從云邊端全場景為出發(fā)點(diǎn)，分別整理了近年來針對大型網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)的對抗攻擊安全風(fēng)險(xiǎn)以及相應(yīng)的對抗防御技術(shù).最后，本文梳理了目前研究尚未解決的重大挑戰(zhàn)，展望了該領(lǐng)域未來可能的發(fā)展方向.

Fig.1 The illustration of adversarial attack and defense under the edge computing scenario

1 深度學(xué)習(xí)模型的對抗攻擊安全風(fēng)險(xiǎn)

本節(jié)對深度學(xué)習(xí)模型所面臨的對抗攻擊安全風(fēng)險(xiǎn)做簡單介紹，包括對抗攻擊的定義和分類，以及對抗樣本的機(jī)理解釋.

1.1 對抗攻擊的定義和分類

2014年，Szegedy等人首次發(fā)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)中對抗性樣本的存在[6].攻擊者可在正常樣本x中加入對抗擾動σ生成對抗樣本x′,x′=x+σ,使得目標(biāo)模型給出錯誤的預(yù)測結(jié)果:f(x′;θ)≠f(x;θ).如圖2所示，能夠被深度神經(jīng)網(wǎng)絡(luò)(deep neural networks, DNN)正常預(yù)測為“大熊貓”的正常樣本被惡意攻擊者加入人眼不可察覺的對抗擾動后生成對抗樣本，被DNN錯誤預(yù)測為“長臂猿”.為了使對抗擾動σ難以被人眼察覺，保證對抗攻擊的隱蔽性，一般使用某種度量對擾動大小進(jìn)行限制，比如p范數(shù)：其中ε是攻擊者預(yù)先規(guī)定的擾動大小的上限值.Szegedy等人還發(fā)現(xiàn)了對抗樣本的遷移性(transferability)，即針對某一模型生成的對抗樣本可在多種不同的目標(biāo)模型上攻擊成功.對抗樣本的遷移性能夠讓攻擊者生成一次對抗樣本而攻擊不同的目標(biāo)模型，甚至是未知結(jié)構(gòu)和參數(shù)的目標(biāo)模型.

Fig.2 Illustration of adversarial example

按照攻擊者所掌握有關(guān)目標(biāo)模型信息的多寡，對抗攻擊可分為白盒攻擊(white-box attack)和黑盒攻擊(black-box attack).白盒攻擊假設(shè)攻擊者已獲得關(guān)于目標(biāo)模型的一切信息，如模型結(jié)構(gòu)、參數(shù)、梯度、訓(xùn)練過程和訓(xùn)練數(shù)據(jù).黑盒攻擊則假設(shè)攻擊者只能訪問目標(biāo)模型的輸出，而不能訪問其內(nèi)部參數(shù)和梯度信息.相比之下，黑盒攻擊更加接近于真實(shí)的攻防場景，而白盒攻擊常被用來作為一種最壞情況下的模型魯棒性評價(jià)方式.按照攻擊目標(biāo)的不同，對抗性攻擊可以分類為有目標(biāo)攻擊(targeted attack)和無目標(biāo)攻擊(non-targeted attack).有目標(biāo)攻擊致力于將模型的輸出誤導(dǎo)至一個攻擊者預(yù)先指定的錯誤類別；無目標(biāo)攻擊則僅希望模型預(yù)測結(jié)果發(fā)生錯誤，以降低目標(biāo)模型的可用性.需要注意的是，對抗攻擊在大型網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)上都具有普遍的攻擊效果.因此在云邊端場景下，需要對大型網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)兩者的對抗魯棒性加以全面考慮.

1.2 對抗攻擊的機(jī)理分析

由于對抗樣本為深度學(xué)習(xí)模型帶來了廣泛的安全威脅，許多研究者開始關(guān)注對抗樣本的存在機(jī)理.目前的研究者主要從數(shù)據(jù)和模型的角度給出分析解釋.在數(shù)據(jù)角度方面，一些研究認(rèn)為對抗樣本之所以能夠?qū)е履Ｐ皖A(yù)測錯誤，是因?yàn)樗鼈兾挥跀?shù)據(jù)流形(data manifold)的低概率密度區(qū)域：Arpit等人[26]分析了神經(jīng)網(wǎng)絡(luò)記憶訓(xùn)練數(shù)據(jù)的能力，發(fā)現(xiàn)記憶程度高的模型更容易受到對抗樣本的影響.在模型角度方面，Goodfellow等人[7]認(rèn)為深度神經(jīng)網(wǎng)絡(luò)的線性性質(zhì)和樣本輸入特征空間的高維度是對抗樣本存在的重要機(jī)理.雖然深度神經(jīng)網(wǎng)絡(luò)使用非線性激活函數(shù)，但是為了避免諸如梯度消失等問題，人們使深度神經(jīng)網(wǎng)絡(luò)僅在激活函數(shù)的線性區(qū)域內(nèi)運(yùn)行，如常用激活函數(shù)ReLU和Maxout的線性部分.這種做法導(dǎo)致對抗擾動能夠沿著網(wǎng)絡(luò)逐層累加，直到扭轉(zhuǎn)DNN的預(yù)測結(jié)果.此外，還有一些研究者[27]認(rèn)為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)傾向于學(xué)習(xí)數(shù)據(jù)集中的統(tǒng)計(jì)規(guī)律，而非高度抽象的概念.CNN的這一這種特性可能與對抗樣本的遷移性密切相關(guān)：不同的深度學(xué)習(xí)模型可能學(xué)習(xí)了相同的統(tǒng)計(jì)數(shù)據(jù)，因此容易受到遷移的對抗攻擊.

2 針對大型網(wǎng)絡(luò)的對抗攻擊

如第1節(jié)所述，對抗攻擊可按攻擊場景分為白盒攻擊和黑盒攻擊.白盒攻擊主要有基于梯度的攻擊和基于優(yōu)化的攻擊2種算法實(shí)現(xiàn)思路；黑盒攻擊則分為黑盒遷移攻擊和黑盒查詢攻擊.在這些基礎(chǔ)攻擊算法的基礎(chǔ)上，最新的研究又發(fā)展出了集成白盒攻擊和自動化黑盒攻擊，進(jìn)一步提高了對抗攻擊成功率并降低了算法調(diào)參門檻.

2.1 基于梯度的白盒攻擊

基于梯度的白盒攻擊利用目標(biāo)模型的梯度信息指導(dǎo)對抗擾動的生成，包括2種典型方法：單步式梯度攻擊快速梯度符號法(fast gradient sign method, FGSM)[7]和投影梯度下降法(projected gradient descent, PGD)[28].FGSM首先計(jì)算模型關(guān)于輸入數(shù)據(jù)的一階梯度信息,然后沿著梯度上升方向進(jìn)行單步優(yōu)化生成大小為ε的對抗擾動(擾動大小不超過預(yù)定義的ε時(shí)可保其視覺隱蔽性)，即：

x′=x+ε·sgn(?xL(f(x),y)),

(1)

Madry等人[28]在BIM的基礎(chǔ)上引入了隨機(jī)初始化，稱之為投影梯度下降法(projected gradient descent, PGD)，進(jìn)一步提高了白盒攻擊的成功率.PGD是目前理論上最優(yōu)的一階對抗攻擊算法.經(jīng)過隨機(jī)初始化之后，PGD反復(fù)利用一階梯度信息優(yōu)化對抗擾動σ，一旦σ的擾動值超出限定范圍S，就用投影操作將對抗樣本x′投影到規(guī)定范圍x+S之內(nèi).PGD的迭代公式為

(2)

2.2 基于優(yōu)化的白盒攻擊

基于優(yōu)化的攻擊將對抗樣本生成的攻擊成功目標(biāo)和擾動不可察覺性目標(biāo)分別寫為目標(biāo)函數(shù)或者限制性條件，構(gòu)成一個帶有等式或不等式約束的限制性優(yōu)化問題.然后可使用拉格朗日松弛法(Lagrangian relaxation)將其轉(zhuǎn)化為非限制性優(yōu)化問題，并應(yīng)用某種優(yōu)化算法進(jìn)行求解.目前基于優(yōu)化的白盒攻擊的最典型方法是C&W攻擊[30].

C&W攻擊的優(yōu)化目標(biāo)是使攻擊目標(biāo)類別和除了目標(biāo)類別之外置信度最高的類別的Logit值的距離最小，直至攻擊目標(biāo)類別的Logit值反超其他所有類別的Logit值，從而將模型的預(yù)測結(jié)果誤導(dǎo)為攻擊者所指定的目標(biāo)類別.在模型的預(yù)測結(jié)果發(fā)生翻轉(zhuǎn)后，C&W攻擊會繼續(xù)增大目標(biāo)類別的Logit值與第二大Logit值之間的差距，直到達(dá)到一個預(yù)設(shè)值κ.這種做法使生成的對抗樣本具有一定的攻擊冗余度，能夠穩(wěn)定地使目標(biāo)模型出錯.另外，κ還具有提升對抗樣本遷移性的作用，高的κ值會提高對抗樣本的遷移性.基于此，C&W攻擊成功攻破了使用防御性蒸餾(defensive distillation)[31]的目標(biāo)模型，證明了該模型的防御方法是不可靠的.

2.3 集成白盒攻擊

PGD攻擊和C&W攻擊雖然已經(jīng)達(dá)到了相對較高的白盒攻擊成功率，但是仍有一些研究者在繼續(xù)進(jìn)行嘗試，并成功推動了白盒對抗攻擊的邊界.其中的典型代表就是集成對抗攻擊AutoAttack[32]和CAA[33].相比于PGD,AutoAttack主要做了以下3點(diǎn)改進(jìn)：1)從強(qiáng)化學(xué)習(xí)的角度引入攻擊步長的探索-利用策略，代替原來的固定步長策略；2)引入新的替代損失(surrogate loss)代替原來的交叉熵?fù)p失(cross entropy loss)；3)用4種特點(diǎn)各異的攻擊形成并行集成攻擊，取代原來單一的攻擊模式.在AutoAttack基礎(chǔ)上，CAA進(jìn)一步引入串行集成，并用啟發(fā)式智能搜索算法自動化搜尋攻擊策略和超參數(shù)配置，進(jìn)一步提高了集成白盒對抗攻擊的攻擊成功率.

2.4 黑盒遷移攻擊

PGD等對抗攻擊雖然實(shí)現(xiàn)了較高的白盒攻擊成功率，但是由于需要獲取目標(biāo)模型的梯度信息，無法在黑盒場景下生成對抗樣本.為了解決這一問題，一種簡單直接的做法是在一個代理模型(surrogate model)上生成對抗樣本，然后利用對抗樣本的遷移性(transferability)攻擊黑盒目標(biāo)模型[34].因此，黑盒遷移攻擊的關(guān)鍵在于如何提高生成的對抗樣本的遷移性.MI-FGSM[35]是最早的提升對抗樣本遷移性的攻擊算法之一.它采用迭代方式生成對抗樣本.與傳統(tǒng)的白盒梯度迭代攻擊不同的是，MI-FGSM在迭代式上加入動量項(xiàng)(momentum term)，以穩(wěn)定下降梯度，減輕過擬合，提升對抗樣本的遷移性.在MI-FGSM的基礎(chǔ)上，后續(xù)研究者又從多種角度提出了對抗樣本遷移性的提升方法，比如基于改進(jìn)梯度方向的攻擊NI-FGSM[36],VMI-FGSM[37]等；基于輸入變換的攻擊如DIM[38],TIM[39],SIM[36]等；基于中間層特征的攻擊如FDA[40],FIA[41]等.此外，也有一些研究者從模型結(jié)構(gòu)的角度研究對抗樣本的遷移性，比如Wu等人[42]發(fā)現(xiàn)DNN中的跳躍連接(skip connection)結(jié)構(gòu)有利于遷移性更強(qiáng)的對抗樣本的生成.在多個代理模型上以集成的方式生成對抗樣本，也可以大幅度提升對抗樣本的遷移性.

2.5 黑盒查詢攻擊

黑盒查詢攻擊通過反復(fù)查詢目標(biāo)模型的輸出結(jié)果對樣本梯度進(jìn)行估計(jì)，從而實(shí)現(xiàn)對抗樣本的生成.黑盒查詢攻擊不需要訓(xùn)練代理模型，但是往往需要大量查詢目標(biāo)模型.如何在生成攻擊成功的對抗樣本的前提下降低查詢目標(biāo)模型的次數(shù)，是黑盒查詢攻擊研究的主要問題.根據(jù)目標(biāo)模型提供的輸出結(jié)果的不同，黑盒查詢攻擊又可分為基于分?jǐn)?shù)的攻擊(score-based attack)和基于決策的攻擊(decision-based attack).ZOO[43]是最早的黑盒查詢攻擊之一，是一種基于分?jǐn)?shù)的攻擊.ZOO用坐標(biāo)梯度下降算法生成對抗樣本，在優(yōu)化過程中使用對稱差分來估計(jì)梯度.基于決策的攻擊的3種典型方法是基于邊界的攻擊(BA[44],QEBA[45]等)，基于優(yōu)化的攻擊[46]和基于進(jìn)化算法的攻擊[47].類似于集成白盒攻擊CAA，目前已有研究者利用程序生成(program synthesis)、靜態(tài)分析(static analysis)、剪枝搜索等技術(shù)開發(fā)出自動化黑盒攻擊AutoDA[48],能夠大幅度降低黑盒查詢攻擊的查詢復(fù)雜度.

3 針對輕量化網(wǎng)絡(luò)的對抗攻擊

輕量化網(wǎng)絡(luò)同樣面臨著對抗樣本的安全威脅.目前針對輕量化網(wǎng)絡(luò)的對抗攻擊還處于初級階段.現(xiàn)有的研究主要基于傳統(tǒng)對抗攻擊方法對輕量化網(wǎng)絡(luò)與大型網(wǎng)絡(luò)的對抗樣本魯棒性進(jìn)行了對比分析和實(shí)驗(yàn)驗(yàn)證.在量化網(wǎng)絡(luò)的白盒魯棒性方面，已有研究者設(shè)計(jì)出有效的迭代式攻擊算法PGD++，能夠克服量化網(wǎng)絡(luò)中的梯度消失問題，從而實(shí)現(xiàn)更有效的攻擊.

3.1 輕量化模型對抗攻擊安全風(fēng)險(xiǎn)

模型輕量化是通過改變神經(jīng)網(wǎng)絡(luò)的參數(shù)表示、稀疏度、運(yùn)算過程、網(wǎng)絡(luò)結(jié)構(gòu)，從而生成適應(yīng)于終端設(shè)備部署的輕量化模型的過程.目前主流的模型輕量化技術(shù)包括模型量化(model quantization)、網(wǎng)絡(luò)剪枝(network pruning)、低秩矩陣近似(low-rank approximation)、知識蒸餾(knowledge distillation)和緊湊網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)(compact network arihitecture design)[49].以上各種方法從不同角度出發(fā)實(shí)現(xiàn)模型輕量化，不同輕量化方法也可同時(shí)使用，以達(dá)到更高的壓縮率.

1)模型量化(model quantization).將用32位浮點(diǎn)數(shù)表示的DNN參數(shù)替換為低精度浮點(diǎn)數(shù)或定點(diǎn)數(shù)以實(shí)現(xiàn)模型的壓縮和加速.常用的量化精度有16位、8位、乃至1～5位.目前，8位以上的模型量化技術(shù)已經(jīng)非常成熟，能夠?qū)崿F(xiàn)在預(yù)測準(zhǔn)確率幾乎不變的情況下大幅縮小模型大小并提高推理速度，進(jìn)入到了工業(yè)化部署階段.兩大深度學(xué)習(xí)框架PyTorch和TensorFlow都在新的發(fā)行版本中推出了對8位模型量化的支持.更低精度的量化仍然處在理論研究和算法創(chuàng)新階段.模型量化有多種技術(shù)細(xì)節(jié)可供選擇和考慮，包括量化值的均勻性、量化區(qū)間的對稱性、激活值的校準(zhǔn)方法、量化粒度、微調(diào)流程等.在實(shí)踐中，往往需要根據(jù)應(yīng)用需求和數(shù)據(jù)集規(guī)模來決定具體的量化方案.

2)網(wǎng)絡(luò)剪枝(network pruning).其基本假設(shè)是腦損傷效應(yīng)(brain damage effect)[50]：DNN的模型參數(shù)存在大量冗余，因此即使去掉大量模型參數(shù)，也依然能基本保持模型性能.依據(jù)這一假設(shè)，網(wǎng)絡(luò)剪枝刪除DNN中大量的冗余參數(shù)，從而實(shí)現(xiàn)DNN模型的稀疏化.按照剪枝粒度的不同，網(wǎng)絡(luò)剪枝可分為過濾器級的剪枝(filter-level pruning)、組級剪枝(group-level pruning)、向量級別和2D卷積核級別的剪枝(vector-level pruning and 2D kernel-level pruning)和細(xì)粒度剪枝(fine-grained pruning).在算法實(shí)現(xiàn)上，一般對每個參數(shù)矩陣引入一個同型的掩碼矩陣來表示該處參數(shù)的去留.參數(shù)矩陣與掩碼矩陣相乘即可獲得剪枝后的參數(shù)矩陣.在剪枝時(shí)，可使用反向傳播算法對掩碼矩陣進(jìn)行優(yōu)化.為了解決優(yōu)化過程中剪枝操作不可導(dǎo)的問題，可使用STE算法.

3)低秩近似(low-rank approximation).通過將DNN參數(shù)矩陣進(jìn)行低秩分解，從而實(shí)現(xiàn)參數(shù)的稀疏化存儲和計(jì)算加速.DNN卷積核參數(shù)是一個4D張量W，4個維度分別是卷積核的寬、高、輸入通道數(shù)和輸出通道數(shù).如果可以將4D張量中某幾個維度合并，形成低維矩陣W′，但依然保持卷積運(yùn)算結(jié)果不發(fā)生大的變化，就能實(shí)現(xiàn)模型的壓縮和加速.這就是低秩近似的出發(fā)點(diǎn).矩陣分解的常用方法是奇異值分解(singular value decomposition, SVD).低秩矩陣近似技術(shù)的2個關(guān)鍵點(diǎn)在于如何對4個維度進(jìn)行重排，以及在哪些維度上引入稀疏化限制條件進(jìn)行優(yōu)化.根據(jù)將卷積核參數(shù)矩陣分解的部分個數(shù)，低秩矩陣分解可大致分為3類：兩成分分解、三成分分解和四成分分解.

4)知識蒸餾(knowledge distillation).使用一個大模型(也稱為教師模型，teacher model)對一個小模型(也稱為學(xué)生模型，student model)進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)模型的輕量化.在訓(xùn)練過程中，大模型的預(yù)測結(jié)果(也稱為軟標(biāo)簽，soft label)取代普通標(biāo)簽的獨(dú)熱編碼，作為小模型的訓(xùn)練標(biāo)簽.知識蒸餾能將教師模型所包含的信息傳遞到學(xué)生模型中，使學(xué)生模型達(dá)到和教師模型相近的預(yù)測準(zhǔn)確率，而學(xué)生模型的規(guī)模和大小要遠(yuǎn)小于教師模型，因此可以實(shí)現(xiàn)模型壓縮和加速.除了使用軟標(biāo)簽對學(xué)生模型的訓(xùn)練進(jìn)行指導(dǎo)之外，研究者也發(fā)展出了利用大模型的中間層特征指導(dǎo)學(xué)生模型的訓(xùn)練.

5)緊湊網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)(compact network archi-tecture design).它從模型結(jié)構(gòu)的角度實(shí)現(xiàn)模型的壓縮和加速.NIN(Network-In-Network)是一種較早的緊湊網(wǎng)絡(luò)結(jié)構(gòu)，其中大量使用了1×1卷積，以在有限計(jì)算復(fù)雜度的情況下提升模型容量.NIN還放棄了全連接層的使用，轉(zhuǎn)而使用全局平均值池化(global average pooling).分枝(branching)也是常用的緊湊網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法之一，被緊湊模型SqueezeNet[51]大量使用.SqueezeNet能夠以0.5MB的模型大小實(shí)現(xiàn)AlexNet級別的預(yù)測準(zhǔn)確率，并實(shí)現(xiàn)了13倍加速.MobileNet[52]在ShuffleNet的基礎(chǔ)上進(jìn)一步使用了分枝策略，在VGG16模型的基礎(chǔ)上實(shí)現(xiàn)了32倍壓縮和27倍加速，但模型預(yù)測準(zhǔn)確率卻和VGG16相當(dāng).目前，MobileNet已經(jīng)實(shí)現(xiàn)了移動端部署，在多種移動端深度學(xué)習(xí)應(yīng)用中被使用.

與大型網(wǎng)絡(luò)一樣，輕量化網(wǎng)絡(luò)也同樣面臨著對抗樣本的安全風(fēng)險(xiǎn).然而由于輕量化模型在模型參數(shù)、稀疏度、運(yùn)算機(jī)理等方面與大型網(wǎng)絡(luò)存在諸多不同，因此在對抗魯棒性方面也具有不同的表現(xiàn).已有很多研究者從實(shí)驗(yàn)角度進(jìn)行對比分析，以研究輕量化網(wǎng)絡(luò)的對抗魯棒性.目前的研究主要集中于量化網(wǎng)絡(luò)和剪枝網(wǎng)絡(luò)方面.

在量化網(wǎng)絡(luò)的對抗魯棒性方面，Galloway等人[53]最早對BNN的白盒魯棒性進(jìn)行了實(shí)驗(yàn)探究，發(fā)現(xiàn)BNN存在梯度掩碼(gradient masking)，普通的迭代式對抗攻擊對BNN的攻擊成功率比較低.Bernhard等人[54]則關(guān)注于量化網(wǎng)絡(luò)的黑盒魯棒性.他們發(fā)現(xiàn)由于量化漂移(quantization shift)和梯度偏移(gradient misalignment)現(xiàn)象，對抗樣本在不同精度的量化網(wǎng)絡(luò)之間的遷移性比較差.

在剪枝網(wǎng)絡(luò)的對抗魯棒性方面，研究者普遍認(rèn)為將大型網(wǎng)絡(luò)進(jìn)行剪枝能夠提升剪枝后網(wǎng)絡(luò)的白盒對抗魯棒性.Matachana等人[55]則實(shí)驗(yàn)測評了剪枝網(wǎng)絡(luò)和量化網(wǎng)絡(luò)在UAP黑盒攻擊上的魯棒性.

以上工作均是基于傳統(tǒng)的對抗攻擊方法對輕量化網(wǎng)絡(luò)的魯棒性進(jìn)行測評.然而，輕量化網(wǎng)絡(luò)相比于大型網(wǎng)絡(luò)具有自身的獨(dú)特性，僅使用傳統(tǒng)攻擊方法有可能高估輕量化網(wǎng)絡(luò)的魯棒性.為此，已有少量研究嘗試針對輕量化網(wǎng)絡(luò)設(shè)計(jì)更為有效的對抗攻擊.

3.2 針對量化網(wǎng)絡(luò)的白盒對抗攻擊

目前針對輕量級模型的對抗攻擊研究還比較少，主要集中于針對量化模型和緊湊網(wǎng)絡(luò)結(jié)構(gòu)的對抗攻擊方面.模型量化將用32位浮點(diǎn)數(shù)表示的DNN參數(shù)替換為低精度浮點(diǎn)數(shù)或定點(diǎn)數(shù)以實(shí)現(xiàn)模型的壓縮和加速.常用的量化精度有16位、8位、乃至1～5位.模型量化有多種方案可供選擇.按照模型訓(xùn)練流程來分，可分為量化感知訓(xùn)練(quantization aware training, QAT)和后訓(xùn)練量化(post training quantization, PTQ).QAT量化對模型準(zhǔn)確率損失較小，但計(jì)算開銷大；PTQ對模型準(zhǔn)確率損失較大，但計(jì)算開銷小.

早期的研究普遍發(fā)現(xiàn)相比于全精度模型，極低精度(1～4位)的量化模型更難被對抗攻擊，尤其對于二值網(wǎng)絡(luò)(binarized neural network, BNN)防御效果更為明顯[56].2022年，Gupta等人[9]指出基于QAT得到的二值網(wǎng)絡(luò)表現(xiàn)出更強(qiáng)的對抗魯棒性是因?yàn)槠浯嬖谥荻妊诖a問題[57]，而梯度掩碼已被證明可被攻破，是一種不安全的防御.為了解決迭代式方法攻擊二值網(wǎng)絡(luò)時(shí)產(chǎn)生的梯度掩碼問題，Gupta等人提出了基于溫度縮放(temperature scaling)的迭代式對抗攻擊PGD++，成功將量化模型在白盒場景下的魯棒性降低到0.對于不存在梯度掩碼問題的目標(biāo)模型，PGD++仍可保持和傳統(tǒng)的PGD方法相同的攻擊成功率.

3.3 針對緊湊網(wǎng)絡(luò)結(jié)構(gòu)的白盒對抗攻擊

Huang等人[58]指出，部署在手機(jī)等移動端設(shè)備上的深度學(xué)習(xí)模型可以被攻擊者用軟件逆向技術(shù)提取.他們發(fā)現(xiàn)，很多手機(jī)應(yīng)用軟件(application, APP)使用的深度學(xué)習(xí)模型為開源模型，或者是基于開源模型進(jìn)行微調(diào)的模型.根據(jù)對這些APP中使用的模型進(jìn)行對比分析，他們發(fā)現(xiàn)TensorFlow Lite的開源MobileNet預(yù)訓(xùn)練模型被廣泛使用，這使攻擊者可以對這些緊湊網(wǎng)絡(luò)結(jié)構(gòu)發(fā)動極具針對性的對抗攻擊.Huang等人用FGSM,PGD等常見對抗攻擊算法對10種不同的安卓(Android)手機(jī)APP進(jìn)行了攻擊測試，發(fā)現(xiàn)可達(dá)到平均23%的攻擊成功率.Huang等人的工作通過實(shí)驗(yàn)揭露了移動端輕量化模型所面臨的對抗攻擊安全威脅，并指出大量使用的開源預(yù)訓(xùn)練模型和對深度學(xué)習(xí)模型知識產(chǎn)權(quán)保護(hù)的不重視是導(dǎo)致這一威脅如此嚴(yán)重的重要原因.

小結(jié)：目前研究者已經(jīng)開發(fā)出了各種威脅模型下的大型網(wǎng)絡(luò)對抗攻擊算法，能夠較為全面地暴露大型網(wǎng)絡(luò)的對抗樣本脆弱性，并為后續(xù)的對抗脆弱性修復(fù)提供鋪墊.針對輕量化網(wǎng)絡(luò)的對抗攻擊研究工作只有白盒攻擊和黑盒遷移攻擊各一篇，相比之下研究仍顯不足，需要后續(xù)的研究者進(jìn)一步探索.對抗樣本的威脅在各種深度學(xué)習(xí)模型上均普遍存在.在研究深度學(xué)習(xí)模型的對抗樣本安全威脅和設(shè)計(jì)防御方法時(shí)，需要結(jié)合模型本身的特性和應(yīng)用場景進(jìn)行分析.本文將以上攻擊方法總結(jié)如表1所示，表中部分?jǐn)?shù)據(jù)來源于Dong等人的研究[59].需要注意的是，理論上所有的對抗攻擊均可以任意模型為目標(biāo)模型，根據(jù)攻擊方法最初設(shè)計(jì)是否考慮目標(biāo)模型為大型網(wǎng)絡(luò)或者輕量化模型時(shí)對攻擊效果造成的影響，本文對抗攻擊方法進(jìn)行了總結(jié)，如表1所示：

Table 1 Summary of Adversarial Attacks

4 針對大型網(wǎng)絡(luò)的對抗防御

自從研究者發(fā)現(xiàn)DNN中存在對抗樣本以來，許多研究者嘗試設(shè)計(jì)對抗防御方法.本節(jié)總結(jié)了目前較為主流的3種對抗防御方法，分別是基于對抗訓(xùn)練、基于模型正則化和基于模型結(jié)構(gòu)的對抗防御.這3種方法各有優(yōu)劣，也面臨不同的挑戰(zhàn)和問題.

4.1 基于對抗訓(xùn)練的防御

對抗訓(xùn)練首次在2015年由Goodfellow等人提出[7]，是目前防御對抗攻擊最為有效的一類方法.對抗訓(xùn)練通過在訓(xùn)練集中加入對抗樣本，從而提高模型在對抗樣本上的魯棒性.在對抗訓(xùn)練過程中可以使用任意一種攻擊方法來生成對抗樣本.如FGSM,PGD等.

1)FGSM對抗訓(xùn)練.FGSM對抗訓(xùn)練[7]是首個對抗訓(xùn)練方法，它在模型訓(xùn)練時(shí)使用的數(shù)據(jù)中注入FGSM對抗樣本，將正常樣本和對抗樣本同時(shí)輸入到模型中進(jìn)行訓(xùn)練.FGSM對抗訓(xùn)練的目標(biāo)函數(shù)對正常樣本訓(xùn)練損失和對抗樣本訓(xùn)練損失做加權(quán)和，從而使模型能夠兼顧正常樣本準(zhǔn)確率和對抗樣本準(zhǔn)確率.FGSM對抗訓(xùn)練算法雖然簡單且計(jì)算復(fù)雜度小，能夠在一定程度上提升模型的對抗魯棒性，但被后來的研究者Tramèr等人[60]證實(shí)，基于單步攻擊的對抗訓(xùn)練存在梯度掩膜(gradient masking).這意味著FGSM對抗訓(xùn)練并非一種安全的防御方法，可以被更強(qiáng)的攻擊如R+FGSM和SBA攻擊攻破.另外，F(xiàn)GSM對抗訓(xùn)練只能保證針對FGSM之類的單步式對抗攻擊的防御效果較好，而對迭代式攻擊如BIM,PGD等攻擊的防御效果較差.FGSM對抗訓(xùn)練的另一個缺陷是標(biāo)簽泄漏(label leakage)問題[29].即，F(xiàn)GSM對抗訓(xùn)練的模型在FGSM對抗樣本上甚至獲得了比正常樣本更高的準(zhǔn)確率.這是因?yàn)閱尾降腇GSM攻擊所生成的對抗擾動模式過于簡單，以至于對抗擾動比正常樣本的特征更容易被模型學(xué)習(xí)到.在這種情況下，模型實(shí)現(xiàn)對FGSM對抗樣本的高準(zhǔn)確率，并非是因?yàn)樗_提取了對抗樣本中所包含的正常樣本的正確特征信息，而是因?yàn)樗鼘W(xué)習(xí)到了對抗擾動和正確標(biāo)簽之間的相關(guān)關(guān)系.這樣一來，標(biāo)簽泄露現(xiàn)象就會導(dǎo)致模型針對FGSM對抗樣本過擬合，從而無法防御用其他攻擊算法生成的對抗樣本.

2)PGD對抗訓(xùn)練.PGD對抗訓(xùn)練[28]解決了FGSM對抗訓(xùn)練存在的種種問題，是一種較為有效的防御方法，成為了如今絕大多數(shù)新型對抗訓(xùn)練方法的基礎(chǔ).2018年，Madry等人[28]從魯棒優(yōu)化的角度出發(fā)來研究對抗魯棒性，提出使用PGD攻擊生成對抗樣本進(jìn)行對抗訓(xùn)練.如前所述，PGD是一種通用的一階攻擊，并且是理論上最優(yōu)的一階攻擊.與FGSM對抗訓(xùn)練將正常樣本和對抗樣本混合在一起進(jìn)行訓(xùn)練不同，PGD對抗訓(xùn)練只在對抗樣本上訓(xùn)練模型.PGD對抗訓(xùn)練可視為在以p范數(shù)為距離度量的輸入空間上的Min-Max的鞍點(diǎn)優(yōu)化問題[61].通過在輸入空間中每個樣本鄰域上最差情況(worst case)下的對抗樣本上進(jìn)行訓(xùn)練，PGD對抗訓(xùn)練可以維持模型在樣本鄰域上預(yù)測行為的穩(wěn)定性，從而提高模型在局部區(qū)域的魯棒性.無梯度攻擊SPSA的實(shí)驗(yàn)表明，PGD對抗訓(xùn)練不存在梯度掩碼，是一種有效的防御算法[62].PGD對抗訓(xùn)練的性能與模型容量密切相關(guān).與小容量模型相比，大容量模型可從這種防御方法中獲得更多魯棒性增益.

雖然PGD對抗訓(xùn)練算法原理簡單且防御效果好，但它只能保證模型在對抗訓(xùn)練時(shí)所使用的攻擊類型上具有魯棒性，而不能擴(kuò)展到未知的攻擊類型.另外，PGD對抗訓(xùn)練會損害模型在正常樣本上的預(yù)測準(zhǔn)確率.PGD對抗訓(xùn)練的另一個缺點(diǎn)是其高昂的計(jì)算開銷.由于使用迭代式攻擊PGD作為對抗樣本生成的算法，PGD對抗訓(xùn)練的計(jì)算開銷隨著攻擊迭代輪數(shù)的增加而增加.訓(xùn)練一個PGD對抗訓(xùn)練的魯棒模型，其計(jì)算開銷往往要比正常訓(xùn)練大一個數(shù)量級，這使得PGD對抗訓(xùn)練難以擴(kuò)展到大模型和大規(guī)模數(shù)據(jù)集上.

3)集成對抗訓(xùn)練.集成對抗訓(xùn)練(ensemble adversarial training, EAT)[60]為了避免PGD對抗訓(xùn)練帶來的計(jì)算開銷問題，使用在其他預(yù)訓(xùn)練模型上遷移攻擊生成的對抗樣本進(jìn)行防御模型的訓(xùn)練.EAT用FGSM攻擊多個預(yù)訓(xùn)練模型生成具有遷移性的對抗樣本，用這些樣本來訓(xùn)練所需的防御模型.EAT的計(jì)算開銷遠(yuǎn)遠(yuǎn)小于PGD對抗訓(xùn)練，可以擴(kuò)展到大規(guī)模數(shù)據(jù)集如ImageNet,且對黑盒遷移攻擊具有良好的防御性.

4)TRADES對抗訓(xùn)練.為了緩解PGD對抗訓(xùn)練損害模型在正常樣本上的預(yù)測準(zhǔn)確率問題，Zhang等人[63]將模型誤差分解為正常預(yù)測誤差和魯棒性誤差.通過對誤差進(jìn)行分解分析，TRADES對抗訓(xùn)練為訓(xùn)練過程引入魯棒正則化項(xiàng)，使決策邊界盡量遠(yuǎn)離訓(xùn)練樣本點(diǎn)，從而更好地權(quán)衡模型正常預(yù)測準(zhǔn)確率和模型魯棒性之間的沖突.

5)MMA對抗訓(xùn)練.MMA對抗訓(xùn)練(max-margin adversarial training)[64]從模型決策邊界優(yōu)化的角度考慮對抗防御問題.在訓(xùn)練過程中，MMA對抗訓(xùn)練針對每個樣本點(diǎn)設(shè)置大小不同的對抗擾動，最大化樣本點(diǎn)與決策邊界的距離，從而提高模型的魯棒性.

6)快速對抗訓(xùn)練.2020年，Wong等人[65]提出快速對抗訓(xùn)練(fast adversarial training)，將隨機(jī)初始化的快速梯度符號法FGSM應(yīng)用于對抗訓(xùn)練的過程.快速對抗訓(xùn)練算法的設(shè)計(jì)原理在于維持甚至提升對抗訓(xùn)練帶來的模型性能的改進(jìn),大幅度降低對抗訓(xùn)練引入的高昂計(jì)算成本，使得對抗訓(xùn)練更有實(shí)際應(yīng)用價(jià)值.

4.2 基于模型正則的對抗防御

基于正則化的對抗防御方法是從模型的預(yù)測分布、輸入梯度的敏感性等角度出發(fā)，在模型訓(xùn)練的損失函數(shù)上引入正則化約束項(xiàng)，以抵御輸入擾動對模型預(yù)測的干擾，改善模型防御性能的方法.基于正則化的對抗防御可以被視為一種將先驗(yàn)知識整合到模型中的方法.這種先驗(yàn)知識包括數(shù)據(jù)不變性，以及神經(jīng)網(wǎng)絡(luò)中權(quán)重和激活值相關(guān)的先驗(yàn)知識.正則化是機(jī)器學(xué)習(xí)中一個重要的研究領(lǐng)域.

1)Weight decay正則防御.Weight decay[66]是一種常見的正則化方法，它與隨機(jī)梯度下降結(jié)合時(shí)等價(jià)于2正則化.Dropout[67]也是一種常見的正則化方法.Dropout也可以看作是在神經(jīng)網(wǎng)絡(luò)中間層的一種特征空間數(shù)據(jù)增強(qiáng)的形式.深度收縮網(wǎng)絡(luò)(deep contractive network, DCN)早期利用一種正則化來提高深度神經(jīng)網(wǎng)絡(luò)的防御能力的方法，這種正則化來自于收縮式自動編碼器(contractive autoencoders)[68].收縮約束鼓勵模型對輸入空間中無關(guān)方向上的小擾動保持不變.這種方法在分類損失，即要求網(wǎng)絡(luò)捕捉輸入中的有用信息和收縮損失，即鼓勵丟棄冗余信息之間建立了一種約束.因此，該模型通常對對抗攻擊引入的小擾動具有一定的防御能力.

2)Mixup正則防御.2018年提出的Mixup是一種簡單有效的正則化技術(shù)[69].它將來自2個不同類的獨(dú)立樣本進(jìn)行混合后輸入網(wǎng)絡(luò)，并使用相同數(shù)量的混合標(biāo)簽作為目標(biāo)，對神經(jīng)網(wǎng)絡(luò)進(jìn)行正則化，以便在訓(xùn)練樣本之間實(shí)現(xiàn)簡單的線性行為.

Manifold Mixup[70]是Mixup從輸入空間到特征空間的推廣.Mixup首先隨機(jī)選擇網(wǎng)絡(luò)的某一層k，然后從輸入層開始執(zhí)行正向傳播直到到達(dá)該k層，在該隱藏層進(jìn)行Mixup操作繼續(xù)正向傳播，并根據(jù)Mixup改變目標(biāo)標(biāo)簽向量.也就是說，Manifold Mixup是利用樣本語義組合作為額外的訓(xùn)練信號，獲得深層表征下具有平滑決策邊界的神經(jīng)網(wǎng)絡(luò).

3)魯棒優(yōu)化正則防御.另外，一些研究通過將模型魯棒性優(yōu)化目標(biāo)與正則化方法融合來改進(jìn)模型的魯棒性，以防御對抗樣本.比如，2018年Jakubovitz等人[71]將雙反向傳播(double backpropagation)方法[72]應(yīng)用于對抗防御.該方法從理論分析角度出發(fā)，通過最小化模型雅可比矩陣的Frobeniu范數(shù)來達(dá)到防御目的.該方法被證明在保持網(wǎng)絡(luò)測試精度的同時(shí)具有相對較強(qiáng)的魯棒性.隨后，Ross等人[73]證明了梯度正則化可以使模型更加魯棒，并可作為模型預(yù)測的機(jī)理解釋.Li等人[74]提出了類間樣本引導(dǎo)的跨決策邊界自適應(yīng)對抗調(diào)優(yōu)方法，通過優(yōu)化模型次優(yōu)的局部決策邊界來提高模型的魯棒性.

4)LLR正則防御.從對抗樣本生成迭代過程的角度考慮，如果使用迭代輪數(shù)較低的攻擊算法來生成對抗樣本，就有可能降低對抗訓(xùn)練的計(jì)算開銷.然而，這樣的做法雖然可以產(chǎn)生對弱攻擊具有魯棒性的模型，但會產(chǎn)生梯度混淆問題，在強(qiáng)攻擊下往往會失效.特別是，深度神經(jīng)網(wǎng)絡(luò)往往通過高度非線性化來學(xué)習(xí)基于梯度的攻擊，這使其更加容易發(fā)生梯度混淆現(xiàn)象.深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)非線性降低了用少量迭代輪數(shù)快速生成對抗樣本的可行性[62].相反，如果深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練樣本的鄰域內(nèi)是線性的，那么就可以通過局部線性化近似計(jì)算梯度，從而避免梯度混淆問題.基于以上發(fā)現(xiàn)，Qin等人[75]引入了一種新的正則化器LLR(local linearity regularization)，鼓勵深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)點(diǎn)附近線性化，在提高魯棒性的同時(shí)懲罰梯度混淆.

5)梯度正則防御.梯度正則防御由于其強(qiáng)的解釋性和理論支撐引起了研究者們越來越多的關(guān)注.Hoffman等人[76]提出通過迫使輸入類分布與分類器輸出的雅可比矩陣的近似性，從而用更低的計(jì)算成本最小化雅可比矩陣的范數(shù).Simon-Gabriel等人[77]證明了利用雙反向傳播方法訓(xùn)練的模型等價(jià)于采用2生成樣本進(jìn)行對抗訓(xùn)練的模型.Li等人[78]從高判別梯度映射形成機(jī)理出發(fā)，通過樣本正確預(yù)測的概率分布先驗(yàn)行為約束模型的梯度信息，提出基于梯度顯著性信息分布偏置的類雅可比防御方法.Etmann等人[79]使用雙反向傳播訓(xùn)練魯棒模型，研究了非線性模型中的魯棒性和特征對齊之間的聯(lián)系.

4.3 基于模型結(jié)構(gòu)的對抗防御

一些研究者嘗試通過引入輔助檢測器或去噪器來實(shí)現(xiàn)對抗防御.MagNet[80]是最早利用一對自動編碼器即一個Detector和一個Reformer網(wǎng)絡(luò)來防御對抗攻擊的方法之一.具體而言，Detector網(wǎng)絡(luò)用于檢測輸入樣本是否具有對抗性，而Reformer網(wǎng)絡(luò)用于從對抗輸入中清除對抗干擾，然后將樣本放入到干凈數(shù)據(jù)的集合中.但是，整個MagNet是可微的，這使得它在白盒設(shè)置中很容易受到攻擊.為了防御白盒攻擊，在實(shí)踐中可以采用多個Detector網(wǎng)絡(luò)和Reformer網(wǎng)絡(luò)的方式，在推斷時(shí)隨機(jī)選擇2個候選的Detector網(wǎng)絡(luò)和Reformer網(wǎng)絡(luò).實(shí)驗(yàn)表明MagNet可以防御多種對抗攻擊包括FGSM,BIM,DeepFool和C&W攻擊.然而，Carlini和Wagner的研究[81]發(fā)現(xiàn)MagNet針對SBA攻擊仍然是脆弱的.

2018年，研究者提出了PixelDefend[82]和Defense-GAN[83]對抗樣本去噪方法.這些方法僅使用在正常樣本上訓(xùn)練過的生成模型來消除對抗干擾，其核心思想是將對抗樣本映射到生成器的流形分布上，從而可以將對抗輸入中的擾動剔除.盡管額外的梯度下降步驟增加了計(jì)算復(fù)雜度，但是Defense-GAN更難被基于梯度的攻擊所欺騙，因?yàn)楣粽弑仨氝M(jìn)行梯度下降迭代優(yōu)化操作.

與在輸入空間中操作的基于去噪的防御方法不同，F(xiàn)N網(wǎng)絡(luò)(fortified networks)[84]是在神經(jīng)網(wǎng)絡(luò)的表征層中操作的一種基于去噪的防御方法.在隱藏層中而不是在輸入空間中執(zhí)行去噪操作的優(yōu)點(diǎn)之一是隱藏層中允許使用簡單的生成轉(zhuǎn)換模型，如去噪的自動編碼器DAE(denoising autoencoders)[85]等.但是前人的研究表明，在輸入空間中使用生成轉(zhuǎn)換模型的防御機(jī)制效果并不理想.此外，與輸入空間的特征相比，神經(jīng)網(wǎng)絡(luò)的表征層特征具有更簡單的統(tǒng)計(jì)特征(statistical properties)[86].

最近，相似于FN網(wǎng)絡(luò)，Xie等人[87]提出了一種去噪特征映射方法，該方法利用經(jīng)典的去噪算法Non-local Means構(gòu)建去噪模塊，并接入Skip connection將去噪前后的特征映射相連接，避免去噪過程中帶來的信息損失.Yang等人[88]提出了一種基于預(yù)處理的防御方法，稱為ME-Net.該方法對模型輸入進(jìn)行預(yù)處理，即先按照一定的概率p在輸入圖像中隨機(jī)丟棄像素值，希望破壞對抗性噪聲的結(jié)構(gòu).然后利用矩陣估計(jì)(matrix estimation, ME)算法重構(gòu)輸入圖像.

不同于基于去噪的防御方法，2020年研究者還提出了一種利用附加BN(batch normalization)層來進(jìn)行對抗防御的方法[89]，該方法用一個的BN模塊去估計(jì)對抗樣本的分布，而用另一個BN估計(jì)干凈樣本的分布.此外，2021年Bai等人[90]提出通道感知激活(channel-wise activation)模塊，在不同的通道之間學(xué)習(xí)一個不同的權(quán)重，使與類別無關(guān)的通道做一些壓縮.

4.4 梯度掩碼

梯度掩碼(gradient masking)是一種不可靠的防御方式，可以被攻擊者采用相應(yīng)的方法攻破.在對抗防御的研究史上，人們一開始并沒有意識到梯度掩碼的不安全性，直到后來帶有梯度掩碼的防御方法被一一攻破.如今，研究者在設(shè)計(jì)新的對抗防御方法時(shí)都會確保防御效果不是由梯度掩碼效應(yīng)導(dǎo)致的.

1)溫度編碼.溫度編碼(thermometer encoding)[91]是一種基于假設(shè)的防御方法，即神經(jīng)網(wǎng)絡(luò)的線性特性使其容易受到攻擊[7].溫度編碼將輸入數(shù)據(jù)量化和離散化，有效地忽略了對抗攻擊所帶來的微小擾動的影響.具體地，輸入信號首先根據(jù)所需的離散化水平l進(jìn)行量化.給定輸入信號xi的第i個元素，量化函數(shù)q(xi)返回最大的索引k∈{1,2,…,l}.可以看出，小于最小離散閾值的微小擾動不會對溫度編碼的信號產(chǎn)生影響.此外，溫度編碼可以作為一種防御方式，因?yàn)槠涫欠蔷€性和不可微的，這使得攻擊者更難計(jì)算梯度.Buckman等人[91]研究表明溫度編碼與對抗訓(xùn)練的結(jié)合具有較強(qiáng)的對抗魯棒性，性能甚至超過PGD對抗訓(xùn)練.然而，溫度編碼被認(rèn)為依賴于梯度掩模[57]，即該方法為了增加模型的攻擊難度和攻擊求解預(yù)算，對模型的梯度信息進(jìn)行隱藏.攻擊者可采用近似模型梯度的方式，并且對BPDA攻擊失效.

2)防御蒸餾(defensive distillation)[31].防御蒸餾是一種通過訓(xùn)練2個網(wǎng)絡(luò)來工作的防御方法.其中一個Student模型被訓(xùn)練去逼近另一個Teacher模型.具體而言，它首先在輸出層使用溫度(temperature)常數(shù)T修改Softmax函數(shù)訓(xùn)練Teacher模型，而更高的溫度導(dǎo)致Softmax更平坦，從而可在決策過程中引入更多的噪音.訓(xùn)練完第1個模型(Teacher模型)后，使用第1個網(wǎng)絡(luò)的預(yù)測作為訓(xùn)練數(shù)據(jù)的標(biāo)簽來訓(xùn)練第2個模型(Student模型).而在模型推斷過程中，蒸餾模型的溫度常數(shù)設(shè)置T=1.Papernot等人[31]展示了如何增加Softmax函數(shù)的T導(dǎo)致概率向量隨著T→∞ 收斂到1/C.換句話說，Teacher模型和Student模型的預(yù)測都被訓(xùn)練得很平穩(wěn).模型關(guān)于輸入特征的雅可比矩陣與T成反比，即，T值越高，對輸入特征的依賴性越低.因此，當(dāng)在模型推斷期間將T恢復(fù)到1時(shí)，只會使概率向量更加離散，而不會改變模型的雅可比矩陣，從而得到一個對輸入的微小擾動敏感度比較低的模型.盡管防御蒸餾對JSMA-F攻擊展示出了較強(qiáng)的魯棒性，但是對后續(xù)提出的更強(qiáng)的攻擊算法如JSMA-Z攻擊[92]、SBA攻擊[92]以及C&W攻擊[30]無法實(shí)現(xiàn)有效的防御.Carlini和Wagner對這種防御進(jìn)行了評估，并指出防御蒸餾模型如何產(chǎn)生比標(biāo)準(zhǔn)模型更高的Logit值.

小結(jié)：到目前為止，對抗訓(xùn)練仍然是最為有效的提升模型魯棒性的方法.但是對抗訓(xùn)練通常會降低模型在正常樣本上的預(yù)測準(zhǔn)確率，并且無法保證能夠?qū)ξ粗男鹿艟哂恤敯粜?對抗訓(xùn)練在訓(xùn)練時(shí)需要生成對抗樣本，生成對抗樣本的過程大大提高了模型訓(xùn)練的計(jì)算開銷.一方面，對抗樣本的分布不同于正常訓(xùn)練數(shù)據(jù)分布，這使得對抗訓(xùn)練需要更多的訓(xùn)練輪數(shù)才能收斂；另一方面，生成對抗樣本的過程需要進(jìn)行額外的迭代攻擊計(jì)算.這些都極大地增加了對抗訓(xùn)練的計(jì)算開銷.因此對抗訓(xùn)練雖然有效，但卻并非高效的防御方式.如何在模型正常預(yù)測性能、模型魯棒性和計(jì)算開銷之間進(jìn)行很好地權(quán)衡，是未來對抗訓(xùn)練領(lǐng)域的重要研究問題.

總體而言，上述基于模型結(jié)構(gòu)的對抗防御方法大多仍然是基于經(jīng)驗(yàn)的啟發(fā)式算法，無法提供理論上的魯棒性保證.且存在訓(xùn)練周期漫長、適用范圍有限等問題.很多防御方法在很短的時(shí)間就會被后來的對抗攻擊算法攻破.由此可見，研究和發(fā)展與模型參數(shù)結(jié)構(gòu)直接相關(guān)的具有理論支撐和保證的魯棒對抗防御方法，以及對現(xiàn)有實(shí)驗(yàn)防御(empirical defense)的有效性機(jī)制進(jìn)行可信程度解釋是未來的重要發(fā)展方向.目前，已經(jīng)有研究證明梯度掩碼(gradient masking)，是一種不可靠的防御方法.梯度掩碼可分為粉碎梯度(shattered gradients)、隨機(jī)梯度(stochastic gradients)和梯度爆炸/消失(exploding/vanishing gradients).攻擊者可以分別利用無梯度攻擊或遷移攻擊、EOT(expectation over transformation)攻擊和溫度放縮(temperature scaling)方法來破解3種梯度掩碼，實(shí)現(xiàn)成功的對抗攻擊.因此，在評估新的防御方法時(shí)，應(yīng)該確保這種防御方法所帶來的模型魯棒性不是由梯度掩碼導(dǎo)致的.針對大型網(wǎng)絡(luò)的對抗防御總結(jié)如表2所示:

Table 2 Summary of Adversarial Defenses for Large DNNs

5 針對輕量化網(wǎng)絡(luò)的對抗防御

針對輕量化網(wǎng)絡(luò)的對抗防御常常需要考慮如何在模型正常準(zhǔn)確率、模型魯棒性和模型輕量化三者之間進(jìn)行權(quán)衡.為輕量化網(wǎng)絡(luò)設(shè)計(jì)對抗防御往往考慮如何將針對大型網(wǎng)絡(luò)的對抗防御方法遷移到輕量化網(wǎng)絡(luò)上，并結(jié)合輕量化網(wǎng)絡(luò)自身特點(diǎn)進(jìn)行改進(jìn).本節(jié)總結(jié)了目前最新的輕量化網(wǎng)絡(luò)對抗防御技術(shù)，包括對抗訓(xùn)練、模型正則化和多精度模型集成.

5.1 基于對抗訓(xùn)練的對抗防御

如何將原本針對大型網(wǎng)絡(luò)設(shè)計(jì)的對抗訓(xùn)練遷移到輕量化網(wǎng)絡(luò)，達(dá)到模型正常準(zhǔn)確率、模型魯棒性和模型輕量化三者的兼容和權(quán)衡，是針對輕量化網(wǎng)絡(luò)的對抗訓(xùn)練技術(shù)的關(guān)鍵難題.目前的研究已經(jīng)針對模型量化和網(wǎng)絡(luò)剪枝分別提出了相應(yīng)的對抗訓(xùn)練方法，包括隨機(jī)精度對抗訓(xùn)練、基于ADMM的稀疏化對抗訓(xùn)練以及對抗預(yù)訓(xùn)練模型的輕量化.

1)隨機(jī)精度對抗訓(xùn)練.隨機(jī)精度對抗訓(xùn)練是一種基于模型參數(shù)量化的輕量化模型防御技術(shù)，以2021年提出的Double-Win-Quant方法為代表[93].Double-Win-Quant利用了前人發(fā)現(xiàn)的對抗攻擊在不同量化精度的模型之間遷移性較差的特點(diǎn)[54]，提出運(yùn)行時(shí)隨機(jī)改變網(wǎng)絡(luò)的量化精度來提升模型的魯棒性.Double-Win-Quant以可切換量化(switchable quantization)技術(shù)作為基礎(chǔ)，將對抗訓(xùn)練與可切換量化的訓(xùn)練框架相結(jié)合，從而達(dá)到運(yùn)行時(shí)可隨機(jī)切換量化精度的目的.Double-Win-Quant在魯棒性方面相比PGD對抗訓(xùn)練有較大幅度的提升，但所能達(dá)到的壓縮率比較有限，且要求硬件對多種不同精度的運(yùn)算具有一定的支持.

2)基于ADMM的稀疏化對抗訓(xùn)練.研究者發(fā)現(xiàn)對抗訓(xùn)練往往需要較大的模型容量，這使得模型的魯棒性和模型的輕量化要求互相矛盾.為了能夠更好地權(quán)衡模型魯棒性和輕量化目標(biāo)，研究者提出在對抗訓(xùn)練目標(biāo)函數(shù)的基礎(chǔ)上，引入模型輕量化的限制條件，構(gòu)成一個帶有不等式約束的限制性優(yōu)化問題，并用交替方向乘子法(alternating direction method of multipliers, ADMM)進(jìn)行求解[93-94].

Ye等人[94]從網(wǎng)絡(luò)剪枝的角度實(shí)現(xiàn)了基于ADMM的稀疏化對抗訓(xùn)練.他們發(fā)現(xiàn)，直接從剪枝后的輕量化模型開始進(jìn)行對抗訓(xùn)練無法獲得較好的魯棒性，因此提出基于ADMM算法在訓(xùn)練的過程中同時(shí)進(jìn)行對抗訓(xùn)練和剪枝.Gui等人[95]則進(jìn)一步基于ADMM算法提出了對抗訓(xùn)練、網(wǎng)絡(luò)剪枝、低秩矩陣分解和模型參數(shù)量化的統(tǒng)一框架，在保持正常預(yù)測準(zhǔn)確率和對抗魯棒性的前提下最大化提高了壓縮率.

以上2種方法雖然能夠比較好地權(quán)衡模型正常準(zhǔn)確率、模型魯棒性和模型輕量化目標(biāo)，但是也存在著兩大缺點(diǎn)：其一，ADMM框架需要人為預(yù)先指定每一層的稀疏比，因此依賴于領(lǐng)域知識且常常需要多次訓(xùn)練以找出最好的稀疏比配置；其二，對抗訓(xùn)練是非凸優(yōu)化問題，ADMM算法對該問題沒有收斂性保證.為了能夠達(dá)到模型收斂，往往需要延長模型訓(xùn)練時(shí)間.為了解決上述問題，動態(tài)網(wǎng)絡(luò)重裝配(dynamic network rewiring, DNR)方法[96]提出使用一個包含模型正常準(zhǔn)確率、對抗魯棒性、模型稀疏度3方面目標(biāo)的混合損失函數(shù)進(jìn)行模型訓(xùn)練，并結(jié)合稀疏學(xué)習(xí)(sparse learning)方法的優(yōu)點(diǎn)，極大地減小了ADMM稀疏化對抗訓(xùn)練的計(jì)算開銷.DNR方法只需定義一個整體的稀疏率，且可以與結(jié)構(gòu)化剪枝方法相結(jié)合.

3)對抗預(yù)訓(xùn)練模型的輕量化.基于ADMM的稀疏化對抗訓(xùn)練是一種從零開始訓(xùn)練模型的方法.與之不同，一些其他的研究者致力于在對抗預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行網(wǎng)絡(luò)剪枝和模型量化等以實(shí)現(xiàn)模型魯棒性和輕量化的雙重目標(biāo).這種方法能夠直接利用已經(jīng)過對抗訓(xùn)練過的防御模型，從而能夠減少一部分重復(fù)的計(jì)算開銷.

2019年，Sehwag等人[97]嘗試了各種從對抗預(yù)訓(xùn)練模型出發(fā)得到經(jīng)過網(wǎng)絡(luò)剪枝后的輕量化模型的方法，發(fā)現(xiàn)“對抗預(yù)訓(xùn)練→啟發(fā)式剪枝→對抗訓(xùn)練微調(diào)”這一套流程的效果較好.然而，這套方法仍然比較原始，啟發(fā)式剪枝不能很地在剪枝過程中反應(yīng)模型魯棒性的優(yōu)化目標(biāo)，導(dǎo)致只能取得次優(yōu)結(jié)果.因此，2020年，Sehwag團(tuán)隊(duì)進(jìn)一步提出了對抗預(yù)訓(xùn)練模型的剪枝方法HYDRA[98].HYDRA將對抗訓(xùn)練的目標(biāo)函數(shù)加入網(wǎng)絡(luò)剪枝的目標(biāo)函數(shù)中進(jìn)行求解，從而實(shí)現(xiàn)對抗訓(xùn)練和剪枝之間的良好配合.在剪枝后的對抗預(yù)訓(xùn)練模型的基礎(chǔ)上，還可以進(jìn)一步做8位網(wǎng)絡(luò)參數(shù)量化，進(jìn)一步提高模型的壓縮率.

Guo等人[99]從神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索(network architecture search, NAS)的角度探究了深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對模型魯棒性的影響.他們首先用對抗訓(xùn)練得到一個較大的魯棒模型Supernet，然后使用one-shot NAS進(jìn)行剪枝，微調(diào)之后獲得輕量化的魯棒模型RobNet.在大量的實(shí)驗(yàn)數(shù)據(jù)的基礎(chǔ)上，他們發(fā)現(xiàn)稠密鏈接的網(wǎng)絡(luò)結(jié)構(gòu)與模型魯棒性成正相關(guān)，并且發(fā)現(xiàn)FSP(flow of solution procedure matrix)指標(biāo)能夠很好地度量網(wǎng)絡(luò)的魯棒性.相比于傳統(tǒng)的深度學(xué)習(xí)模型，RobNet能夠成倍縮小模型大小，為將來輕量化魯棒模型的設(shè)計(jì)提供了一種思考方向.

5.2 基于模型正則的對抗防御

對輕量化模型的正則化對抗防御常常以模型參數(shù)量化技術(shù)為基礎(chǔ)，從量化模型的對抗擾動傳播機(jī)理分析入手，在相應(yīng)的理論和實(shí)驗(yàn)假設(shè)下提出正則項(xiàng)以壓制對抗擾動的傳播，提升模型的魯棒性.目前這方面的研究常常以Lipschitz正則為基礎(chǔ)來提升模型的魯棒性.

1)防御性量化.防御性量化(defensive quanti-zation, DQ)[100]假設(shè)普通量化技術(shù)無法實(shí)現(xiàn)對抗防御的原因在于錯誤放大效應(yīng)(error amplification effect)，也就是量化操作會進(jìn)一步放大對抗擾動對模型正常預(yù)測過程帶來的損害.因此，DQ提出使用Lipschitz正則化來壓制量化模型中的錯誤放大效應(yīng)，不僅能夠提升深度神經(jīng)網(wǎng)絡(luò)的魯棒性，也對正常預(yù)測準(zhǔn)確率有一定的提升效果.然而，DQ僅僅針對激活值量化進(jìn)行了防御，而激活值量化不能實(shí)現(xiàn)模型壓縮.其次，DQ的防御過程也并未將量化和防御2方面進(jìn)行機(jī)理上的深度融合，仍然保留很大的改進(jìn)空間.

2)基于反饋學(xué)習(xí)的正則.Song等人[101]同樣使用Lipschitz常數(shù)和錯誤放大效應(yīng)為理論分析工具，并結(jié)合實(shí)驗(yàn)發(fā)現(xiàn)了對抗訓(xùn)練和模型量化之間的沖突：對抗訓(xùn)練會導(dǎo)致極低精度(3位)量化損失的成倍增加，使得模型魯棒性和輕量化的目標(biāo)相互沖突.為了緩解這一沖突，Song等人提出使用反饋學(xué)習(xí)(feed back learning)對防御模型進(jìn)行微調(diào)，并引入非線性映射作為一種防御白盒攻擊的梯度掩碼.然而，以上方法只針對3位量化進(jìn)行防御.為了進(jìn)一步減小量化誤差和對抗誤差之間的沖突，Song等人后續(xù)又提出以Lipschitz常數(shù)為指導(dǎo)，為每一層設(shè)置不同的量化精度[102].該方法的缺點(diǎn)是混合精度模型的設(shè)計(jì)對硬件配置要求較高.

5.3 多精度模型集成

Sen等人[103]提出了多精度模型的繼承防御EMPIR.該方法基于對抗攻擊在不同精度模型之間遷移性較差的假設(shè)，使用全精度模型和低精度模型做集成以防御對抗攻擊.該方法的原始設(shè)定場景雖然是針對全精度模型做防御，但該方法表明云邊端協(xié)同場景下，構(gòu)建分級多層次防御體系是大有裨益的.EMPIR的集成策略比較簡單，未來如何深度結(jié)合全精度網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)各自的特點(diǎn)，在云邊端協(xié)同場景下實(shí)現(xiàn)各部分在防御上的更好配合，將會是重要的研究方向.

5.4 梯度掩碼

Dhillon等人提出了一種基于隨機(jī)策略的防御機(jī)制，稱為SAP(stochastic activation pruning)[104]，它在模型推斷過程中隨機(jī)修剪或丟棄一些激活元.每一層的神經(jīng)元被剪枝的概率與其激活值成正比，這意味著SAP傾向于保留激活值較小的神經(jīng)元.重新調(diào)整激活的目標(biāo)是使剪枝模型在處理非對抗性輸入時(shí)的行為類似于原始模型.由于SAP中的隨機(jī)性導(dǎo)致攻擊者很難計(jì)算梯度，因此使模型對對抗樣本更加魯棒.這種方法類似于在測試期間執(zhí)行Dropout[105].不同的是，Dropout剪枝的節(jié)點(diǎn)概率是均勻分配的，而SAP是根據(jù)激活的大小分配，并重新調(diào)整幸存節(jié)點(diǎn)的大小.然而，這些差異允許SAP添加到任何預(yù)先訓(xùn)練的模型中，而不需要進(jìn)行微調(diào)，同時(shí)可保持干凈數(shù)據(jù)的準(zhǔn)確性.但是，SAP已經(jīng)被證明依賴于梯度掩模，并且容易受到基于隨機(jī)期望計(jì)算梯度的迭代攻擊所攻破[57].

小結(jié)：首先，目前的輕量化模型防御研究常?；趶?qiáng)大的對抗訓(xùn)練方法來對相應(yīng)的模型輕量化技術(shù)做有機(jī)結(jié)合，基本能夠?qū)崿F(xiàn)模型正常準(zhǔn)確率、模型魯棒性和模型輕量化目標(biāo)之間的有效權(quán)衡.然而，目前的方法很少從軟硬協(xié)同設(shè)計(jì)的角度考慮算法實(shí)際部署于終端硬件時(shí)的計(jì)算開銷.其次，現(xiàn)有的研究還尚未將一些模型訓(xùn)練加速技術(shù)比如梯度量化應(yīng)用于對抗訓(xùn)練中，未來的輕量化模型在正常準(zhǔn)確率、模型魯棒性、模型輕量化3方面目標(biāo)上仍有提升的潛力.

針對輕量級模型的正則化對抗防御的研究仍然處于初級階段，在理論框架和算法上均有一定的提升空間.未來的研究一方面需要考慮如何基于理論分析將量化和對抗誤差進(jìn)行聯(lián)合優(yōu)化，另一方面需要考慮如何將正則化對抗防御與更多的防御以及量化技術(shù)相結(jié)合，以達(dá)到在實(shí)際場景中的更優(yōu)效果.針對輕量化模型的對抗防御總結(jié)如表3所示:

Table 3 Summary of Adversarial Defenses for Lightweight DNNs

6 現(xiàn)存挑戰(zhàn)與未來趨勢

近年來，針對大型網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)的對抗攻擊和防御方法都取得了一定的成果，然而該研究整體上仍處于較為初級的階段，相關(guān)的攻擊與防御方法在真實(shí)復(fù)雜環(huán)境中的性能、通用性等方面有許多關(guān)鍵問題尚待解決，且尚未形成完整的技術(shù)理論體系，并且難以在實(shí)際應(yīng)用場景中實(shí)現(xiàn)規(guī)模化部署.總之，在理論和應(yīng)用2方面，現(xiàn)有研究仍然存在著許多亟待解決的關(guān)鍵問題與挑戰(zhàn)，需要未來的研究加以解決.本節(jié)從大型網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)2方面入手，分別總結(jié)了針對每種DNN的對抗攻擊和防御研究中亟待解決的問題與挑戰(zhàn)，并探討了未來的研究趨勢.

6.1 大型網(wǎng)絡(luò)對抗攻防發(fā)展趨勢

1)在基礎(chǔ)理論方面.雖然現(xiàn)有研究已經(jīng)探索出了對抗防御等一系列可靠防御技術(shù)，但是難以提供理論層面的對抗魯棒性保證.為此，需要發(fā)展有理論保證的對抗防御方法.一般來說，對抗訓(xùn)練等方法能夠取得較好的防御效果，但是對模型魯棒性無法給出理論保證，防御方無法得知是否將來會有更強(qiáng)的攻擊算法將現(xiàn)有防御攻破.事實(shí)上，在對抗防御的研究歷史上，很多在當(dāng)時(shí)被認(rèn)為是非常成功的防御方法，在幾年后又會被新的對抗攻擊算法攻破.因此，發(fā)展具有理論保證的可證明的對抗防御算法，為對抗攻擊下的模型魯棒性提供理論保證，是當(dāng)前重要的研究方向之一.一方面，研究者須解決可證明防御方法設(shè)計(jì)過程中所面臨的種種挑戰(zhàn)，包括保證DNN在鄰域內(nèi)預(yù)測的一致性、將防御性能與模型決策邊界相關(guān)聯(lián)、解決對抗學(xué)習(xí)中的梯度結(jié)構(gòu)優(yōu)化問題等；另一方面，還需發(fā)展對抗學(xué)習(xí)理論框架，以支持可證明防御以及其他防御方法的發(fā)展.

其一，如何真正保障深度模型在鄰域預(yù)測的一致性，是保證防御方法可靠和可解釋的重要途經(jīng).對抗樣本在語義上位于原始樣本的鄰域，因此模型在該鄰域上的預(yù)測行為應(yīng)表現(xiàn)出一致性.然而，現(xiàn)有研究提出的對抗訓(xùn)練則關(guān)注于估計(jì)最優(yōu)擾動以確保模型在此擾動下的識別正確性，沒有對鄰域預(yù)測分布的相似性進(jìn)行直接約束[106-107].因此，現(xiàn)有的防御方法對訓(xùn)練集中對抗樣本所用攻擊算法具有依賴性.雖然新的對抗防御在不斷提出，但如果新的防御方法不能保證DNN在局部鄰域內(nèi)的預(yù)測一致性，就難以保證其不被更新的攻擊算法攻破.因此，未來研究應(yīng)著眼于經(jīng)人工合成的虛擬樣本(包括對抗樣本等)和原始數(shù)據(jù)在鄰域分布的相似性，基于虛擬樣本圍繞原始樣本的先驗(yàn)分布行為，研究多特征層級的鄰域分布探索機(jī)制.可以利用虛擬樣本與原始樣本模型預(yù)測分布差異作為監(jiān)督學(xué)習(xí)信號，建立樣本鄰域預(yù)測分布的一致性保守約束.這樣一來就可以在惡意對抗干擾下顯式地加強(qiáng)模型預(yù)測的穩(wěn)定性，為魯棒對抗防御奠定理論基礎(chǔ).

其二，如何將防御機(jī)制的有效性與決策邊界進(jìn)行顯式聯(lián)系，是發(fā)展有理論保證的防御方法的又一挑戰(zhàn).借助模型的推斷盲點(diǎn)進(jìn)行漏洞修復(fù)，能充分發(fā)揮對抗樣本所代表的歧義區(qū)域信息的重要作用.然而，現(xiàn)有研究更多關(guān)注于對抗樣本作為訓(xùn)練階段的數(shù)據(jù)增強(qiáng)策略，并未對其與估計(jì)決策邊界關(guān)聯(lián)程度進(jìn)行判定、檢測，導(dǎo)致對抗樣本用于防御過程中的有效行為缺乏可解釋性，甚至引入增強(qiáng)數(shù)據(jù)的冗余計(jì)算.因此，即使生成的樣本具備更強(qiáng)的攻擊性，但是該樣本否可用于模型局部次優(yōu)決策邊界的調(diào)優(yōu)仍然未知.總之，探測模型決策邊界的預(yù)測歧義區(qū)域而不是局限在范數(shù)約束下的保守鄰域，優(yōu)化模型次優(yōu)的局部決策邊界來提高模型的魯棒性是未來對抗防御研究發(fā)展的一個必然趨勢.

其三，未來研究還需解決對抗學(xué)習(xí)中的梯度結(jié)構(gòu)優(yōu)化問題.在理想條件下，魯棒的模型應(yīng)能夠突出輸入中的顯著性區(qū)域.然而，現(xiàn)有的標(biāo)準(zhǔn)梯度正則化防御方法以無差別的方式對各預(yù)測類別梯度進(jìn)行范數(shù)最小化，將任務(wù)相關(guān)和無關(guān)特征的重要性視為相同，這導(dǎo)致最終訓(xùn)練模型的特征顯著性映射和魯棒性提升預(yù)期之間產(chǎn)生沖突.因此，未來對抗防御研究應(yīng)從高判別梯度映射形成機(jī)理出發(fā)，結(jié)合最優(yōu)擾動生成與線性化假設(shè)關(guān)系，研究梯度分布權(quán)重偏置策略.未來研究可以著重思考如何將模型雅可比矩陣值的結(jié)構(gòu)化分布特征融入到訓(xùn)練過程中，以確保模型在樣本局部線性區(qū)域上的預(yù)測穩(wěn)定性，為復(fù)雜對抗場景下深度學(xué)習(xí)的魯棒決策提供重要的理論依據(jù).

其四，如何判斷在對抗環(huán)境下模型的可學(xué)習(xí)性仍然是對抗學(xué)習(xí)理論框架尚未解決的重要問題之一.現(xiàn)有研究一方面擴(kuò)展了PAC學(xué)習(xí)框架，定義了在對抗條件下的二元假設(shè)類，并證明了統(tǒng)計(jì)學(xué)基本原理中樣本復(fù)雜度上界可以擴(kuò)展到規(guī)避對抗攻擊的情況；另一方面對線性模型的對抗拉德馬赫復(fù)雜度(adversarial rademacher complexity)進(jìn)行了泛化分析，并給出了單隱層神經(jīng)網(wǎng)絡(luò)的對抗Rademacher復(fù)雜度上界.此外，還有一些研究者在對抗環(huán)境下采用最優(yōu)傳輸理論尋找分類錯誤的一般下界，并得到了對抗魯棒性的匹配上界與下界.雖然對抗性與非對抗性Rademacher復(fù)雜度的區(qū)分有助于線性模型對抗學(xué)習(xí)的正則化器設(shè)計(jì)，但是現(xiàn)有關(guān)于對抗性機(jī)器學(xué)習(xí)的理論框架的研究普遍存在較強(qiáng)的假設(shè)，并且僅局限于特定的任務(wù)和模型結(jié)構(gòu).因此，未來研究可以針對對抗學(xué)習(xí)的特點(diǎn)，研究其在更一般的條件下的可學(xué)習(xí)性和復(fù)雜度并發(fā)展新的學(xué)習(xí)理論框架.

2)在對抗攻擊實(shí)現(xiàn)方面.現(xiàn)有研究雖然已在各種威脅模型下開發(fā)出了大量針對圖像任務(wù)的對抗攻擊算法，但是針對其他任務(wù)的對抗攻擊研究仍然不足.以語音識別任務(wù)為例，目前針對語音識別任務(wù)的對抗攻擊算法的攻擊成功率仍然不高，且有著苛刻的發(fā)動條件，比如須距離麥克風(fēng)特別近、無環(huán)境噪聲干擾等等.未來研究仍需在此類任務(wù)上深入研究，實(shí)現(xiàn)具備現(xiàn)實(shí)威脅的對抗攻擊，更加全面地揭示各種深度學(xué)習(xí)任務(wù)的對抗魯棒性缺陷，為更加魯棒的深度學(xué)習(xí)模型設(shè)計(jì)提供鋪墊.

3)在對抗魯棒性測試方面.雖然研究者已經(jīng)開發(fā)出了一些圖像識別任務(wù)上的對抗攻擊工具包和對抗魯棒性測評框架，但是缺乏面向多任務(wù)和實(shí)際應(yīng)用場景的對抗魯棒性測試框架.

目前，學(xué)術(shù)界已經(jīng)發(fā)展出了針對各種任務(wù)和應(yīng)用場景的對抗攻擊算法，揭露了DNN在各種應(yīng)用場景下的對抗樣本脆弱性.然而，由于各種任務(wù)和場景各具特點(diǎn)，難以構(gòu)建統(tǒng)一的模型對抗魯棒性測試框架，以供使用者全面了解所測試模型在實(shí)際部署環(huán)境下潛在的對抗樣本威脅.現(xiàn)有的對抗魯棒性測試基準(zhǔn)系統(tǒng)主要集中于圖像識別任務(wù)，并依賴于CIFAR-10,ImageNet等基準(zhǔn)圖像數(shù)據(jù)集，缺乏針對其他任務(wù)諸如語音識別、強(qiáng)化學(xué)習(xí)等的測評算法和框架，且與實(shí)際的應(yīng)用環(huán)境仍然相去甚遠(yuǎn).

以自動駕駛系統(tǒng)為例，目前學(xué)術(shù)界已經(jīng)研究出了各種各樣的物理域攻擊方法，能暴露自動駕駛系統(tǒng)的對抗脆弱性.然而，構(gòu)建統(tǒng)一的自動駕駛系統(tǒng)魯棒性測試框架面臨著以下挑戰(zhàn)：其一，各種對抗攻擊的評價(jià)標(biāo)準(zhǔn)不一致；其二，威脅模型(threat model)各異；其三，自動駕駛系統(tǒng)中各種子任務(wù)各具特點(diǎn)，導(dǎo)致對抗攻擊算法也各不相同，難以統(tǒng)一整合；其四，需要采用合適的虛擬化技術(shù)模擬真實(shí)的駕駛環(huán)境；其五，需要對系統(tǒng)脆弱性精準(zhǔn)定位和分析；其六，系統(tǒng)應(yīng)該具備一定的可擴(kuò)展性，以適應(yīng)于未來新型攻防算法的測評.

另外，面向?qū)嶋H應(yīng)用場景的對抗魯棒性測試框架也需要考慮邊緣計(jì)算場景，綜合考慮大型網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)在真實(shí)環(huán)境中部署時(shí)所面臨的安全風(fēng)險(xiǎn).為此，需要集成各種針對大型網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)的對抗攻擊和防御方法.

4)在對抗防御實(shí)現(xiàn)方面.雖然以對抗訓(xùn)練為代表的對抗防御已經(jīng)取得了較好的防御效果，但是其存在著諸多缺點(diǎn)，使其難以在實(shí)際應(yīng)用場景中實(shí)現(xiàn)規(guī)?；渴?

正如前文所述，目前主流的對抗防御方法是對抗訓(xùn)練.對抗訓(xùn)練雖然能夠提供較高的模型魯棒性，并且對不同的攻擊算法都有防御效果，但其存在以下缺點(diǎn)，阻礙其在實(shí)際場景中大規(guī)模應(yīng)用部署：

其一，對抗訓(xùn)練會損害模型在正常樣本上的準(zhǔn)確率，降低模型的可用性；

其二，對抗訓(xùn)練的計(jì)算代價(jià)極高.Vaishnavi等人的研究表明[108]，對抗訓(xùn)練的收斂速度比正常訓(xùn)練平均慢7倍左右.對抗訓(xùn)練極高的計(jì)算代價(jià)不但大幅度增加DNN模型的訓(xùn)練成本，而且阻礙其應(yīng)用于大規(guī)模任務(wù)和數(shù)據(jù)集；雖然已經(jīng)有一部分工作已經(jīng)降低了對抗訓(xùn)練的計(jì)算開銷，如前文介紹過的快速對抗訓(xùn)練，但是這些方法仍然存在著正常準(zhǔn)確率損失過高、模型魯棒性提升較小等缺陷.未來的對抗防御算法應(yīng)著重于解決以上2方面的問題.在保證模型魯棒性和可用性的同時(shí)盡可能降低模型訓(xùn)練成本，開發(fā)可規(guī)?；瘧?yīng)用的對抗防御技術(shù).

6.2 輕量化網(wǎng)絡(luò)對抗攻防發(fā)展趨勢

1)在基礎(chǔ)理論方面.雖然現(xiàn)有研究已經(jīng)探索出了一些針對輕量化網(wǎng)絡(luò)的對抗防御理論和方法，但是缺乏綜合考慮模型輕量化、模型魯棒性和模型準(zhǔn)確率3方面指標(biāo)的統(tǒng)一分析框架.

未來研究可以從理論層面深入分析各種模型輕量化技術(shù)與模型魯棒性、準(zhǔn)確率之間的相互作用關(guān)系，指導(dǎo)針對輕量化模型的對抗攻擊和防御算法的設(shè)計(jì).在此基礎(chǔ)上，可以將可證明的對抗魯棒性測試和對抗防御技術(shù)擴(kuò)展到輕量化模型上，為輕量化模型的安全部署提供充足的理論支撐.可證明的魯棒測評框架以及相應(yīng)的可證明防御方法同樣需要對輕量化模型做適應(yīng)性改進(jìn).比如，很多常見的可證明防御技術(shù)，如隨機(jī)平滑(random smoothing, RS)依賴于大量浮點(diǎn)運(yùn)算，不適用于搭載CPU的終端設(shè)備.為了能在運(yùn)行于終端設(shè)備上的量化模型上應(yīng)用RS技術(shù)，需要對算法的理論框架、算法流程等方面進(jìn)行重新思考，設(shè)計(jì)出基于定點(diǎn)數(shù)運(yùn)算的IntRS可證明防御技術(shù)[109]，以配合終端設(shè)備的部署要求.

2)在對抗攻擊和魯棒性測試實(shí)現(xiàn)方面.雖然目前對抗攻擊研究已經(jīng)趨于成熟，但是輕量化模型的對抗脆弱性仍有待進(jìn)一步挖掘.目前針對輕量化模型的對抗攻擊算法僅局限于白盒攻擊，且集中于模型量化，研究仍顯不足.未來的研究應(yīng)深入考慮當(dāng)目標(biāo)模型為各種輕量化模型時(shí)的攻擊算法設(shè)計(jì)，以期充分暴露各種輕量化模型的對抗樣本脆弱性，為更加安全可靠的輕量化模型設(shè)計(jì)提供前提.

3)在對抗防御實(shí)現(xiàn)方面.現(xiàn)有防御方法已經(jīng)在模型輕量化、模型魯棒性、模型準(zhǔn)確率三者的權(quán)衡上取得了一定的進(jìn)展，但是距離實(shí)際部署仍然存在距離.一方面，由于附加了模型輕量化的過程，基于對抗訓(xùn)練的輕量化模型防御方法在模型收斂速度上比普通的對抗訓(xùn)練更慢，更加難以實(shí)現(xiàn)規(guī)?；渴?；另一方面，其他防御方法如基于正則化的對抗防御、梯度掩碼防御、可證明的防御等在輕量化模型上的防御性能往往表現(xiàn)不佳，抑或是存在被后續(xù)更強(qiáng)的攻擊算法攻破的風(fēng)險(xiǎn).最后，針對輕量化模型的對抗防御還需考慮實(shí)際部署平臺的特性，實(shí)現(xiàn)軟硬協(xié)同設(shè)計(jì)以最優(yōu)化系統(tǒng)性能.

7 結(jié) 論

本文以云邊端全場景為視角，全面分析了邊緣計(jì)算場景下的深度神經(jīng)網(wǎng)絡(luò)對抗安全風(fēng)險(xiǎn)，并分別總結(jié)了目前針對大型網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)的防御方法.在總結(jié)和整理的基礎(chǔ)上，本文闡述了該領(lǐng)域目前的發(fā)展現(xiàn)狀，并分析了未來研究所面臨的挑戰(zhàn).在針對大型網(wǎng)絡(luò)的對抗攻防方面，已經(jīng)有了大量的研究工作.本文介紹了幾種典型的攻擊算法，并以對抗訓(xùn)練和正則化對抗防御為例介紹了目前具有代表性的對抗防御方法.在針對輕量化網(wǎng)絡(luò)的對抗攻防方面，目前對抗攻擊研究較少，仍需進(jìn)一步探索.本文著重總結(jié)了對抗訓(xùn)練和正則化對抗防御等主流防御方法如何與模型輕量化技術(shù)較好結(jié)合，實(shí)現(xiàn)模型魯棒性、模型輕量化和模型正常準(zhǔn)確率三者的權(quán)衡.最后，本文分析了大型網(wǎng)絡(luò)對抗攻防和輕量化網(wǎng)絡(luò)對抗攻防相關(guān)研究領(lǐng)域中存在的挑戰(zhàn)，并總結(jié)出了可證明的對抗攻防、面向?qū)嶋H應(yīng)用場景的對抗測評框架、可規(guī)?；渴鸬膶狗烙夹g(shù)等未來研究趨勢.本文旨在幫助研究者對該領(lǐng)域的研究現(xiàn)狀形成全面認(rèn)識，以推動云邊端全場景下對抗攻擊和防御技術(shù)的發(fā)展.

作者貢獻(xiàn)聲明：李前和藺琛皓為共同第一作者，負(fù)責(zé)相關(guān)文獻(xiàn)資料的收集、分析，并提出寫作思路，完成論文撰寫；楊雨龍負(fù)責(zé)文獻(xiàn)調(diào)研、內(nèi)容設(shè)計(jì)和全文修訂；沈超和方黎明為共同通信作者，負(fù)責(zé)指導(dǎo)論文撰寫與修改、提出論文格式排版建議、校對全文并最終審核.