張新君 程雨晴

摘 要：

神經(jīng)網(wǎng)絡(luò)模型容易受到對(duì)抗樣本攻擊。針對(duì)當(dāng)前防御方法側(cè)重改進(jìn)模型結(jié)構(gòu)或模型僅使用對(duì)抗訓(xùn)練方法導(dǎo)致防御類(lèi)型單一且損害模型分類(lèi)能力、效率低下的問(wèn)題，提出結(jié)合對(duì)抗訓(xùn)練和特征混合訓(xùn)練孿生神經(jīng)網(wǎng)絡(luò)模型（SS-ResNet18）的方法。該方法通過(guò)線性插值混合訓(xùn)練集樣本數(shù)據(jù)，使用殘差注意力模塊搭建孿生網(wǎng)絡(luò)模型，將PGD對(duì)抗樣本和正常樣本輸入不同分支網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在特征空間互換相鄰樣本部分輸入特征以增強(qiáng)網(wǎng)絡(luò)抗干擾能力，結(jié)合對(duì)抗損失和分類(lèi)損失作為網(wǎng)絡(luò)整體損失函數(shù)并對(duì)其進(jìn)行標(biāo)簽平滑。在CIFAR-10和SVHN數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，該方法在白盒攻擊下表現(xiàn)出優(yōu)異的防御性能，黑盒攻擊下模型對(duì)PGD、JSMA等對(duì)抗樣本的防御成功率均在80%以上；同時(shí)，SS-ResNet18模型時(shí)間花銷(xiāo)僅為子空間對(duì)抗訓(xùn)練方法的二分之一。實(shí)驗(yàn)結(jié)果表明，SS-ResNet18模型能防御多種對(duì)抗樣本攻擊，與現(xiàn)有防御方法相比，其魯棒性強(qiáng)且訓(xùn)練耗時(shí)較短。

關(guān)鍵詞：孿生神經(jīng)網(wǎng)絡(luò)；圖像分類(lèi)；對(duì)抗樣本；對(duì)抗訓(xùn)練；注意力機(jī)制；特征混合

中圖分類(lèi)號(hào)：TP391?? 文獻(xiàn)標(biāo)志碼：A??? 文章編號(hào)：1001-3695（2024）03-039-0905-06doi： 10.19734/j.issn.1001-3695.2023.07.0318

Combining adversarial training and feature mixing for siamese network defense models

Zhang Xinjun， Cheng Yuqing

（School of Electronic & Information Engineering， Liaoning Technical University， Huludao Liaoning 125105， China）

Abstract：

Neural network models are vulnerable to adversarial sample attacks. Aiming at the problem that current defense methods focus on improving the model structure or the model only uses the adversarial training method which leads to a single type of defense and impairs the models classification ability and inefficiency， this paper proposed the method of combining the adversarial training and the feature mixture to train the siamese neural network model （SS-ResNet18）. The method mixed the training set sample data by linear interpolation， built a siamese network model using the residual attention module， and inputted PGD antagonistic samples and normal samples into different branches of the network for training. It interchanged the input features in the feature space between neighboring sample parts to enhance the networks immunity to interference， combining the adversarial loss and the classification loss as the overall loss function of the network and smoothing it with labels. Experimented on CIFAR-10 and SVHN datasets， the method shows excellent defense performance under white-box attack， and the success rate of the models defense against anta-gonistic samples， such as PGD， JSMA， etc.， under black-box attack is more than 80%. At the same time， the SS-ResNet18 model time spent is only one-half of the one-half of the subspace antagonistic training method. The experimental results show that the SS-ResNet18 model can defend against a variety of adversarial sample attacks， and is robust and less time-consuming to train compared to existing defense methods. Key words：siamese neural network; image classification; adversarial examples; adversarial train; attention mechanism; feature blending

0 引言

深度神經(jīng)網(wǎng)絡(luò)在自動(dòng)駕駛汽車(chē)［1］、自然語(yǔ)言處理［2］和圖像識(shí)別［3］等方面獲得大量關(guān)注并展現(xiàn)出巨大潛力，隨著深度神經(jīng)網(wǎng)絡(luò)在重要領(lǐng)域的應(yīng)用越來(lái)越深入，深度學(xué)習(xí)模型的安全問(wèn)題逐漸受到重視。2014年，Szegedy等人［4］提出對(duì)抗樣本的概念，對(duì)抗樣本是指在原始樣本添加微小的擾動(dòng)，導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)出錯(cuò)。雖然人眼無(wú)法察覺(jué)所添加的較小擾動(dòng)，但這給深度學(xué)習(xí)的實(shí)際應(yīng)用帶來(lái)很大危害。例如，對(duì)交通標(biāo)志圖片添加對(duì)抗擾動(dòng)［5］，會(huì)使自動(dòng)駕駛汽車(chē)將停車(chē)標(biāo)志識(shí)別為限速，導(dǎo)致安全事故。因此，對(duì)抗樣本防御方法的研究具有現(xiàn)實(shí)意義。

利用神經(jīng)網(wǎng)絡(luò)這一漏洞，許多對(duì)抗攻擊算法被提出。Szegedy等人提出的擬牛頓攻擊算法通過(guò)在輸入的約束空間中找到一個(gè)不可察覺(jué)的最小輸入擾動(dòng)，成功攻擊了當(dāng)時(shí)最先進(jìn)的圖片分類(lèi)模型AlexNet和QuocNet。Goodfellow等人［6］提出了快速梯度符號(hào)方法（fast gradient sign method，F(xiàn)GSM），利用神經(jīng)網(wǎng)絡(luò)的梯度求解擾動(dòng)，優(yōu)點(diǎn)是易于實(shí)現(xiàn)但攻擊能力較弱。Kurakin等人［7］對(duì)FGSM攻擊算法進(jìn)行改進(jìn)，提出基礎(chǔ)迭代攻擊算法（basic iterative method，BIM），它是FGSM多次迭代的攻擊版本，利用損失函數(shù)的梯度多次更新對(duì)抗樣本達(dá)到更強(qiáng)攻擊效果。Madry等人［8］提出投影梯度下降攻擊（project gradient descent，PGD），該攻擊算法被用來(lái)作為測(cè)試模型防御性能好壞的基準(zhǔn)攻擊算法。

對(duì)抗攻擊算法的發(fā)展威脅著神經(jīng)網(wǎng)絡(luò)模型的安全，因此提升分類(lèi)神經(jīng)網(wǎng)絡(luò)模型防御對(duì)抗攻擊的能力尤為重要。大部分防御方法已被文獻(xiàn)［9］證明防御能力有限，同時(shí)證明了對(duì)抗訓(xùn)練是目前最為有效的防御方法之一。優(yōu)化防御模型結(jié)構(gòu)的防御方法如防御蒸餾［10］、對(duì)抗樣本檢測(cè)［11］和基于生成對(duì)抗網(wǎng)絡(luò)的防御［12］ 方法在面對(duì)某一類(lèi)攻擊樣本時(shí)能達(dá)到很好的防御效果，一旦模型結(jié)構(gòu)被攻擊者已知，就失去了防御能力。對(duì)抗訓(xùn)練方法需要好的訓(xùn)練策略和更強(qiáng)的對(duì)抗樣本，通常會(huì)使訓(xùn)練時(shí)間比標(biāo)準(zhǔn)訓(xùn)練增加一個(gè)或多個(gè)數(shù)量級(jí)，且容易發(fā)生災(zāi)難性過(guò)擬合故障［13］。其他防御方法通過(guò)處理輸入數(shù)據(jù)［14～16］進(jìn)行防御，模型整體防御性能提升不大。

本文提出一種融合殘差注意力機(jī)制和孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的對(duì)抗訓(xùn)練方法（SS-ResNet18 AT），通過(guò)無(wú)參注意力［17］機(jī)制中的能量函數(shù)增加重要神經(jīng)元的權(quán)重占比，幫助網(wǎng)絡(luò)學(xué)習(xí)圖像底層特征，增強(qiáng)網(wǎng)絡(luò)穩(wěn)健性。首先，目標(biāo)網(wǎng)絡(luò)模型使用PGD算法生成對(duì)抗樣本，再通過(guò)混合［18］和硬修補(bǔ)［19］策略混合樣本特征，訓(xùn)練防御模型得到最優(yōu)參數(shù)。實(shí)驗(yàn)結(jié)果證明，本文模型在防御對(duì)抗樣本成功率方面較其他方法表現(xiàn)更好。

1 相關(guān)工作

1.1 威脅模型

對(duì)抗樣本具有隱蔽性同時(shí)兼具攻擊性的特點(diǎn)，決定了對(duì)抗樣本生成方法必須添加一定的限制，不是使用任意圖像替換給出的輸入圖像進(jìn)行攻擊就屬于對(duì)抗攻擊，這違背了對(duì)抗樣本的定義。為此，將針對(duì)攻擊目標(biāo)網(wǎng)絡(luò)生成對(duì)應(yīng)對(duì)抗樣本的模型定義為威脅模型。通過(guò)威脅模型生成對(duì)抗樣本在現(xiàn)實(shí)世界進(jìn)行應(yīng)用會(huì)帶來(lái)極大的安全隱患，例如，在非停車(chē)路段模擬停車(chē)標(biāo)識(shí)使用自動(dòng)駕駛汽車(chē)識(shí)別網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，自動(dòng)駕駛汽車(chē)無(wú)法規(guī)避該問(wèn)題。

威脅模型的設(shè)計(jì)對(duì)于防御對(duì)抗樣本的研究極其重要，了解攻擊原理才能更好地進(jìn)行防御，針對(duì)對(duì)抗樣本攻擊的目標(biāo)可以分為有目標(biāo)攻擊和無(wú)目標(biāo)攻擊。有目標(biāo)攻擊是將輸入樣本分類(lèi)為給定的錯(cuò)誤類(lèi)，給定f（·）為分類(lèi)器，輸入樣本x和預(yù)分類(lèi)目標(biāo)t， f（x）≠t，通過(guò)威脅模型尋找對(duì)抗樣本x′，使得f（x′）=t且‖x－x′‖p≤δ（p=0，2，∞），δ為添加的對(duì)抗擾動(dòng)，p表示對(duì)擾動(dòng)添加的約束類(lèi)型。無(wú)目標(biāo)攻擊是指將樣本分類(lèi)為任意一個(gè)非正確類(lèi)，若f（x）=y，尋找一個(gè)對(duì)抗樣本使f（x′）≠y。

根據(jù)攻擊方式，將對(duì)抗攻擊類(lèi)型進(jìn)行分類(lèi)，可分為白盒攻擊、灰盒攻擊和黑盒攻擊。白盒攻擊是已知模型所有參數(shù)信息，所以攻擊成功率更高，常見(jiàn)的白盒攻擊算法有PGD、FGSM和Deep Fool［20］等。黑盒攻擊是攻擊者無(wú)法獲得目標(biāo)網(wǎng)絡(luò)的信息，僅能獲得目標(biāo)網(wǎng)絡(luò)的輸出，攻擊者利用對(duì)抗樣本的遷移性進(jìn)行攻擊。灰盒攻擊則介于兩者之間。

1.2 孿生神經(jīng)網(wǎng)絡(luò)與殘差神經(jīng)網(wǎng)絡(luò)

孿生神經(jīng)網(wǎng)絡(luò)［21］由結(jié)構(gòu)相同、權(quán)值共享的兩個(gè)子網(wǎng)絡(luò)組成。兩個(gè)子網(wǎng)絡(luò)各自接收一個(gè)輸入，將其映射至高維特征空間，并輸出對(duì)應(yīng)的表征，輸出作為孿生網(wǎng)絡(luò)損失函數(shù)的輸入。孿生網(wǎng)絡(luò)子網(wǎng)絡(luò)可以是卷積神經(jīng)網(wǎng)絡(luò)或循環(huán)神經(jīng)網(wǎng)絡(luò)，其權(quán)重由能量函數(shù)或分類(lèi)損失優(yōu)化。孿生網(wǎng)絡(luò)一般用來(lái)評(píng)價(jià)兩個(gè)輸入的相似度或進(jìn)行小樣本學(xué)習(xí)，也有學(xué)者使用孿生網(wǎng)絡(luò)進(jìn)行圖像分類(lèi)等。

殘差神經(jīng)網(wǎng)絡(luò)于2015年提出，在大數(shù)據(jù)集的分類(lèi)任務(wù)上表現(xiàn)優(yōu)秀，解決了隨著網(wǎng)絡(luò)深度不斷增加，出現(xiàn)梯度爆炸或梯度消失的問(wèn)題。殘差網(wǎng)絡(luò)主要是由一系列殘差模塊組成，每個(gè)殘差模塊內(nèi)部都加入了跳躍連接。以ResNet18為例，共有四個(gè)殘差單元，每個(gè)殘差單元包含兩個(gè)殘差塊，殘差模塊內(nèi)部主要使用的卷積大小為1×1和3×3。針對(duì)殘差網(wǎng)絡(luò)的改進(jìn)，主要分為加深網(wǎng)絡(luò)深度和增加網(wǎng)絡(luò)寬度兩方面，隨之而來(lái)的問(wèn)題是網(wǎng)絡(luò)復(fù)雜度上升，使用小樣本訓(xùn)練網(wǎng)絡(luò)時(shí)容易過(guò)擬合。圖1顯示了孿生網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)和經(jīng)典殘差塊結(jié)構(gòu)。

1.3 對(duì)抗訓(xùn)練

對(duì)抗訓(xùn)練防御方法占據(jù)主流的理論是Madry等人從博弈的角度出發(fā)，在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的原理基礎(chǔ)上，提出了對(duì)抗魯棒性的優(yōu)化觀點(diǎn)。其中，將模型的優(yōu)化問(wèn)題定義為求解鞍點(diǎn)的優(yōu)化問(wèn)題，即最大—最小問(wèn)題，為后續(xù)對(duì)抗訓(xùn)練防御方法的研究提供了理論基礎(chǔ)。其求解公式如式（1）所示。

minθ ρ（θ），where ρ（θ）=E（x，y）～D［maxδ∈S L（θ，x+δ，y）］（1）

其中：L（θ，x+δ，y）為損失函數(shù)；x為原始樣本；y為原始樣本的標(biāo)簽；δ為擾動(dòng)信息；S為擾動(dòng)信息的集合；D為數(shù)據(jù)（x，y）滿(mǎn)足的分布；θ為深度神經(jīng)網(wǎng)絡(luò)的參數(shù)。此公式求解可理解為在內(nèi)部找到對(duì)抗樣本使損失最大，然后優(yōu)化模型參數(shù)使其外部經(jīng)驗(yàn)風(fēng)險(xiǎn)最小。

目前許多對(duì)抗訓(xùn)練方法不斷改進(jìn)，Goodfelllow等人使用目標(biāo)網(wǎng)絡(luò)生成FGSM對(duì)抗樣本加入訓(xùn)練集去訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，證明了對(duì)抗訓(xùn)練能提高深度學(xué)習(xí)分類(lèi)模型對(duì)對(duì)抗樣本的魯棒性，提高了模型對(duì)對(duì)抗樣本的分類(lèi)精度。但很快，BIM攻擊通過(guò)采取多個(gè)更小的FGSM步驟改進(jìn)了FGSM，最終使基于FGSM對(duì)抗樣本訓(xùn)練的網(wǎng)絡(luò)模型被擊破。這種迭代的對(duì)抗攻擊通過(guò)添加多次隨機(jī)重啟而得到進(jìn)一步加強(qiáng)，并且使用該算法生成的對(duì)抗樣本也被納入對(duì)抗訓(xùn)練過(guò)程。

從Madry等人僅使用PGD算法生成的對(duì)抗樣本訓(xùn)練網(wǎng)絡(luò)模型到Zhang等人［22］提出TRADES方法，使用原始樣本共同訓(xùn)練模型可以增加模型的準(zhǔn)確率。自由對(duì)抗訓(xùn)練（Free AT）［23］方法在PGD對(duì)抗訓(xùn)練的基礎(chǔ)上改進(jìn)了梯度更新步驟，縮短了訓(xùn)練時(shí)間，但防御性能方面沒(méi)有較大提升?？焖賹?duì)抗訓(xùn)練方法（Fast AT）［24］是在FGSM對(duì)抗訓(xùn)練方法基礎(chǔ)上引入隨機(jī)化，比自由對(duì)抗訓(xùn)練用時(shí)更短，但模型防御對(duì)抗樣本攻擊的成功率沒(méi)有提升。還有利用各種技術(shù)增強(qiáng)對(duì)抗訓(xùn)練防御能力，如邏輯配對(duì)［25］、循環(huán)學(xué)習(xí)率［26］等。

2 本文方法

現(xiàn)有的對(duì)抗樣本圖像防御方法往往只側(cè)重于提高對(duì)抗樣本的魯棒性，或者側(cè)重于構(gòu)建額外的模型檢測(cè)對(duì)抗樣本，而無(wú)法兼顧兩者。為此，提出了結(jié)合對(duì)抗訓(xùn)練和特征混合訓(xùn)練孿生神經(jīng)網(wǎng)絡(luò)模型（SS-ResNet18），本文網(wǎng)絡(luò)基礎(chǔ)架構(gòu)為加入注意力層的ResNet18，ResNet的殘差結(jié)構(gòu)能有效緩解梯度消失問(wèn)題，且ResNet18相較于ResNet50和DenseNet，網(wǎng)絡(luò)參數(shù)量更少，網(wǎng)絡(luò)訓(xùn)練更易收斂，在達(dá)到較好防御性能的同時(shí)有效降低了網(wǎng)絡(luò)計(jì)算復(fù)雜度。

訓(xùn)練網(wǎng)絡(luò)時(shí)采用的MixUp方法不是從數(shù)據(jù)集中隨機(jī)選取兩個(gè)數(shù)據(jù)樣本，而是從同一訓(xùn)練批次中抽取訓(xùn)練樣本進(jìn)行線性插值。然后，將對(duì)抗樣本與原始樣本分別輸入孿生網(wǎng)絡(luò)的子網(wǎng)絡(luò)中，注意力層幫助網(wǎng)絡(luò)更好地學(xué)習(xí)樣本間的關(guān)聯(lián)，硬修補(bǔ)融合相鄰樣本特征，減少對(duì)抗擾動(dòng)對(duì)模型的干擾，從而提高網(wǎng)絡(luò)穩(wěn)定性和防御對(duì)抗樣本的能力。圖2為本文方法防御總體框架。

2.1 輸入樣本處理

混合（MixUp）是一種數(shù)據(jù)增廣策略，以線性插值的方式來(lái)構(gòu)建新的訓(xùn)練樣本和標(biāo)簽。MixUp對(duì)標(biāo)簽空間進(jìn)行了軟化，通過(guò)模型輸入與標(biāo)簽構(gòu)建具有凸性質(zhì)的運(yùn)算，構(gòu)造新的訓(xùn)練樣本與對(duì)應(yīng)的標(biāo)簽。與其他插值方法相比，線性插值能將任意層的特征以及對(duì)應(yīng)的標(biāo)簽進(jìn)行混合，提高模型的泛化能力和魯棒性。

MixUp的過(guò)程是從訓(xùn)練數(shù)據(jù)中隨機(jī)抽取兩個(gè)特征目標(biāo)向量（xi，yi）及（xj，yj），（，）為插值后的樣本和對(duì)應(yīng)標(biāo)簽，參數(shù)λ∈Beta（α，α）控制插值的強(qiáng)度，設(shè)置參數(shù)λ∈［0，1］，α∈［0，∞］，線性插值公式如式（2）所示。

=λxi+（1－λ）xj

=λyi+（1－λ）yj （2）

以CIFAR-10數(shù)據(jù)集為例，隨機(jī)抽取500個(gè)數(shù)據(jù)樣本進(jìn)行可視化，直觀顯示MixUp操作前后的數(shù)據(jù)分布變化，右上角為數(shù)據(jù)標(biāo)簽信息。從圖3中可觀察到進(jìn)行MixUp操作后，對(duì)比正常樣本和對(duì)抗樣本的數(shù)據(jù)分布，混合樣本后能減輕噪聲圖像對(duì)網(wǎng)絡(luò)訓(xùn)練過(guò)程的影響，增強(qiáng)模型的泛化能力。

硬修補(bǔ)（Hard PatchUp）方法最初提出目的是為了提高卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)流形入侵問(wèn)題的魯棒性，即緩解對(duì)抗樣本改變?cè)紭颖镜臄?shù)據(jù)分布，使原始樣本特征偏離流形分布的問(wèn)題。使用該方法在SS-ResNet18特征層進(jìn)行多維度訓(xùn)練，對(duì)輸入樣本特征圖進(jìn)行處理，即選擇卷積層k，創(chuàng)建二進(jìn)制掩碼M，將兩個(gè)相鄰樣本中對(duì)應(yīng)M大小的特征塊進(jìn)行互換。

該方法主要由三個(gè)超參數(shù)進(jìn)行控制：patchup_prob為給定的小批量執(zhí)行Hard PatchUp的概率，實(shí)驗(yàn)設(shè)置為1.0；塊大?。╞lock_size）和γ用于控制掩碼生成，本文將block_size設(shè)置為7，γ設(shè)置為0.9。使用參數(shù)γ生成一個(gè)要屏蔽的塊的中心點(diǎn)γadj，掩碼中心γadj的計(jì)算為

γadj=γ×（feat_size2）（block_size2）×（feat_size－block_size+1）2（3）

對(duì)掩碼中心進(jìn)行伯努利采樣，將掩碼中的每個(gè)點(diǎn)擴(kuò)展到塊大小的方塊區(qū)域，通過(guò)最大池化操作后取反，然后得到最終的掩碼塊。掩碼塊計(jì)算為

m←1－（max_pool2d（Bernoulli（γadj），kernel_size，stride，padding））（4）

假定輸入的特征大小為（N，C，H，W），那么掩碼中心的大小應(yīng)該為（N，C，H-block_size-1，W-block_size-1），而掩碼塊的大小為（N，C，H，W），先對(duì)掩碼中心進(jìn)行填充，然后用一個(gè)卷積核大小的塊進(jìn)行最大池化來(lái)得到掩碼塊，最后將特征乘以掩碼塊即可。兩個(gè)樣本xi和xj在層k處的硬修補(bǔ)操作如式（5）所示。

hard（gk（xi），gk（xj））=M⊙gk（xi）+（1－M）⊙gk（xj）（5）

其中：⊙為點(diǎn)積運(yùn)算；gk為輸入圖像在第k個(gè)卷積層隱藏表示的映射。應(yīng)用PatchUp操作之后，分類(lèi)網(wǎng)絡(luò)模型從層k向前傳遞到模型中的最后一層，Hard PatchUp的特征塊互換過(guò)程如圖4所示。圖4中x1=g（i）k（a）和x2=g（i）k（b）分別為兩張圖像卷積輸出特征圖，i為特征圖索引，a、b為隨機(jī)選擇的兩個(gè)樣本關(guān)聯(lián)的隱藏表示。在特征空間進(jìn)行硬修補(bǔ)操作，使網(wǎng)絡(luò)學(xué)習(xí)樣本更深的特征而不易陷入過(guò)擬合。

2.2 對(duì)抗訓(xùn)練防御方法

本文對(duì)抗訓(xùn)練方法的實(shí)現(xiàn)分為以下四步：a）計(jì)算原始樣本批次的損失；b）使用投影梯度下降（PGD）攻擊算法生成一批對(duì)抗樣本；c）使用原始標(biāo)簽對(duì)這些對(duì)抗樣本進(jìn)行訓(xùn)練，得到對(duì)抗樣本的插值損失函數(shù)；d）從原始樣本批次和對(duì)抗批次中獲得損失的平均值，并使用該損失更新網(wǎng)絡(luò)參數(shù)。PGD算法生成對(duì)抗樣本如公式

xt+1=∏x+S（xt+ε sign（xJ（θ，x，y）））（6）

其中：xt為第k次迭代后的圖像；y為真實(shí)標(biāo)簽；θ為目標(biāo)模型參數(shù)；J（θ，x，y）為用來(lái)衡量分類(lèi)誤差的損失函數(shù)；ε為移動(dòng)的步長(zhǎng)；∏x+S為將擾動(dòng)值限制在球面范圍內(nèi)。

生成對(duì)抗樣本之后，與原始樣本一起作為輸入數(shù)據(jù)集輸入分類(lèi)模型，分類(lèi)模型對(duì)輸入樣本進(jìn)行計(jì)算得到輸出，再同正確標(biāo)簽進(jìn)行計(jì)算得到損失，損失反向傳播來(lái)更新網(wǎng)絡(luò)參數(shù)，重復(fù)進(jìn)行直到損失達(dá)到預(yù)期效果或達(dá)到設(shè)置的訓(xùn)練批次。對(duì)抗訓(xùn)練的過(guò)程如圖5所示。

2.3 子網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

實(shí)驗(yàn)以經(jīng)典的殘差網(wǎng)絡(luò)模型ResNet18為基模型設(shè)計(jì)防御框架。考慮到訓(xùn)練深層網(wǎng)絡(luò)過(guò)程中參與計(jì)算的參數(shù)量越大，模型結(jié)構(gòu)越復(fù)雜的特點(diǎn)，為了提高網(wǎng)絡(luò)對(duì)重要特征的提取能力，在ResNet18基礎(chǔ)殘差塊中加入注意力模塊SimAM，相比通道（1D）和空間（2D）注意力，其關(guān)注重點(diǎn)在于神經(jīng)元重要性。該注意力可以有效生成真實(shí)三維權(quán)重。使用優(yōu)化后的能量函數(shù)來(lái)發(fā)現(xiàn)每個(gè)神經(jīng)元的重要性，式（7）用來(lái)計(jì)算能量函數(shù)。

et（wt，bt，y，xi）=

1M－1∑M－1i－1（－1－（wtxi+bt））2+（1－（wtt+bt））2+λw2t（7）

其中：wt和bt分別為權(quán)重和偏置變換；t和xi為輸入特征的單個(gè)通道中目標(biāo)神經(jīng)元和其他神經(jīng)元；M=H×W為該通道上的神經(jīng)元數(shù)量。合理地假設(shè)單個(gè)通道中的所有像素遵循相同的分布。根據(jù)這一假設(shè)，可以計(jì)算所有神經(jīng)元的平均值和方差，并重新用于該通道上的所有神經(jīng)元，顯著降低計(jì)算成本，避免重復(fù)計(jì)算。因此，最小能量可通過(guò)式（8）計(jì)算。

e*t=4（2+λ）（t－）+22+2λ（8）

其中：=1M∑Mi=1xi；2=1M∑Mi=1（xi－）2。式（8）表明，神經(jīng)元t的能量e*t越低，與周?chē)窠?jīng)元越不同，對(duì)視覺(jué)處理越重要。因此，每個(gè)神經(jīng)元的重要性可以通過(guò)1/e*t得出。相比通道（1D）和空間（2D）注意力，該注意力機(jī)制在改善本文網(wǎng)絡(luò)的表征能力上更具靈活性和有效性。圖6顯示本文網(wǎng)絡(luò)殘差注意力模塊結(jié)構(gòu)。

2.4 損失函數(shù)

使用插值損失函數(shù)作為訓(xùn)練網(wǎng)絡(luò)的損失函數(shù)。該損失函數(shù)由兩部分組成，一部分為正常樣本的插值損失函數(shù)Lnor。

Lnor=1n2∑ni， j=1Eλ～Dλl（fθ（i，j（λ）），i，j（λ））（9）

其中：i，j（λ）=λxi+（1－λ）xj，i，j（λ）=λyi+（1－λ）yj且λ∈［0，1］；Dλ為Beta分布，Beta分布中超參數(shù)α，β>0；n為樣本數(shù)；θ為網(wǎng)絡(luò)參數(shù)；fθ（x）為神經(jīng)網(wǎng)絡(luò)輸出；l為函數(shù)交叉熵?fù)p失。另一部分為對(duì)抗插值損失函數(shù)Ladv。

Ladv=1n2∑ni， j=1Eλ～Dλl（fθ（i，j（λ）），i，j（λ））（10）

其中：i=xi+δ，i，j（λ）=λi+（1－λ）j，對(duì)擾動(dòng)δ使用L2范數(shù)約束；‖δ‖2≤C，C為大于零的常數(shù)，C越大，對(duì)抗樣本攻擊成功率越高，但對(duì)抗樣本的隱蔽性會(huì)變?nèi)?，反之亦然。整體損失公式如式（11）所示。

Loss=Lnor+Ladv2（11）

3 實(shí)驗(yàn)

本章在CIFAR-10和SVHN數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，驗(yàn)證本文方法訓(xùn)練的模型防御能力，主要使用FGSM、PGD、AA三種攻擊算法進(jìn)行無(wú)目標(biāo)攻擊測(cè)試，選用L∞范數(shù)作為攻擊的距離度量，對(duì)抗擾動(dòng)大小設(shè)置為8/255。對(duì)PGD攻擊而言，迭代次數(shù)越多，攻擊越強(qiáng)，步長(zhǎng)均設(shè)置為2/255，使用PGD-7表示迭代七次生成對(duì)抗樣本，PGD-20表示迭代二十次生成對(duì)抗樣本。這三種攻擊算法在模型不采取防御策略時(shí)均能使模型分類(lèi)性能大幅下降，以此作為測(cè)試防御模型防御性能好壞的基準(zhǔn)攻擊。

3.1 實(shí)驗(yàn)設(shè)置

選用CIFAR-10和SVHN數(shù)據(jù)集作為本文實(shí)驗(yàn)所用數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。CIFAR-10數(shù)據(jù)集是用于識(shí)別普適物體的小型彩色數(shù)據(jù)集，每張圖像大小為32×32，包含10個(gè)類(lèi)別，有50 000張訓(xùn)練圖像和10 000張測(cè)試圖像。SVHN（street view house number）數(shù)據(jù)集來(lái)源于谷歌街景門(mén)牌號(hào)碼，來(lái)自一個(gè)明顯更難、未解決的現(xiàn)實(shí)世界問(wèn)題（識(shí)別自然場(chǎng)景圖像中的數(shù)字和數(shù)字）。數(shù)據(jù)集中每張圖像大小都為32×32，每張圖片中包含一組0～9的阿拉伯?dāng)?shù)字。訓(xùn)練集中包含73 257個(gè)數(shù)字，測(cè)試集中包含26 032個(gè)數(shù)字，另有531 131個(gè)附加數(shù)字。

a）硬件環(huán)境 本實(shí)驗(yàn)在Windows 10系統(tǒng)下進(jìn)行，GeForce RTX 3060 6 GB的GPU輔助運(yùn)行，機(jī)帶RAM為16 GB。

b）軟件環(huán)境 本實(shí)驗(yàn)采用Python 3.6編程語(yǔ)言，利用PyTorch深度學(xué)習(xí)框架，實(shí)驗(yàn)環(huán)境版本為CUDA 10.2，PyTorch 1.10，TorchVision 0.11.1。

主要使用FGSM、PGD（step=7和step=20）、AutoAttack三種對(duì)抗攻擊算法制作對(duì)抗樣本來(lái)測(cè)試模型的防御能力，測(cè)試所用對(duì)抗攻擊算法來(lái)自Pytorch中的torchattacks庫(kù)。在不防御的前提下，分類(lèi)模型對(duì)各樣本的分類(lèi)結(jié)果如表1所示。

3.2 評(píng)價(jià)指標(biāo)和對(duì)抗樣本

實(shí)驗(yàn)采用兩種評(píng)價(jià)指標(biāo)評(píng)估防御方法，即評(píng)估訓(xùn)練模型所用時(shí)間和評(píng)估模型防御白盒攻擊性能。在非目標(biāo)攻擊防御實(shí)驗(yàn)中，使用測(cè)試集的分類(lèi)準(zhǔn)確率對(duì)模型防御性能進(jìn)行評(píng)估。分類(lèi)準(zhǔn)確率acc計(jì)算如式（12）所示。

acc=TP+TNTP+FP+TN+FN（12）

其中：TP表示把正類(lèi)預(yù)測(cè)為正類(lèi)；TN表示把負(fù)類(lèi)預(yù)測(cè)為負(fù)類(lèi)；FP表示把負(fù)類(lèi)預(yù)測(cè)為正類(lèi)；FN表示把正類(lèi)預(yù)測(cè)為負(fù)類(lèi)。本文用該指標(biāo)來(lái)評(píng)估模型對(duì)輸入圖像的分類(lèi)精度。

PyTorch自帶的torchattacks庫(kù)中對(duì)抗攻擊算法生成的對(duì)抗樣本圖像如圖7所示，其中原始樣本來(lái)自SVHN數(shù)據(jù)集，對(duì)抗攻擊算法對(duì)其添加的對(duì)抗擾動(dòng)大小均設(shè)置為8/255。

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 對(duì)比實(shí)驗(yàn)

為了更直觀地觀察本文防御模型性能，圖8、9顯示在FGSM、PGD及自動(dòng)攻擊（AutoAttack，AA）［27］下模型整體防御性能的提升，深灰色柱狀區(qū)域表示模型不采取防御措施下對(duì)抗樣本的防御成功率，淺灰色柱狀區(qū)域則表示采取防御之后的防御成功率（參見(jiàn)電子版），可明顯觀察到本文模型防御對(duì)抗樣本的能力大幅提升。

為更好地評(píng)估防御性能，使用白盒攻擊和黑盒攻擊兩種方式進(jìn)行測(cè)試，白盒測(cè)試模型的防御性能，黑盒測(cè)試模型的泛化性能。在兩個(gè)數(shù)據(jù)集上訓(xùn)練本文模型，然后與其他防御方法進(jìn)行對(duì)比。SVHN數(shù)據(jù)集上進(jìn)行對(duì)比的方法包括基線方法、PGD AT、MixUp和插值對(duì)抗訓(xùn)練方法。對(duì)比結(jié)果如表2所示。

CIFAR-10數(shù)據(jù)集上對(duì)比方法有PGD AT、快速對(duì)抗訓(xùn)練（Fast AT）、自由對(duì)抗訓(xùn)練（Free AT）、插值對(duì)抗訓(xùn)練（Interpolation AT）［28］以及子空間對(duì)抗訓(xùn)練（Sub-AT）［29］，對(duì)比實(shí)驗(yàn)結(jié)果如表3所示。

實(shí)驗(yàn)結(jié)果表明，基于SS-ResNet18進(jìn)行對(duì)抗訓(xùn)練的防御策略不僅能保持較高的原始樣本分類(lèi)準(zhǔn)確率，模型對(duì)對(duì)抗樣本的分類(lèi)能力也有了大幅提升。以PGD-7攻擊為例，其分類(lèi)準(zhǔn)確率提升20%以上，防御其他攻擊的能力也有了明顯提高。

除了表2、3的白盒攻擊測(cè)試結(jié)果對(duì)比外，本文還進(jìn)行了對(duì)抗樣本黑盒攻擊測(cè)試，使用VGG16網(wǎng)絡(luò)生成對(duì)抗樣本圖像攻擊SS-ResNet18防御模型。在兩個(gè)數(shù)據(jù)集上的黑盒測(cè)試結(jié)果如表4所示。

根據(jù)混淆矩陣分析SS-ResNet18模型對(duì)數(shù)據(jù)集中每類(lèi)圖像的分類(lèi)能力，黑盒攻擊實(shí)驗(yàn)測(cè)試結(jié)果的混淆矩陣如圖10所示。

混淆矩陣中對(duì)角線數(shù)據(jù)指的是SS-ResNet18模型將每類(lèi)樣本分類(lèi)正確的數(shù)量，對(duì)角線外為分類(lèi)錯(cuò)誤的樣本數(shù)量。圖中橫軸表示分類(lèi)正確樣本標(biāo)簽，縱軸表示分類(lèi)錯(cuò)誤樣本標(biāo)簽，模型分類(lèi)對(duì)抗樣本的準(zhǔn)確率用魯棒準(zhǔn)確率表示。分析黑盒攻擊下的測(cè)試結(jié)果可得，在未知目標(biāo)模型結(jié)構(gòu)情況下，對(duì)抗樣本很難通過(guò)泛化性成功攻擊SS-ResNet18模型。該模型具有良好的泛化性能。

3.3.2 消融實(shí)驗(yàn)

在CIFAR-10和SVHN數(shù)據(jù)集上對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行消融研究，驗(yàn)證模型結(jié)構(gòu)的合理性。消融設(shè)置如下：模型1為ResNet18不采用任何防御策略進(jìn)行標(biāo)準(zhǔn)訓(xùn)練的模型、模型2為ResNet18進(jìn)行PGD對(duì)抗訓(xùn)練防御方法訓(xùn)練得到的模型、模型3為ResNet18進(jìn)行插值對(duì)抗訓(xùn)練防御方法訓(xùn)練得到的模型、模型4采用加入注意力機(jī)制的ResNet18進(jìn)行插值對(duì)抗訓(xùn)練得到的模型、模型5為使用對(duì)抗訓(xùn)練和特征混合方法訓(xùn)練得到的SS-ResNet18模型。

實(shí)驗(yàn)測(cè)試所用模型均訓(xùn)練200輪次，基本參數(shù)相同。測(cè)試數(shù)據(jù)為原始測(cè)試數(shù)據(jù)集和使用殘差網(wǎng)絡(luò)生成的步長(zhǎng)為2/255、迭代七次且進(jìn)行l(wèi)∞范數(shù)約束的PGD算法生成的對(duì)抗樣本，評(píng)價(jià)指標(biāo)為分類(lèi)精度和魯棒精度，分別表示分類(lèi)正常樣本和PGD-7對(duì)抗樣本的分類(lèi)準(zhǔn)確率。實(shí)驗(yàn)結(jié)果如表5所示，均取最佳測(cè)試結(jié)果。

3.3.3 訓(xùn)練時(shí)間花銷(xiāo)和穩(wěn)定性對(duì)比

對(duì)抗訓(xùn)練需要生成對(duì)抗樣本投入模型訓(xùn)練，因此較標(biāo)準(zhǔn)訓(xùn)練耗時(shí)更長(zhǎng)，不易應(yīng)用到大型網(wǎng)絡(luò)。使用早期停止策略，當(dāng)損失在20個(gè)周期不下降就停止網(wǎng)絡(luò)訓(xùn)練，并使用ResNet18作為基模型進(jìn)行訓(xùn)練。訓(xùn)練時(shí)間對(duì)比結(jié)果如表6所示。

由表6數(shù)據(jù)可知，雖然訓(xùn)練模型時(shí)間相比快速訓(xùn)練方法仍有差距，但對(duì)比PGD對(duì)抗訓(xùn)練方法有著較大提升，且SS-ResNet18對(duì)抗訓(xùn)練所需訓(xùn)練時(shí)長(zhǎng)低于最新提出的子空間對(duì)抗訓(xùn)練方法。從表6可知，SS-ResNet18對(duì)抗訓(xùn)練方法有效縮短了對(duì)抗訓(xùn)練時(shí)間，在時(shí)間成本上的花銷(xiāo)低于大部分對(duì)抗訓(xùn)練防御方法。為了驗(yàn)證模型的穩(wěn)定性，采取CIFAR-10數(shù)據(jù)集訓(xùn)練好的防御模型，在步長(zhǎng)為2/255，迭代七次的PGD攻擊擾動(dòng)不斷增大的情況下進(jìn)行實(shí)驗(yàn)測(cè)試。與標(biāo)準(zhǔn)訓(xùn)練、TRADES方法進(jìn)行對(duì)比，穩(wěn)定性測(cè)試為白盒攻擊測(cè)試結(jié)果，實(shí)驗(yàn)結(jié)果如圖11所示。

眾所周知，大擾動(dòng)下分類(lèi)模型更不易分類(lèi)原始樣本和對(duì)抗樣本，擾動(dòng)越大分類(lèi)準(zhǔn)確率越低，模型防御對(duì)抗樣本的能力就越弱。圖11可觀察到SS-ResNet18對(duì)抗訓(xùn)練方法訓(xùn)練的模型在擾動(dòng)不斷增大的情況下下降趨勢(shì)更為緩慢。綜上可得，SS-ResNet18模型不僅具有高魯棒性，也具有高穩(wěn)定性。

4 結(jié)束語(yǔ)

本文通過(guò)添加注意力模塊對(duì)殘差網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，計(jì)算能量函數(shù)來(lái)增加重要神經(jīng)元的權(quán)重。孿生網(wǎng)絡(luò)結(jié)構(gòu)很好地緩解了對(duì)抗訓(xùn)練過(guò)程中對(duì)抗樣本對(duì)干凈樣本分類(lèi)結(jié)果的干擾，加速網(wǎng)絡(luò)訓(xùn)練過(guò)程，訓(xùn)練模型過(guò)程中融合樣本間的特征以提高網(wǎng)絡(luò)泛化性。在兩個(gè)開(kāi)源數(shù)據(jù)集上，使用多種攻擊方式與不同防御方法訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)模型進(jìn)行對(duì)比，根據(jù)白盒攻擊測(cè)試結(jié)果可得，本文模型魯棒性最好，對(duì)比最新的子空間訓(xùn)練方法，模型訓(xùn)練時(shí)間更少。黑盒測(cè)試結(jié)果和穩(wěn)定性對(duì)比實(shí)驗(yàn)進(jìn)一步驗(yàn)證了該模型有著良好的泛化能力和防御性能。通過(guò)消融實(shí)驗(yàn)，保持參數(shù)一致的情況下證明SS-ResNet18模型所添加的策略是可行有效的。綜合可得，SS-ResNet18模型提高了分類(lèi)模型防御多種對(duì)抗樣本攻擊的能力。同時(shí)，模型降低了采用對(duì)抗訓(xùn)練方法對(duì)正常樣本分類(lèi)準(zhǔn)確率的負(fù)面影響，且模型訓(xùn)練時(shí)間較短。

參考文獻(xiàn)：

［1］Spielberg N A，Brown M，Gerdes J C. Neural network model predictive motion control applied to automated driving with unknown friction ［J］. IEEE Trans on Control Systems Technology，2021，30（5）： 1934-1945.

［2］桂韜，奚志恒，鄭銳，等. 基于深度學(xué)習(xí)的自然語(yǔ)言處理魯棒性研究綜述 ［J］. 計(jì)算機(jī)學(xué)報(bào)，2024，47（1）： 90-112. （Gui Tao，Xi Zhiheng，Zhen Rui，et al. A review of deep learning-based natural language processing robustness research ［J］. Chinese Journal of Computers，2024，47（1）： 90-112.）

［3］Li Yinglong. Research and application of deep learning in image recog-nition ［C］// Proc of the 2nd IEEE International Conference on Power，Electronics and Computer Applications. Piscataway，NJ： IEEE Press，2022： 994-999.

［4］Szegedy C，Zaremba W，Sutskever I，et al. Intriguing properties of neural networks ［EB/OL］. （2014-02-19）. https：//arxiv.org/abs/1312.6199.

［5］Eykholt K，Evtimov I，F(xiàn)ernandes E，et al. Robust physical-world attacks on deep learning visual classification ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2018： 1625-1634.

［6］Goodfellow I J，Shlens J，Szegedy C. Explaining and harnessing adversarial examples ［EB/OL］. （2015-03-20）. https：//arxiv.org/abs/1412.6572.

［7］Kurakin A，Goodfellow I J，Bengio S. Adversarial examples in the physical world ［M］// Artificial Intelligence Safety and Security. Boca Raton，F(xiàn)L： Chapman and Hall/CRC，2018： 99-112.

［8］Madry A，Makelov A，Schmidt L，et al. Towards deep learning models resistant to adversarial attacks ［EB/OL］. （2019-09-04）. https：//arxiv.org/abs/1706.06083.

［9］Athalye A，Carlini N，Wagner D. Obfuscated gradients give a false sense of security： circumventing defenses to adversarial examples ［C］// Proc of International Conference on Machine Learning. ［S.l.］：PMLR，2018： 274-283.

［10］Papernot N，McDaniel P，Wu Xi，et al. Distillation as a defense to adversarial perturbations against deep neural networks ［C］// Proc of IEEE Symposium on Security and Privacy. Piscataway，NJ： IEEE Press，2016： 582-597.

［11］魏忠誠(chéng)，馮浩，張新秋，等. 基于注意力機(jī)制的物理對(duì)抗樣本檢測(cè)方法研究 ［J］. 計(jì)算機(jī)應(yīng)用研究，2022，39（1）： 254-258. （Wei Zhongcheng，F(xiàn)eng Hao，Zhang Xinqiu，et al. Research on physical adversarial sample detection methods based on attention mechanisms ［J］. Application Research of Computers，2022，39（1）： 254-258.）

［12］Esmaeilpour M，Cardinal P，Koerich A L. Cyclic defense GAN against speech adversarial attacks ［J］. IEEE Signal Processing Letters，2021，28： 1769-1773.

［13］Kim H，Lee W，Lee J. Understanding catastrophic overfitting in single-step adversarial training ［C］// Proc of the AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2021： 8119-8127.

［14］Jia Xiaojun，Wei Xingxing，Cao Xiaochun，et al. ComDefend： an efficient image compression model to defend adversarial examples ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recog-nition. Piscataway，NJ： IEEE Press，2019： 6077-6085.

［15］Wu Dongxian，Wang Yisen. Adversarial neuron pruning purifies backdoored deep models ［J］. Advances in Neural Information Processing Systems，2021，34： 16913-16925.

［16］王佳，張揚(yáng)眉，蘇武強(qiáng)，等. 基于壓縮感知的神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)綜合防御策略 ［J］. 計(jì)算機(jī)學(xué)報(bào)，2023，46（1）： 1-16. （Wang Jia，Zhang Yangmei，Su Wuqiang，et al. Compression-aware neural network-based real-time integrated defense strategy ［J］. Chinese Journal of Computers，2023，46（1）： 1-16.）

［17］Yang Lingxiao，Zhang Ruyuan，Li Lida，et al. SimAM： a simple，parameter-free attention module for convolutional neural networks ［C］// Proc of International Conference on Machine Learning. ［S.l.］： PMLR，2021： 11863-11874.

［18］Zhang Linjun，Deng Zhun. How does mixup help with robustness and generalization？ ［C］// Proc of the 9th International Conference on Learning Representations. 2021.

［19］Faramarzi M，Amini M，Badrinaaraayanan A， et al. PatchUp： a feature-space block-level regularization technique for convolutional neural networks ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2022： 589-597.

［20］Moosavi-Dezfooli S M，F(xiàn)awzi A，F(xiàn)rossard P. DeepFool： a simple and accurate method to fool deep neural networks ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2016： 2574-2582.

［21］Koch G，Zemel R，Salakhutdinov R. Siamese neural networks for one-shot image recognition ［C］// Proc of ICML Deep Learning Workshop. 2015.

［22］Zhang Hongyang，Yu Yaodong，Jiao Jiantao，et al. Theoretically principled trade-off between robustness and accuracy ［C］// Proc of International Conference on Machine Learning. ［S.l.］： PMLR，2019： 7472-7482.

［23］Shafahi A，Najibi M，Ghiasi M A，et al. Adversarial training for free！ ［EB/OL］. （2019-11-20）. https：//arxiv.org/abs/1904.12843.

［24］Wong E，Rice L，Kolter J Z. Fast is better than free： revisiting adversarial training ［EB/OL］. （2020-01-12）. https：//arxiv.org/abs/2001.03994.

［25］Li Xingjian，Goodman D，Liu Ji，et al. Improving adversarial robustness via attention and adversarial logit pairing ［J］. Frontiers in Artificial Intelligence，2022，4： 752831.

［26］Smith L N. Cyclical learning rates for training neural networks ［C］// Proc of IEEE Winter Conference on Applications of Computer Vision. Piscataway，NJ： IEEE Press，2017： 464-472.

［27］Croce F，Hein M. Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks ［C］// Proc of International Conference on Machine Learning.［S.l.］：PMLR，2020：2206-2216.

［28］Lamb A，Verma V，Kannala J，et al. Interpolated adversarial training： achieving robust neural networks without sacrificing too much accuracy ［C］// Proc of the 12th ACM Workshop on Artificial Intelligence and Security. New York：ACM Press，2019： 95-103.

［29］Li Tao，Wu Yingwen，Chen Sizhe，et al. Subspace adversarial training ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2022： 13399-13408.