石 磊 張曉涵 洪曉鵬,2 李吉亮 丁文杰 沈 超

深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks, DNNs)的成功推動計(jì)算機(jī)視覺領(lǐng)域各類工作的迅速發(fā)展，行人重識別(Person Re-identification, ReID)任務(wù)就是其中的典型代表.近來有研究表明，深度ReID模型依舊繼承深度神經(jīng)網(wǎng)絡(luò)的脆弱性，即DNNs的輸出容易受到對抗擾動的影響，遭受對抗性攻擊[1-2].

近年來，研究者們針對ReID模型的對抗攻擊開展一系列研究，設(shè)計(jì)攻擊算法生成對抗樣本[1-5]攻擊ReID模型，從而充分測試模型和系統(tǒng)的脆弱性，并為提升和強(qiáng)化系統(tǒng)的魯棒性提供參考.此外，由于ReID模型本身會使用如ResNet50[6]、Dense-Net121[7]、VGG16[8]、SENet154[9]、ShuffleNet[10]和TransViT(Transformer ReID Vision Transformer)[11]等基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)和變形器網(wǎng)絡(luò)(Transformer)架構(gòu)[12]的骨干網(wǎng)絡(luò)，攻擊算法對ReID模型進(jìn)行驗(yàn)證的同時(shí)也對這些骨干網(wǎng)絡(luò)進(jìn)行驗(yàn)證，對相關(guān)領(lǐng)域的研究同樣也會產(chǎn)生促進(jìn)作用.

通常ReID被定義為一個(gè)排序問題，而不是分類問題[4].因此對ReID模型的攻擊不同于對分類模型的攻擊，在構(gòu)造對抗樣本時(shí)，大部分分類模型的攻擊方法，如通過降低預(yù)測概率回傳梯度的FGSM(Fast Gradient Sign Method)[13]等，直接攻擊ReID模型時(shí)會受到限制.要實(shí)現(xiàn)ReID模型的攻擊，需要研究如何擾亂模型最終的輸出排序.Zheng等[14]提出ODFA(Opposite-Direction Feature Attack)，使用特征逆向攻擊法攻擊目標(biāo)檢索模型，在特征空間中,將對抗樣本特征推向與原始特征相反的方向，達(dá)到擾亂圖像檢索深度排序結(jié)果的目的. Bai等[1]提出AMA(Adversarial Metric Attack)，直接在注冊集(Gallery)中添加對抗擾動，并設(shè)計(jì)攻擊距離度量,直接破壞成對圖像之間的距離，大幅降低ReID系統(tǒng)的準(zhǔn)確性，達(dá)到攻擊ReID模型的目的.此后，Wang等[2]提出TCIAA(Transferable, Controllable and Inconspicuous Adversarial Attacks),使用對抗公式優(yōu)化生成能擾亂排序輸出的對抗樣本，方法傾向于最小化非匹配對(即待匹配對象(Probe)與負(fù)樣本)的距離，同時(shí)最大化匹配對(即待匹配對象(Probe)與正樣本)的距離.Ding等[4]提出MUAP(More Universal Adversarial Perturbation)，引入平均精度(Average Precision, AP)的近似值，設(shè)計(jì)基于AP的樣本序列損失函數(shù)，有效擾亂全局排序關(guān)系,并生成具有更強(qiáng)的白盒和黑盒攻擊能力的通用對抗擾動[15].

考慮到對注冊集的訪問極其困難，AMA在實(shí)際場景中的應(yīng)用受到很大限制.其它代表性ReID攻擊算法，如TCIAA、MUAP等，也存在如下缺陷.ReID對抗攻擊通過對模型的輸入樣本圖像加入精心設(shè)計(jì)的輕微擾動,誘導(dǎo)模型得出偏離真實(shí)的排序結(jié)果，這種擾動通常要求非常微小,無法被人類視覺系統(tǒng)輕易察覺.這就給攻擊設(shè)置條件瓶頸.一方面，MUAP生成的通用對抗樣本過于單一，固定的對抗樣本對于魯棒性研究分析而言顯然是不夠全面的.另一方面，在設(shè)定基于范數(shù)的擾動樣本能量上限后，TCIAA在較低的攻擊能量[16]條件下攻擊性略顯不足.此外，被攻擊圖像的視覺質(zhì)量，即生成的對抗樣本與原始圖像之間的結(jié)構(gòu)相似度(Structural Similarity, SSIM)[17]也有待提高.

生成對抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)自提出以來，已成為圖像生成領(lǐng)域的熱門方法[18].GAN具有較好的學(xué)習(xí)生成復(fù)雜數(shù)據(jù)分布的能力,因此具有廣泛的應(yīng)用場景，相關(guān)的衍生模型在圖像生成、超分辨率、風(fēng)格轉(zhuǎn)換等應(yīng)用中都取得快速進(jìn)展.但原始的GAN難以生成高分辨率圖像，需要性能更強(qiáng)的改進(jìn)策略.為此，研究者們提出性能更強(qiáng)的GAN[19-21].然而，GAN訓(xùn)練不穩(wěn)定的現(xiàn)象已成為共識[20]，由于訓(xùn)練期間不穩(wěn)定和對超參數(shù)的敏感，GAN很難適應(yīng)不同的數(shù)據(jù)集.對于這種訓(xùn)練不穩(wěn)定的現(xiàn)象,一種普遍的觀點(diǎn)是:當(dāng)真實(shí)分布和生成分布的支撐集重疊程度較低時(shí)，GAN中鑒別器反饋給生成器的梯度無法提供有益的信息.為此，Karnewar等[21]提出MSG-GAN(Multi-scale Gradients for GAN),研究使用多尺度梯度生成高分辨率的圖像.不同于漸進(jìn)式圖像生成技術(shù)[22],MSG-GAN能達(dá)到一個(gè)較好的分布匹配，在梯度回傳訓(xùn)練過程中，將梯度傳遞到所有尺度,不斷強(qiáng)化真假數(shù)據(jù)分布重疊，使網(wǎng)絡(luò)注重學(xué)習(xí)更精細(xì)的細(xì)節(jié)，從而獲得既定輸出.相比傳統(tǒng)的GAN，MSG-GAN具有更強(qiáng)的優(yōu)勢.

鑒于MSG-GAN在生成樣本質(zhì)量上的優(yōu)勢, 本文提出多尺度梯度對抗樣本生成網(wǎng)絡(luò)(Multi-scale Gradient Adversarial Examples Generation Network, MSG-AEGN),采用多尺度的網(wǎng)絡(luò)結(jié)構(gòu),獲得不同語義級別的原始樣本輸入和生成器中間特征.利用注意力調(diào)制模塊將生成器中間特征轉(zhuǎn)換成多尺度權(quán)重，對原始樣本像素進(jìn)行調(diào)制以獲得對抗樣本.在此基礎(chǔ)上，提出基于圖像特征平均距離和三元組約束的改進(jìn)型對抗損失函數(shù)，約束和引導(dǎo)MSG-AEGN的訓(xùn)練.在實(shí)驗(yàn)部分,選擇3個(gè)主要的ReID基準(zhǔn)數(shù)據(jù)集Market1501[23]、CUHK[24]、DukeMTMC-reID[25]驗(yàn)證MSG-GAN的有效性，并與TCIAA、MUAP進(jìn)行對比分析.結(jié)果表明，MSG-GAN能生成能量較低、攻擊性較強(qiáng)、結(jié)構(gòu)相似度較高的對抗樣本，并在多個(gè)行人重識別數(shù)據(jù)集上均取得較優(yōu)的攻擊性能.

1 多尺度梯度對抗樣本生成網(wǎng)絡(luò)

本文提出多尺度梯度對抗樣本生成網(wǎng)絡(luò)(MSG-AEGN)，將注意力機(jī)制引入多尺度生成器結(jié)構(gòu)中,生成高質(zhì)量對抗樣本.

1.1 模型總體結(jié)構(gòu)

MSG-AEGN的總體結(jié)構(gòu)如圖1所示.模型主體包括注意力調(diào)制的多尺度對抗樣本生成器Gadv，對抗樣本判別器Dadv和目標(biāo)模型T.

圖1 MSG-AEGN總體框架圖Fig.1 Framework of MSG-AEGN

MSG-AEGN分別從生成器端和判別器端傳入多尺度的原始圖像信息，從低分辨率4×2的圖像一直到高分別率256×128的圖像，這些多尺度的樣本Ii(i=0,1,…,6)由平均池化(AvgPooling)運(yùn)算而來，并隨著訓(xùn)練的進(jìn)行不斷更新網(wǎng)絡(luò)參數(shù)，最終學(xué)習(xí)生成256×128的對抗樣本.生成器Gadv由注意力模塊(Attention)、生成器初始模塊(Generator Initial Block, GIB)和生成器生成模塊(Generator Gene-ration Block, GGB)組成.注意力模塊[7]主要實(shí)現(xiàn)兩個(gè)功能：1)負(fù)責(zé)將生成器中間特征通過1×1卷積降維運(yùn)算轉(zhuǎn)換成多尺度權(quán)重Wi，2)使用Wi對原始樣本Ii進(jìn)行調(diào)制,得到多尺度對抗樣本I′i.目標(biāo)模塊T主要負(fù)責(zé)提取特征,用于計(jì)算改進(jìn)型對抗損失，生成器受到生成器損失和改進(jìn)型對抗損失約束，判別器受到判別器損失約束.對抗樣本判別器Dadv由判別器生成模塊(Discriminator Generation Block, DGB)和最終輸出模塊(Final Block, Fin)組成，用于判別對抗樣本的真實(shí)性(即與原始樣本的接近度).

圖2進(jìn)一步描述各組成模塊的實(shí)現(xiàn)細(xì)節(jié)及生成器Gadv和判別器Dadv之間的信號傳遞，包括生成器Gadv和判別器Dadv的每步具體實(shí)現(xiàn)及網(wǎng)絡(luò)訓(xùn)練過程中每個(gè)尺度的維度變換.GIB、GGB、DS(Down Sam-ple)、HD(High Dimension)、Fin由不同的運(yùn)算組合而成，線性激活單元由1×1卷積降維實(shí)現(xiàn)，Mini-batchstDev(Minibatch Standard Deviation)[22]為鑒別器的Batch標(biāo)準(zhǔn)偏差層(為了提高生成器模型生成數(shù)據(jù)的多樣性，在判別器的最后一層上加入mini-batch discrimination).譜歸一化(Spectral Normali-zation, SN)[26]和批歸一化(Batch Normalization, BN)[27]是為了穩(wěn)定GAN的訓(xùn)練，對數(shù)據(jù)分布進(jìn)行歸一化.

圖2 MSG-AEGN各模塊細(xì)節(jié)圖Fig.2 Details of each module of MSG-AEGN

原始圖像I由池化操作可獲得多個(gè)尺度(不同分辨率)的圖像Ii，i=0,1,…,6，注意力調(diào)制模塊負(fù)責(zé)將每個(gè)尺度的圖像與權(quán)重Wi點(diǎn)乘，得到多尺度對抗樣本I′i，并將多尺度對抗樣本I′i送入判別器進(jìn)行真假判別訓(xùn)練，提高判別器的判別能力.同時(shí)多尺度生成器需要生成更高相似度的對抗樣本以欺騙判別器.最后，將I′6送入目標(biāo)網(wǎng)絡(luò)T提取全局特征,計(jì)算改進(jìn)型對抗損失.

為了便于觀察生成器注意力調(diào)制模塊的多尺度運(yùn)算過程，本文將其結(jié)果可視化,如圖3所示.圖中灰色箭頭表示平均池化獲得多尺度原始樣本方向，黃色箭頭表示單個(gè)像素感受野[27]減小方向，圖像中每個(gè)方形表示一個(gè)像素，隨著分辨率升高，伴隨像素增加，單個(gè)像素點(diǎn)方框越模糊.

在原始樣本中灰色箭頭所指平均池化方向上，感受野逐漸增大，單一像素點(diǎn)控制的感受野呈倍數(shù)增加，細(xì)節(jié)層語義更豐富，抽象層語義更抽象.只有淺層語義和深層語義結(jié)合才能充分表示原始圖像的完整語義信息，這也說明4×2分辨率的重要意義.4×2分辨率表示原始樣本的抽象層語義，在4×2分辨率中的綠框區(qū)域，伴隨分辨率遞增，像素?cái)?shù)量逐漸增加，而行人書包上的語義要素也逐漸清晰.同樣，在對抗樣本生成過程中，注意力調(diào)制的多尺度生成器在深層對原始樣本施加的調(diào)制更明顯，在紅框區(qū)域沿分辨率遞增的方向上，對原始樣本的調(diào)制逐漸減弱，這是因?yàn)樵谠紭颖境橄髮诱Z義中，多尺度對抗樣本生成網(wǎng)絡(luò)學(xué)習(xí)到影響目標(biāo)模型精度的抽象層權(quán)重，如果減少網(wǎng)絡(luò)尺度，會使網(wǎng)絡(luò)學(xué)習(xí)不到大感受野下由注意力模塊產(chǎn)生的權(quán)重，從而導(dǎo)致在細(xì)節(jié)層網(wǎng)絡(luò)需要付出更高的攻擊能量代價(jià)，直接導(dǎo)致生成的對抗樣本視覺質(zhì)量降低.因此，相比多尺度網(wǎng)絡(luò)，單尺度網(wǎng)絡(luò)生成的對抗樣本擾動能量會增加，SSIM值會減小.

(a)多尺度原始圖像像素增加過程(a)Incremental process of multi-scale original image pixels

同一行人在不同姿態(tài)下多尺度對抗樣本生成的可視化結(jié)果如圖4所示.由圖可清晰看到，即便是同一行人，在不同姿態(tài)和微弱的外部環(huán)境變化下，生成器生成的權(quán)重對原始樣本的調(diào)制(見右側(cè)紅色方框內(nèi)容)都會隨之改變，這也驗(yàn)證MSG-AEGN學(xué)習(xí)到不同尺度的權(quán)重信息.

對抗度量部分主要通過目標(biāo)網(wǎng)絡(luò)T(被攻擊的ReID網(wǎng)絡(luò))提取全局特征，用于計(jì)算對抗損失[2]，引導(dǎo)網(wǎng)絡(luò)向錯(cuò)誤的排序方向訓(xùn)練.

總體而言：框架設(shè)計(jì)原則遵循MSG-GAN的網(wǎng)絡(luò)特性，有利于對抗樣本生成網(wǎng)絡(luò)在不同感受野下提取更關(guān)鍵的特征信息；同時(shí)多尺度生成器Gadv學(xué)習(xí)深層樣本中影響度量精度的關(guān)鍵權(quán)重，并獲得攻擊能量更低的對抗樣本.

(a)原始樣本 (b)對抗樣本(a)Original examples (b)Adversarial examples圖4 不同姿態(tài)多尺度可視化結(jié)果Fig.4 Multi-scale visualization of different poses

1.2 對抗樣本生成器

在MSG-AEGN中，對抗樣本生成器記為Gadv，對應(yīng)的初始化函數(shù)(見圖2生成器0號模塊)記為

其中A0∈R64×4×2.

此函數(shù)分為3步運(yùn)算：1)采用1×1卷積升維運(yùn)算，2)執(zhí)行譜歸一化和批歸一化運(yùn)算，3)使用LeakyReLU[28]激活單元執(zhí)行激活操作.

本文設(shè)定初始化空間A-1∈R3×4×2由原始樣本空間(數(shù)據(jù)集)經(jīng)平均池化操作生成(即圖2中I0)，a-1∈A-1.生成器初始化模塊定義為Γ0運(yùn)算,則

1.3 注意力調(diào)制模塊

注意力調(diào)制模塊分為權(quán)重轉(zhuǎn)換模塊和權(quán)重施加模塊.權(quán)重轉(zhuǎn)換模塊將多尺度特征轉(zhuǎn)換為注意力權(quán)重，權(quán)重施加模塊利用生成的權(quán)重調(diào)制原始樣本生成對抗樣本.

ζi∶Ai→Wi，

可得

ζi(ai)=wi，

其中，ai∈Ai,i=0,1,…,6.

換言之，wi是由生成器第i層模塊gi的輸出圖像經(jīng)過轉(zhuǎn)換器ζi轉(zhuǎn)換后的權(quán)重.ζi可看作是權(quán)重生成器，在生成器的不同階段，要求學(xué)習(xí)到的特征映射能直接投影到不同尺度的權(quán)重空間.

給定任意輸入的原始圖像，其對應(yīng)的多尺度空間表示為Ii∈R2i+2×2i+1×3.令操作?為矩陣點(diǎn)乘運(yùn)算(對應(yīng)位置相乘)，則注意力調(diào)制機(jī)制利用權(quán)重wi對樣本特征Ii進(jìn)行調(diào)制，得到第i個(gè)尺度對應(yīng)的對抗樣本輸出:

I′i=wi?Ii.

那么對抗擾動[6]生成表達(dá)為

pi=I′i-Ii，

其中，ai∈R2i+2×2i+1×3,pi∈R2i+2×2i+1×3，i=0,1,…,6.

x6=Gadv(a-1).

除了得到最終的樣本輸出x6=I′6，生成器還可得到一系列不同尺度的中間結(jié)果xi=I′i，i=0,1,…,6，它將作為判別器的輸入?yún)⑴c生成對抗學(xué)習(xí).

1.4 對抗樣本判別器

將不同尺度的樣本送入判別器對應(yīng)層,獲得相應(yīng)尺度的卷積激活體.為了簡化表示，這里使用vi表示原始樣本(真)或?qū)箻颖?假)經(jīng)過AF函數(shù)(圖2中HD1～HD6模塊)產(chǎn)生的卷積激活體(圖2中黃色正方體)，即

這里真假樣本流向分別對應(yīng)圖2中黃色虛線箭頭和紅色虛線箭頭，于是有

vi=AF(Ii)或vi=AF(I′i).

在此基礎(chǔ)上定義函數(shù)φ，用于結(jié)合判別器第j個(gè)中間層尺度生成的vj與第j-1個(gè)中間層的輸出:

φ[1-6](x1,x2)=[x1?x2]，

其中,x1、x2表示輸入變量，[·?·]表示空間疊加下采樣運(yùn)算，即第1步卷積激活體和前一層傳入的激活量進(jìn)行拼接運(yùn)算(concat)，第2步送入DG模塊進(jìn)行下采樣運(yùn)算.

除d0以外(該層運(yùn)算缺少下采樣運(yùn)算，不涉及φ函數(shù))，定義判別器其余中間任意第j層的輸出激活量q′j(函數(shù)φ的輸出，即圖2中DG模塊輸出量)為

q′j=φj(vj,q′j-1)，

且j≠0(d0除外)，于是

dj∶φj(vj,q′j-1)→q′j，

則有q′j=φ(vK-i,q′j-1).

由于i和j總是相互關(guān)聯(lián)的，可通過j=K-i(K=6)關(guān)聯(lián)生成器輸出和判別器輸入,那么

φj(vK-i,q′j-1)=[vK-i?q′j-1]，

于是，最終判別器方程為：

Dadv(v0,v1,…,vK-1,x′)=d0(x′)〉d1(vK-1,°)〉…

dK-1(v1,°)〉dK(v0,°)〉dcs，

其中，運(yùn)算°表示前一個(gè)判別器模塊的輸出結(jié)果，運(yùn)算 〉表示通道級聯(lián).x′=I′i表示多尺度原始圖像，x′=Ii表示多尺度對抗樣本，分別送入Dadv計(jì)算判別得分，該得分用于計(jì)算最終判別器損失函數(shù).

1.5 損失函數(shù)

網(wǎng)絡(luò)訓(xùn)練的目標(biāo)是為了盡可能生成與原始圖像接近且對目標(biāo)ReID模型具有誤導(dǎo)性的對抗樣本.既要求對抗樣本與原始圖像盡可能逼近,也要求對抗樣本中的對抗擾動能量盡可能小，還要對抗樣本具有較強(qiáng)攻擊性，因此本文使用生成器損失函數(shù)、判別器損失函數(shù)、改進(jìn)型對抗損失函數(shù)和能量抑制損失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型.

1.5.1對抗損失

為了便于對比分析，本文對TCIAA[16]中使用的對抗損失函數(shù)重新進(jìn)行描述.該損失函數(shù)趨向于使不匹配對距離(與負(fù)樣本的距離)最小化，同時(shí)使匹配對距離(與正樣本的距離)最大化.值得注意的是，如果反過來使不匹配對距離(與負(fù)樣本的距離)最大化，同時(shí)使匹配對距離(與正樣本的距離)最小化，會使模型性能提升，攻擊的思路是使這種趨勢逆向，對抗損失函數(shù)就是結(jié)合ReID常用三元組損失函數(shù)(Tripletloss)[29]的逆向思維設(shè)計(jì)的.

對抗損失為：

(1)

1.5.2改進(jìn)型對抗損失函數(shù)

改進(jìn)型對抗損失和對抗損失函數(shù)一樣可攻擊預(yù)測的排序，進(jìn)而干擾系統(tǒng)的輸出結(jié)果，并能增強(qiáng)模型的攻擊性能.如圖5所示，改進(jìn)型對抗損失函數(shù)讓MSG-AEGN學(xué)習(xí)到更傾向于負(fù)樣本的錯(cuò)誤排序，拉近待匹配對象(Probe)樣本與負(fù)樣本的相對距離，推遠(yuǎn)與正樣本的相對距離，同時(shí)也拉近與負(fù)樣本之間的絕對距離，從而使生成器G生成的對抗樣本具有誤導(dǎo)性.

圖5 改進(jìn)型對抗損失函數(shù)計(jì)算原理圖Fig.5 Calculation principle diagram of improved adversarial metric loss function

改進(jìn)型對抗損失函數(shù)定義為基于三元組損失函數(shù)和圖像特征距離的均值的計(jì)算度量:

LAdv-TripletLoss-IMP=(ha,--ha,++α)++ha,-，

其中，ha,+表示待匹配對象(Probe)與正樣本之間基于全局特征距離總和的平均，ha,-表示Probe與負(fù)樣本之間基于全局特征距離總和的平均，則有

LAdv-TripletLoss-IMP=max(0,ha,--ha,++α)+ha,-,

其中α為閾值，則

有研究表明，對抗損失函數(shù)適合ReID問題，甚至可能適合所有的開集問題.錯(cuò)誤排序損失的使用也可能有利于攻擊者學(xué)習(xí)一般的特征和可轉(zhuǎn)移的特征，而設(shè)計(jì)這樣的損失函數(shù)能更好地應(yīng)用到基于GAN的網(wǎng)絡(luò)結(jié)構(gòu)中[16].不同于MUAP中一個(gè)Batch只能生成同種類型對抗擾動的方法，改進(jìn)型對抗損失函數(shù)可幫助不同數(shù)據(jù)生成不同的對抗樣本，進(jìn)而得到多樣化的對抗樣本，更有利于魯棒性測試.

1.5.3能量抑制損失函數(shù)

能量抑制損失函數(shù)使模型盡可能地抑制對抗樣本中對抗擾動的能量大小,使模型使用更低的能量獲得更高的攻擊收益，并保證生成的對抗樣本與原始圖像的SSIM更高.定義能量抑制損失函數(shù)：

其中：給定BatchB，I∈B為B中一個(gè)輸入圖像，I′為對應(yīng)的對抗樣本；N=|B|為BatchB的尺寸，即圖像總數(shù)；Normp為向量的p范數(shù)，本文實(shí)驗(yàn)中選用2范數(shù).

1.5.4GAN損失函數(shù)

多尺度GAN要求生成器Gadv盡可能生成逼真樣本，對抗樣本判別網(wǎng)絡(luò)Dadv盡可能增強(qiáng)判別能力以判別該樣本是否為真實(shí)樣本.那么，定義GAN總損失如下：

LM-GAN=GLoss+DLoss，

其中，GLoss表示生成器損失，DLoss表示判別器損失，

(2)

real_loss表示判別器對真樣本判別損失，fake_loss表示判別器對假樣本判別損失.判別器損失DLoss可定義為對真樣本判別損失和對假樣本判別損失的均值,于是有

real_loss=BCELoss[Sigmoid(r_preds),1(N)]，

fake_loss=BCELoss[Sigmoid(f_preds),0(N)]，

(3)

其中，

N=|B|表示BatchB中的樣本數(shù)，1(N)函數(shù)表示生成N維全1向量，同樣0(N)函數(shù)表示生成N維0向量.判別器對真樣本(原始樣本)的預(yù)測概率得分記為Sigmoid(r_preds)，real_loss用于計(jì)算判別器對真樣本的預(yù)測概率得分與1之間的差距損失，而判別器的理想狀態(tài)是始終能將真樣本判別為1.判別器對假樣本(對抗樣本)的預(yù)測概率得分記作Sigmoid(f_preds)，fake_loss用于計(jì)算每個(gè)樣本的預(yù)測概率得分與0之間的差距,而判別器的理想狀態(tài)是始終能夠?qū)⒓贅颖九袆e為0，那么有

r_preds=D(Ii)，f_preds=D(I′i)，

(4)

其中，D(·)函數(shù)表示多尺度判別器Dadv，r_preds表示判別器輸出真樣本的預(yù)測中間量(這里原始樣本Ii視作真樣本)，f_preds表示判別器輸出假樣本的預(yù)測中間量(這里對抗樣本I′i視作假樣本).定義

(5)

BCELoss[Sigmoid(D(I′i)),0(N)]}.

同上，生成器損失

GLoss=BCELoss[Sigmoid(g_preds),1(N)]，

g_preds=D(I′i)，

那么

GLoss=BCELoss[Sigmoid(D(I′i)),1(N)]，

則有MSG-AEGN的總損失函數(shù)：

L=GLoss+DLoss+LAdv_TripletLoss_M+Lp.

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文在3個(gè)行人重識別數(shù)據(jù)集Market1501、CUHK03、DukeMTMC-reID上進(jìn)行實(shí)驗(yàn).Market1501數(shù)據(jù)集包含1 501個(gè)不同身份(ID)和32 688個(gè)標(biāo)注框(Bounding Boxes)，訓(xùn)練集包含12 936幅圖像，751個(gè)ID，測試集(Query)包含3 368幅圖像，750個(gè)ID，注冊集(Gallery)包含15 913幅圖像，751個(gè)ID.CUHK03數(shù)據(jù)集包含1 467個(gè)ID，28 192個(gè)邊界框，訓(xùn)練集包含7 365幅圖像，767個(gè)ID，測試集包含1 400幅圖像，700個(gè)ID，注冊集包含5 332幅圖像，700個(gè)ID.DukeMTMC-reID數(shù)據(jù)集從視頻中每120幀采樣一幅圖像，得到36 411幅圖像.一共有1 404個(gè)人出現(xiàn)在至少兩個(gè)攝像頭下，有408個(gè)人(Dis-tractor ID)只出現(xiàn)在一個(gè)攝像頭下.訓(xùn)練集包含16 522幅圖像，702個(gè)ID，測試集包含2 228幅圖像，702個(gè)ID，注冊集數(shù)據(jù)包含17 661幅圖像，1 110個(gè)ID.具體數(shù)據(jù)集信息如表1所示.

表1 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)信息Table 1 Statistics of experimental datasets

2.2 實(shí)驗(yàn)細(xì)節(jié)

對于MSG-AEGN,輸入圖像大小為 256×128,使用隨機(jī)翻轉(zhuǎn)和隨機(jī)擦除[29]進(jìn)行數(shù)據(jù)增強(qiáng).目標(biāo)ReID網(wǎng)絡(luò)選擇相應(yīng)的骨干網(wǎng)絡(luò).生成器和判別器都選擇自適應(yīng)矩估計(jì)(Adaptive Moment Estimation, Adam)[30]優(yōu)化器,一階矩估計(jì)的指數(shù)衰減因子β1=0.9,二階矩估計(jì)的指數(shù)衰減因子β2=0.999，學(xué)習(xí)率為0.003，能量抑制函數(shù)中超參數(shù)λ1=λ2=0.5(攻擊不同的模型需要微調(diào))，改進(jìn)型對抗損失閾值α=0.3.在訓(xùn)練過程中,批大小設(shè)置為32,迭代次數(shù)設(shè)為10.每個(gè)批次中包含8個(gè)ID,每個(gè)ID有4幅圖像.

實(shí)驗(yàn)遵循TCIAA中關(guān)于能量限定的協(xié)議[2]，對比實(shí)驗(yàn)中設(shè)定對抗樣本的范數(shù)能量范圍(通過限定MUAP和TCIAA中擾動樣本能量上限值實(shí)現(xiàn)).所有實(shí)驗(yàn)均在2塊英偉達(dá)TITAN XP GPU上進(jìn)行.

2.3 評價(jià)指標(biāo)

本文選擇使用如下評價(jià)指標(biāo):平均準(zhǔn)確率均值(Mean Average Precision, mAP)和Rank-1,用于衡量攻擊對ReID模型性能的影響.使用擾動樣本的1范數(shù)能量大小(L1范式)表示攻擊能量大小，對抗樣本和原始樣本的SSIM指標(biāo)衡量兩者的相似度，SSIM值越大表示生成對抗樣本與原始圖像越相似.在不考慮對抗樣本和原始圖像的結(jié)構(gòu)相似性和對抗擾動能量大小前提下，只要給予對抗樣本足夠的攻擊能量，就可以讓ReID模型失效.很顯然這樣的做法與對抗攻擊提出的微弱擾動不相符，在實(shí)際場景中容易被察覺，對于模型攻擊和魯棒性研究缺乏實(shí)際意義.對抗攻擊更關(guān)注的是微弱擾動對于模型性能的影響，所以擾動的能量大小和對抗樣本的SSIM顯得非常重要.

1)ReID攻擊通常會設(shè)定攻擊的能量上限，借鑒對抗機(jī)器學(xué)習(xí)(Adversarial Machine Learning, AML)中關(guān)于對抗攻擊能量大小的度量方法[16]，給定圖像寬度W、高度H，設(shè)定能量大小度量指標(biāo)為

其中I為圖像像素總數(shù).

2)為了度量對抗樣本和原始圖像的結(jié)構(gòu)相似性，給定圖像的SSIM指標(biāo)如下：

SSIM(I,I′)=[l(I,I′)α·c(I,I′)β·s(I,I′)γ].

上式基于I和I′之間的亮度、對比度和結(jié)構(gòu)進(jìn)行綜合衡量：

其中，α=1，β=1，γ=1，可得

其中:μ、μ′分別表示I和I′的平均值；σ、σ′分別表示I和I′的方差；ρ表示I和I′的協(xié)方差；c1=(k1L)2，c2=(k2L)2，用于持續(xù)穩(wěn)定的常數(shù)，一般取c3=c2/2；L表示像素值的動態(tài)范圍；k1=0.01，k2=0.03.

SSIM值越大說明對抗樣本與原始圖像的相似度越高.SSIM可較好地度量對抗樣本和原始圖像之間的相似度，是衡量對抗樣本質(zhì)量的重要指標(biāo).在本文實(shí)驗(yàn)中，采用高斯函數(shù)計(jì)算圖像均值、方差及協(xié)方差，而不是遍歷像素點(diǎn)的方式.

2.4 攻擊實(shí)驗(yàn)結(jié)果

現(xiàn)有的ReID模型主要分為基于變形器網(wǎng)絡(luò)Transformer的模型和基于CNN的模型，下面分別使用MSG-AEGN對2種代表性模型進(jìn)行攻擊實(shí)驗(yàn).

2.4.1對Transformer框架ReID模型的攻擊

本文攻擊目前性能最優(yōu)的ReID模型——TransReID(Transformer ReID)[12]，該模型以Transformer[31]為框架基礎(chǔ).由于TransReID分別使用不同的方法訓(xùn)練它的骨干網(wǎng)絡(luò)Vision Trans-former(ViT)，本文在實(shí)驗(yàn)中也相應(yīng)使用MSG-AEGN攻擊基于這些方法訓(xùn)練的ViT骨干網(wǎng)絡(luò).攻擊前后性能對比如表2所示，表中基準(zhǔn)算法-ViT表示不使用JPM(Jigsaw Patch Module)和SIE(Side Informa-tion Embeddings)[12]訓(xùn)練的ViT骨干網(wǎng)[12]，Trans-ReID-ViT表示使用JPM+SIE訓(xùn)練的ViT骨干網(wǎng)，TransReID-DeiT表示以DeiT(Data-Efficient Image Transformers)[32]預(yù)訓(xùn)練模型訓(xùn)練的ViT骨干網(wǎng).

由表2可知，MSG-AEGN攻擊TransReID,可使其mAP值降至2.5%以下，并保持對抗噪聲的L1范數(shù)能量低于30，對抗樣本與原始圖像的SSIM值高于70%.值得注意的是，不同的訓(xùn)練方法對同個(gè)骨干網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，獲得模型的魯棒性(防御對抗攻擊的能力)是不同的.

表2 MSG-AEGN攻擊TransReID前后性能對比Table 2 Performance comparison before and after MSG-AEGN attacking TransReID

2.4.2對CNN框架ReID模型的攻擊

為了和更多的ReID攻擊算法對比，實(shí)驗(yàn)選擇TCIAA和MUAP作為對比算法.對擾動能量上限進(jìn)行限定，在Market1501數(shù)據(jù)集上，MUAP和TCIAA的擾動樣本能量上限均為16；在DukeMTMC-reID數(shù)據(jù)集上，MUAP和TCIAA的擾動樣本能量上限分別為11和16.為了全面對比分析，本文利用MSG-AEGN、TCIAA、MUAP分別對目前主流的基于CNN的ReID模型進(jìn)行攻擊，包括AlignedReID[32]、AGW(Non-local-Attention Generalized-Mean Weighted-Regularization-triplet)[33]、BOT(Bag of tricks)[34]及其在3種不同骨干網(wǎng)絡(luò)ResNet50、DenseNet121和SENet154上的變種.攻擊實(shí)驗(yàn)在Market1501、Duke-MTMC數(shù)據(jù)集上進(jìn)行，結(jié)果如表3和表4所示.

表3 3種模型在Market1501數(shù)據(jù)集上攻擊基于CNN的基準(zhǔn)ReID前后性能對比Table 3 Performance comparison before and after 3 models attacking ReID baselines based on CNN on Market1501 dataset

表4 3種模型在DukeMTMC-reID數(shù)據(jù)集上攻擊基于CNN的基準(zhǔn)ReID前后性能對比Table 4 Performance comparison before and after 3 models attacking ReID baselines based on CNN on DukeMTMC-reID dataset

由表3可看出,在 Market1501 數(shù)據(jù)集上,MSG-AEGN在攻擊AlignedReID時(shí)，相比TCIAA和MUAP，攻擊所需能量值分別降低22.8和16.3，SSIM值分別提升35.0%和25.3%.由表4可知,在DukeMTMC-reID數(shù)據(jù)集上，MSG-AEGN在攻擊AGW時(shí)，相比TCIAA和MUAP，擾動能量分別降低31.8和17.0, SSIM分別提升21.7%和20.8%.實(shí)驗(yàn)表明，MSG-AEGN不但能提升視覺質(zhì)量(SSIM)，還能大幅抑制能量大小.

在不同數(shù)據(jù)集上，使用MSG-AEGN、TCIAA和MUAP攻擊不同的目標(biāo)ReID模型(DenseNet、AGW、BOT)，生成的對抗樣本可視化結(jié)果如圖6所示.

(a)MSG-AEGN的攻擊結(jié)果(a)Results by MSG-AEGN

2.5 單尺度網(wǎng)絡(luò)與多尺度網(wǎng)絡(luò)攻擊效果對比

在Market1501、DukeMTMC-reID數(shù)據(jù)集上，基于MSG-AEGN驗(yàn)證多尺度網(wǎng)絡(luò)對抗樣本能量抑制性能強(qiáng)于單尺度網(wǎng)絡(luò).在DukeMTMC-reID數(shù)據(jù)集上設(shè)計(jì)MSG-AEGN攻擊BOT和AGW,前后性能對比如表5和表6所示.

由表5可見，MSG-AEGN攻擊BOT，在遭受對抗攻擊后，無論是單尺度攻擊或多尺度攻擊都能使BOT的mAP值從88.7%降至0.9%，Rank1值從90.3%降至0.9%，但是單尺度攻擊對抗擾動能量大于多尺度攻擊.

表5 各網(wǎng)絡(luò)在Market1501數(shù)據(jù)集上攻擊ReID模型前后性能對比Table 5 Performance comparison before and after different networks attacking ReID models on Market1501 dataset

同理，由表6可見，在DukeMTMC-reID數(shù)據(jù)集上的結(jié)果也同樣表明多尺度攻擊需要的對抗擾動攻擊能量更低，能大幅抑制攻擊能量.

表6 各網(wǎng)絡(luò)在DukeMTMC-reID數(shù)據(jù)集上攻擊ReID模型前后性能對比Table 6 Performance comparison before and after different networks attacking ReID models on DukeMTMC-reID dataset

單尺度網(wǎng)絡(luò)攻擊和多尺度網(wǎng)絡(luò)攻擊部分可視化結(jié)果如圖7所示.

(a)攻擊BOT(a)Attacking BOT

由圖7可見，在DukeMTMC-reID數(shù)據(jù)集上，以MSG-AEGN對BOT的攻擊為例，從可視化樣本中可發(fā)現(xiàn)，以紅色限定區(qū)域?yàn)閰⒖歼M(jìn)行對比，多尺度網(wǎng)絡(luò)攻擊由于獲得原始樣本像素修改的深層權(quán)重，在淺層對像素的修改幅度明顯弱于單尺度網(wǎng)絡(luò)攻擊，對抗擾動的能量也相對較低.總之，相比多尺度網(wǎng)絡(luò)，單尺度網(wǎng)絡(luò)生成的對抗樣本能量增加，SSIM值減小.

下面通過實(shí)驗(yàn)驗(yàn)證4×2分辨率層對于實(shí)驗(yàn)結(jié)果的影響.在Market1501數(shù)據(jù)集上，目標(biāo)網(wǎng)絡(luò)為AGW，使用MSG-AEGN攻擊AGW，在所用參數(shù)不變的情況下，去除4×2分辨率層前后可視化結(jié)果對比如圖8所示.

圖8 去除4×2層前后生成的對抗樣本可視化結(jié)果Fig.8 Visualization results before and after removing 4×2 layer

在使目標(biāo)模型的mAP和Rank1都低于1的攻擊強(qiáng)度之下，保持4×2分辨率層產(chǎn)生擾動樣本的L1范式能量為13.1,SSIM值為89.4%；去除4×2分辨率層后，產(chǎn)生擾動樣本的L1范式能量為18.8,SSIM值為81.8%.由此可知，去除4×2分辨率層會增加對抗擾動的能量大小，降低對抗樣本與原始樣本的SSIM值.由圖8還可看出，去除4×2分辨率層后對抗擾動痕跡更明顯，肉眼觀察下更容易被察覺.

2.6 對抗損失函數(shù)與改進(jìn)型對抗損失函數(shù)性能對比

為了驗(yàn)證改進(jìn)型對抗損失函數(shù)在其它模型上的效果，本文以TCIAA攻擊方法為例，在Market1501數(shù)據(jù)集上對AlignedReID目標(biāo)模型進(jìn)行攻擊.在1 min 45 s內(nèi)，使用對抗損失函數(shù)的TCIAA和使用改進(jìn)型對抗損失的TCIAA均完成10個(gè)批次的訓(xùn)練.此時(shí)，使用對抗損失函數(shù)的TCIAA在測試集上的mAP值由79.1%降至59.2%，Rank1值由91.8%降至73.8%.在其它實(shí)驗(yàn)設(shè)置和網(wǎng)絡(luò)結(jié)構(gòu)不變的情況下，將對抗損失函數(shù)替換成改進(jìn)型對抗損失之后，TCIAA在測試集上的mAP值由79.1%降至13.5%，Rank1值由91.8%降至15.7%.由此可見，相比對抗損失函數(shù)，利用改進(jìn)型對抗損失函數(shù)進(jìn)行模型訓(xùn)練，在相同訓(xùn)練時(shí)間條件下獲得的模型泛化性能具有明顯提升.

為了進(jìn)一步驗(yàn)證改進(jìn)型對抗損失的有效性和適用性，將MSG-AEGN中的改進(jìn)型對抗損失替換為TCIAA的對抗損失函數(shù).以對AlignedReID目標(biāo)模型的攻擊為例，在Market1501數(shù)據(jù)集上，目標(biāo)模型被MSG-AEGN使用對抗損失函數(shù)攻擊之后，mAP值由79.1%小幅降至78.2%，Rank1值由91.8%降至90.6%，幾乎沒有攻擊效果.在其它實(shí)驗(yàn)設(shè)置和網(wǎng)絡(luò)結(jié)構(gòu)不變的情況下，將對抗損失函數(shù)替換成改進(jìn)型對抗損失，mAP值由79.1%降至4.4%，Rank1值由91.8%降至3.7%.由此可見，使用TCIAA攻擊模型的損失函數(shù)對MSG-AEGN的訓(xùn)練沒有效果.

綜上所述，在TCIAA中改進(jìn)型對抗損失函數(shù)的性能明顯強(qiáng)于對抗損失函數(shù)，在MSG-AEGN中對抗損失函數(shù)幾乎沒有作用，而改進(jìn)型對抗損失函數(shù)的攻擊效果較明顯.由此可證實(shí)，改進(jìn)型對抗損失函數(shù)的可遷移性強(qiáng)于對抗損失函數(shù).

2.7 消融實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文的改進(jìn)型對抗損失函數(shù)和能量抑制函數(shù)的有效性，進(jìn)行多組消融實(shí)驗(yàn).

在CUHK03數(shù)據(jù)集上，MSG-AEGN分別攻擊AlignedReID、DenseNet121，攻擊前后性能對比如表7所示.以攻擊AlignedReID為例，不使用改進(jìn)型對抗損失時(shí)，mAP值僅從59.7%降至57.8%，Rank1值僅從60.9%降至59.1%，無太大變化，攻擊效果不明顯.反之，使用改進(jìn)型對抗損失時(shí)，mAP值從59.7%降至1%，Rank1值從60.9%降至0.6%.由此可見，改進(jìn)型對抗損失函數(shù)對MSG-AEGN攻擊性能的影響較明顯.

表7 改進(jìn)型對抗損失函數(shù)對MSE-AEGN性能的影響Table 7 Effect of improved adversarial loss function on MSE-AEGN performance

為了驗(yàn)證能量抑制函數(shù)Lp的有效性，是否使用能量抑制損失函數(shù)的性能對比如表8所示.由表可見，使用能量抑制函數(shù)得到的對抗擾動能量遠(yuǎn)低于不使用能量抑制函數(shù)，因此可得,能量抑制損失函數(shù)在不同數(shù)據(jù)集和骨干網(wǎng)絡(luò)上可有效抑制生成對抗擾動樣本的能量大小.

表8 能量抑制函數(shù)使用前后L1范式能量對比Table 8 Energy comparison of L1 normal form before and after energy suppression function

3 結(jié) 束 語

本文設(shè)計(jì)基于多尺度梯度對抗樣本生成網(wǎng)絡(luò)(MSG-AEGN)，通過多尺度結(jié)構(gòu)在不同分辨率上調(diào)制原始樣本像素,從而獲得擾動能量較低、視覺質(zhì)量較高的對抗樣本.實(shí)驗(yàn)表明，MSG-AEGN對基于CNN和Transformer的主流Re-ID模型均具有較好的攻擊效果.盡管現(xiàn)有的行人重識別對抗攻擊模型通過不斷改進(jìn)以提升對抗樣本視覺質(zhì)量，但離生成肉眼完全無法識別的對抗擾動這一目標(biāo)還有一定差距，亟待解決諸多問題.今后可考慮生成能量更低、肉眼更難以察覺的對抗擾動，并探索其它攻擊模式的對抗攻擊方法，力爭實(shí)現(xiàn)攻擊效果的新突破.