.

收稿日期：2023-10-29。

作者簡介：于振華（1977—），男，教授，博士生導師。

基金項目：國家自然科學基金資助項目（62273272，62303375）。

網(wǎng)絡出版時間：2024-04-09""" 網(wǎng)絡出版地址：https：∥link.cnki.net/urlid/61.1069.T.20240408.1508.002

摘要：針對現(xiàn)有面向目標檢測的對抗樣本生成方法泛化能力弱的問題，提出了一種融合風格遷移的對抗樣本生成方法。首先，提出一種新的對抗補丁生成方法，使用風格遷移方法將風格圖像不同層次特征提取并融合，生成無明顯物體特征且紋理豐富的對抗補??；然后，利用梯度類激活映射方法生成目標的特征熱圖，對目標不同區(qū)域在目標檢測模型中的關鍵程度進行可視化表示；最后，構建一種熱圖引導機制，引導對抗補丁在攻擊目標的關鍵位置進行攻擊以提高其泛化能力，生成最終對抗樣本。在DroNet室外數(shù)據(jù)集上進行實驗，結(jié)果表明：針對單階段目標檢測模型YOLOv5生成的對抗樣本，采用所提方法計算得到的攻擊成功率可達84.07%；應用于攻擊兩階段目標檢測模型Faster R-CNN時，采用所提方法計算得到的攻擊成功率仍保持在67.65%；與現(xiàn)有的主流方法相比，所提方法生成的對抗樣本攻擊效果較好，且具有良好的泛化能力。

關鍵詞：目標檢測；對抗樣本；風格遷移；對抗補丁；熱圖引導

中圖分類號：TP399" 文獻標志碼：A

DOI：10.7652/xjtuxb202407018" 文章編號：0253-987X（2024）07-0191-12

Adversarial Example Generation Method Based on Style Transfer

YU Zhenhua， YIN Zheng， YE Ou， CONG Xuya

（College of Computer Science amp; Technology， Xi’an University of Science and Technology， Xi’an 710054， China）

Abstract：In response to the limited generalization in existing object detection-oriented adversarial example generation methods， an adversarial example generation method based on style transfer is proposed. Firstly， a novel adversarial patch generation method is introduced， leveraging style transfer techniques to blend features extracted from different layers of style images. This process generates adversarial patches that lack distinct object features but are rich in texture. Subsequently， a gradient-based activation mapping method is employed to generate feature heatmaps for the target， visually illustrating the significance of different regions of the target within the object detection model. Finally， a heatmap-guided mechanism is established to guide the adversarial patch to attack critical positions of the target， thereby enhancing its generalization ability and generating the ultimate adversarial examples. The proposed method’s performance is verified through experiments conducted on the DroNet outdoor dataset. The experimental results demonstrate that this method achieves a success rate of 84.07% in generating adversarial samples for the single-stage object detection model YOLOv5. When applied to attack the two-stage object detection model Faster R-CNN， the success rate remains at 67.65%. Compared to prevailing methods， the adversarial examples generated by the proposed method exhibit superior attack effectiveness and good generalization capabilities.

Keywords：object detection; adversarial examples; style transfer; adversarial patch; heatmap-guided

深度神經(jīng)網(wǎng)絡的優(yōu)越性能推動了計算機視覺的快速發(fā)展，在目標檢測［1］、圖像分類［2］、語義分割［3］、自動駕駛［4］和故障診斷［5］等領域取得了巨大的成功。其中，目標檢測一直以來備受學術界和工業(yè)界的高度關注，它的任務是從給定的圖像中提取感興趣區(qū)域并標記出類別和位置。隨著深度學習技術的快速發(fā)展，各種性能卓越的目標檢測模型在實際生活中得到了廣泛的應用［6-7］。研究結(jié)果表明，目標檢測模型在安全性方面仍存在漏洞等問題，容易受到對抗樣本攻擊［8］。對抗樣本是一種人為制造的欺騙性圖像，通過對原始圖像添加擾動，可以使得目標檢測模型產(chǎn)生錯誤的結(jié)果。對抗樣本問題最初在圖像分類領域被提出［9］，而現(xiàn)在已經(jīng)被證實同樣存在于目標檢測領域中［10］。為了發(fā)現(xiàn)目標檢測模型存在的潛在漏洞，研究人員會使用各種方法生成對抗樣本對模型進行測試，針對模型測試中暴露出的漏洞，采取相應的防御方法，進而提高模型的安全性和魯棒性［11］。因此，研究面向目標檢測的對抗樣本生成方法具有重要的理論意義和實用價值。

自Lu等［12］在目標檢測領域中提出對抗樣本生成方法以來，研究人員提出了一系列面向目標檢測的對抗樣本生成方法，可以分為基于全局擾動和基于局部擾動的對抗樣本生成方法。在基于全局擾動的對抗樣本生成方法中，Liao等［13］利用高層次語義信息來生成對抗擾動，所生成的對抗樣本具有良好的魯棒性。Li等［14］設計了一種通用密集目標抑制算法生成對抗樣本，可以使目標檢測模型無法檢測特定類別的目標，同時保持其他類別目標的檢測結(jié)果不變。黃世澤等［15］提出了一種針對目標檢測器的對抗樣本生成方法，可以實現(xiàn)消失攻擊和定向攻擊。謝云旭等［16］以圖像中的目標類為單位快速進行類梯度收集，并結(jié)合圖片尺度擾動生成對抗樣本，具有良好的攻擊效果。總的來說，基于全局擾動的對抗樣本生成方法對攻擊目標整體進行擾動攻擊，擾動分散且不易察覺，具有良好的隱蔽性，但是其中一些方法過于依賴模型的內(nèi)部信息，導致生成的對抗樣本泛化能力較弱。在基于局部擾動的對抗樣本生成方法中，Wang等［17］根據(jù)目標檢測模型的輸出不斷優(yōu)化對抗補丁，最終可以在現(xiàn)實世界中成功欺騙目標檢測系統(tǒng)。Zhang等［18］通過在訓練過程中引入擾動量限制并模擬復雜的外部物理環(huán)境和非剛體對象的三維變換，所生成的對抗補丁具有良好的攻擊性和遷移性。丁程等［19］從擾動生成過程與擾動成本限制兩方面，提出一種隱蔽式對抗樣本生成方法，具有良好的隱蔽性。針對檢測模型中常用的非極大值抑制機制和檢測模型的特征圖關注區(qū)域，王燁奎等［20］設計了位置回歸攻擊損失，引導生成的候選框偏離預測的關注區(qū)域，導致模型檢測失敗。Hu等［21］使用生成對抗網(wǎng)絡來創(chuàng)建與真實紋理難以區(qū)分的對抗性紋理，可以有效誘導目標檢測模型產(chǎn)生錯誤檢測結(jié)果。Liu等［22］通過同時攻擊目標檢測模型的邊界框回歸任務和目標分類任務來生成對抗補丁，可以顯著降低目標檢測模型的性能。Du等［23］在訓練生成對抗補丁的過程中加入了旋轉(zhuǎn)、明暗度等變化來提升魯棒性，所生成的對抗補丁可以在現(xiàn)實世界中進行有效攻擊。Lang等［24］利用注意力機制來確定對抗補丁的攻擊位置，指出該方法生成的對抗補丁能夠明顯降低目標檢測模型的準確性?？偟膩碚f，基于局部擾動的對抗樣本生成方法生成對抗樣本擾動區(qū)域小，可以延伸到現(xiàn)實世界攻擊，但其中一些方法生成對抗補丁的物體特征過于明顯，容易被目標檢測模型誤識別為小型遮擋物，從而導致其泛化能力減弱。

為了解決上述問題，本文提出一種融合風格遷移的對抗樣本生成方法。該方法結(jié)合風格遷移［25］的思想，在VGG19網(wǎng)絡模型［26］的基礎上，通過融合不同卷積層提取到風格圖像的特征生成對抗補丁，保留具有攻擊性紋理的同時弱化物體特征；然后引入梯度類激活映射方法（Grad-CAM）［27］生成目標的特征熱圖；最后構建一種熱圖引導機制，引導對抗補丁在目標關鍵特征集中區(qū)域進行攻擊，生成最終對抗樣本，增強對抗樣本的泛化能力。與主流的對抗樣本生成方法進行對比，結(jié)果表明本文方法生成的對抗樣本攻擊效果較好，且具有良好的泛化能力。

1" 融合風格遷移的對抗樣本生成方法

1.1" 方法總體框架

本文利用風格遷移和Grad-CAM方法，提出了一種新的對抗樣本生成方法，主要分為基于風格遷移的對抗補丁生成、基于Grad-CAM方法的運動目標熱圖生成和熱圖引導的對抗樣本生成3個部分，如圖1所示。

1.2" 基于風格遷移的對抗補丁生成

原對抗補丁與本文方法生成的對抗補丁對比如圖2所示，左側(cè)為原對抗補丁，目標檢測模型檢測出包含網(wǎng)球和蘋果的信息，右側(cè)為經(jīng)過本文方法生成的對抗補丁，目標檢測模型未檢測出任何物體信息。

本文方法生成對抗補丁的過程如下：給定一幅風格圖像x∈Rm，通過一個深度神經(jīng)網(wǎng)絡分類器F從不同網(wǎng)絡層提取風格圖像x的特征，將特征融合后生成對抗補丁x′。深度神經(jīng)網(wǎng)絡分類器F采用VGG19網(wǎng)絡模型，優(yōu)化過程為

minD（x， x′）+Ladv（x′），" x′∈0，255 （1）

式中：D（x，x′）表示衡量生成對抗補丁優(yōu)劣的距離損失；Ladv（x′）表示對抗損失，0，255表示合理的圖像像素范圍。

衡量生成對抗補丁優(yōu)劣的距離損失D（x，x′）由3個損失函數(shù)組成：內(nèi)容損失LC、風格損失LS和平滑度損失Lm。其中，內(nèi)容損失LC用來保留參考風格圖像的深層紋理結(jié)構，風格損失LS用來產(chǎn)生更豐富的紋理特征，平滑度損失Lm用來產(chǎn)生局部平滑區(qū)域。距離損失D（x，x′）定義為

D（x， x′）=LC+LS+Lm （2）

最終的整體損失函數(shù)定義為

L=D（x，x′）+Ladv （3）

在整體損失函數(shù)中，對抗損失Ladv用來增強紋理豐富程度，組成D（x，x′）的3個損失函數(shù)與Ladv對于總損失的貢獻度是同等重要的。

為了保證對抗補丁深層紋理結(jié)構和風格圖像深層紋理結(jié)構一致，內(nèi)容損失定義為

LC=1HW∑l∈Cl‖l（x）－l（x′）‖22 （4）

式中：H、W分別是特征圖的高和寬；l（·）表示特征提取器對第l層網(wǎng)絡層的特征提取操作；Cl表示用于提取內(nèi)容表示的網(wǎng)絡層集合。特征提取器采用VGG19網(wǎng)絡模型，為了保留風格圖像具有攻擊性的深層紋理結(jié)構，本文選用特征提取器的深層網(wǎng)絡層來提取內(nèi)容表示。

為了保證參考風格圖像的風格特征能夠被提取出用于生成對抗補丁，風格損失定義為

LS=∑l∈Slwl14N2lM2l‖G（l（x））－G（l（x′））‖22 （5）

式中：wl是第l層的權重；Nl和Ml分別是第l層特征圖的通道數(shù)和空間維度；G（l（·））表示計算特征提取器第l層提取深層特征的Gram矩陣操作；Sl表示用于提取風格表示的網(wǎng)絡層集合。特征提取器可以在不同網(wǎng)絡層提取到不同特征，淺層網(wǎng)絡層通常會提取更多顏色特征，而深層網(wǎng)絡層則會提取更多紋理特征。為了生成紋理更豐富的對抗補丁，本文選用特征提取器深層的網(wǎng)絡層來提取風格表示。

為了提高對抗補丁平滑度，需要減少相鄰像素之間變化，平滑度損失定義為

Lm=∑（（x′i，j－x′i+1，j）2+（x′i，j－x′i，j+1）2）1/2 （6）

式中：x′i，j是圖像x′在坐標（i，j）下的像素。該損失函數(shù)對生成具有低方差的局部色塊有積極作用，可以確保在生成過程中產(chǎn)生平滑顏色過渡。

為了進一步增強對抗補丁的紋理豐富程度，對抗損失定義為

Ladv=－ln（pyadv（x′））+ln（py（x′）） （7）

式中：pyadv（·）是F對于yadv類別的概率輸出；py（·）是F對于y類別的概率輸出，且 yadv≠y。該損失函數(shù)在生成對抗補丁的過程中將其他類別信息引入，增加了對抗擾動的多樣性，可以進一步增強生成對抗補丁的紋理豐富程度。

為了增強對抗補丁的攻擊性，在整個優(yōu)化生成過程中加入了一些增強魯棒性的操作，包括旋轉(zhuǎn)、比例調(diào)整和顏色移動等。整個優(yōu)化生成過程的定義為

minx′（（LC+LS+Lm）+maxr∈R" Ladv（r（x′））） （8）

式中：R表示增強魯棒性的隨機變換集合，包括旋轉(zhuǎn)、比例調(diào)整和顏色移動；r表示其中一種隨機變換方式。

1.3" 基于Grad-CAM方法的運動目標熱圖生成

對抗樣本的攻擊效果，不僅與對抗補丁的攻擊性有關，還需要考慮其攻擊位置?，F(xiàn)有方法主要使用中心貼圖的方式來進行對抗攻擊，但其生成對抗樣本的攻擊效果較差，在應用中效率不高且泛化能力弱。使用卷積神經(jīng)網(wǎng)絡可視化方法可以生成目標的特征熱圖，能夠反映模型對目標不同區(qū)域的感興趣程度，如果在感興趣程度高的地方進行攻擊，就能夠產(chǎn)生更好更穩(wěn)定的攻擊效果。

卷積神經(jīng)網(wǎng)絡在最終進行分類時，最后一層卷積層包含原圖像關鍵信息的特征圖。作為卷積神經(jīng)網(wǎng)絡可視化方法的一種，Grad-CAM方法利用卷積神經(jīng)網(wǎng)絡中最后一層卷積層的梯度信息來理解每個神經(jīng)元對最終分類結(jié)果的貢獻，從而對圖像中不同區(qū)域的重要性進行定量分析。該方法在沒有注意力機制的情況下也能夠?qū)D像特征進行可視化，并且適用于任意結(jié)構的卷積神經(jīng)網(wǎng)絡。在卷積神經(jīng)網(wǎng)絡的最后一層生成k個特征圖，利用全局平均池化將其進行線性變換產(chǎn)生c個類別，每個具體類別得分Sc的定義為

Sc=1Z∑w∑h∑kωckAkwh （9）

式中：ωck為GAP層到Softmax層之間的權重，c是目標類別序號；Z是特征圖大??；A是最后一層卷積層輸出的特征圖；k是特征圖的通道維度的序號；h和w分別表示特征圖在高和寬維度上的索引。

為了獲得目標的特征熱圖LcGrad-CAM∈Ru×v，記高度為u，寬度為v。首先利用Softmax層輸出的概率計算梯度，將這些梯度在高和寬的維度上進行池化處理，以獲得神經(jīng)元重要性權重。最后一層卷積層中的特征圖所有像素為Awh，輸出目標類概率為yc，yc對Awh求偏導的定義為

αckwh=ycAkwh （10）

式中：αck為神經(jīng)元重要性權重。

計算yc對Awh的偏導數(shù)后，對所得的偏導數(shù)結(jié)果進行全局平均，該過程的定義為

αck=1Z∑w∑hαckwh （11）

式中：αck為最后一層卷積層輸出特征圖第k個通道對目標類別c的重要程度。將αck當作權重，最后一層特征圖加權線性組合的定義為

Lc=∑kαckAk （12）

最終通過ReLU激活函數(shù)處理后得到目標特征熱圖的定義為

LcGrad-CAM=ReLU（Lc） （13）

1.4" 熱圖引導的對抗樣本生成

得到具有強攻擊性對抗補丁和目標的特征熱圖后，需要利用目標的特征熱圖計算攻擊位置以引導對抗補丁進行攻擊，生成最終對抗樣本。通過建立一種熱圖引導機制，可以將目標的特征熱圖進行二值化處理，篩選出其關鍵區(qū)域。特征熱圖二值化過程的定義為

B（px，py）=1，" LcGrad-CAM（px，py）≥T

B（px，py）=0，" LcGrad-CAM（px，py）lt;T （14）

式中：LcGrad-CAM（x，y）為熱圖；B（x，y）為二值圖，（px，py）為像素坐標；T為關鍵區(qū)域篩選條件的熱力閾值。

得到二值圖后，計算其攻擊重心（x，y），作為對抗補丁的攻擊位置。攻擊重心計算過程的定義為

（x，y）=∑W－1px=0" ∑H－1py=0pxB（px，py）∑W－1px=0" ∑H－1py=0B（px，py），∑W－1px=0" ∑H－1py=0pyB（px，py）∑W－1px=0" ∑H－1py=0B（px，py） （15）

攻擊重心引導對抗補丁對目標進行攻擊，生成最終對抗樣本。對抗樣本生成過程的定義為

Iadv（px，py）=clip（I（px，py）+δp（x，y;θ）） （16）

式中：Iadv（px，py）表示生成的對抗樣本；I（px，py）表示原始的輸入圖像；δp（，;θ）表示在目標的攻擊重心（，）處進行對抗補丁攻擊，其中θ是函數(shù)的參數(shù)，表示對抗補丁的特征，clip（·）表示將像素限制在合理范圍內(nèi)，防止其超出有效范圍。

綜上所述，本文所提方法設計流程如圖3所示。輸入有缺陷的對抗補丁，在VGG19網(wǎng)絡模型的基礎上進行風格遷移，達到迭代次數(shù)后，生成最終對抗補??；將攻擊目標圖像輸入目標檢測模型，利用Grad-CAM方法生成目標熱圖，對熱圖像素點進行篩選，計算滿足熱區(qū)閾值像素點的重心，得到攻擊重心；利用攻擊重心引導對抗補丁進行攻擊，生成最終對抗樣本。在訓練過程中，利用VGG19網(wǎng)絡模型，將第4層和第5層的卷積層提取特征融合生成對抗補丁。整個訓練過程通過Adam算法進行優(yōu)化，學習率為0.01，一階矩估計的指數(shù)衰減率為0.9，二階矩估計的指數(shù)衰減率為0.999。在使用過程中，對于輸入的攻擊目標圖像，使用了YOLOv5進行處理，從YOLOv5的第17、20和23層卷積層提取特征并結(jié)合Grad-CAM方法進行可視化，得到攻擊目標熱圖。對目標熱圖進行二值化操作，篩選滿足熱區(qū)閾值的像素點，計算其重心。將對抗補丁在重心位置進行中心覆蓋，生成最終的對抗樣本。

2" 實驗結(jié)果與討論

2.1" 數(shù)據(jù)集

數(shù)據(jù)集采用DroNet室外數(shù)據(jù)集［28］，該數(shù)據(jù)集包含車輛和行人在137個場景下共32 000張圖像，根據(jù)視野障礙物距離的遠近標注為0（無碰撞風險）和1（有碰撞風險）。本文的研究對象是車輛目標，因此本文從DroNet室外數(shù)據(jù)集中篩選出關于車輛的圖像作為實驗數(shù)據(jù)集。實驗數(shù)據(jù)集共有408張圖像，包括城市街道、鄉(xiāng)間小路等20種不同場景，旨在探究不同場景下車輛的特性。為考察距離對攻擊效果的影響，每個場景均含有不同距離下的同一車輛目標。

2.2" 對比方法及性能指標

為了驗證本文對抗樣本生成方法的有效性，將其與文獻［21-24］等4種方法制作的對抗補丁進行對比，并分別命名為TC-EGA、DPatch、P*和AGAP。本文所提方法生成的對抗補丁命名為DP-PGS，如圖4所示。

實驗采用文獻［21］中攻擊成功率及平均精度這兩個指標來衡量不同方法的攻擊效果，其定義如下。

（1）攻擊成功率。如果對抗樣本生成方法最終生成的對抗樣本能夠使目標檢測模型產(chǎn)生誤判或漏檢的情況，表明這種方法成功生成了有效對抗樣本。在選擇的數(shù)據(jù)集上進行方法的效果評估時，將能夠進行有效攻擊的對抗樣本數(shù)記為a，用于測試的所有圖像數(shù)記為b，則攻擊成功率d定義為

d=ab×100% （17）

（2）平均精度。準確率和召回率可以用來評價一個模型的優(yōu)劣，在目標檢測領域，一個數(shù)據(jù)集中有若干待檢測的目標，準確率代表真實目標在模型檢測出的目標中所占比例，召回率代表所有真實目標被模型檢測出來的比例。圖像中存在背景與物體兩種標簽，檢測框也分為正確與錯誤兩種標簽，因此在評測時會產(chǎn)生以下4種樣本：正確檢測框樣本 （TP）中檢測框與標簽框正確匹配，兩者間交并比大于0.5；誤檢框樣本 （FP）中模型將背景檢測為物體，通常這種檢測框與圖像中所有標簽框交并比都不會超過0.5；漏檢框樣本 （FN）中模型沒有檢測出本應該檢測出的物體；正確背景樣本（TN）中模型未錯誤檢測背景，這種情況在目標檢測中通常不需要考慮。根據(jù)上述描述可以分別計算出TP、FP和TN的值，準確率P和召回率R可定義為

P=TPTP+FP （18）

R=TPTP+FN （19）

即使有了準確率-召回率曲線，模型的評價仍然不直觀，需要平均精度來衡量模型性能。平均精度代表了準確率-召回率曲線的面積，綜合評價了不同召回率下的準確率，不會對準確率與召回率有任何偏好，平均精度的定義為

AP=∫10PdR （20）

2.3" 攻擊模型及實驗結(jié)果

實驗的攻擊模型選取單階段目標檢測模型YOLOv5和兩階段目標檢測模型Faster R-CNN［29］。YOLOv5是YOLO系列［30］目標檢測模型里檢測精度、速度等各個方面較好的一種模型，對圖像中小目標物體具有較高的檢測精度。Faster R-CNN的檢測精度較高，在多個數(shù)據(jù)集上表現(xiàn)優(yōu)秀，具有良好的魯棒性。本文所提方法生成的對抗樣本在YOLOv5上攻擊效果如圖5所示，圖5給出了正常樣本和對抗樣本經(jīng)過YOLOv5檢測后的結(jié)果，其中原始圖像中的車輛目標均能被正確檢測出來，而對抗樣本中的車輛目標無法被正確檢測，導致YOLOv5出現(xiàn)誤分類、未檢測到目標和預測邊界框錯誤3種情況。

圖6所示為不同對抗補丁占比的對抗樣本，對抗補丁占比是指其相對于目標檢測框的面積占比，目標檢測框為圖6中藍色框所標識區(qū)域。由圖6中從左到右紅框的變化可以看出，當對抗補丁占比較小時，其紋理信息無法充分展現(xiàn)，導致其攻擊效果不佳，目標檢測模型對目標仍有較高的識別準確率。隨著對抗補丁占比增加，對抗補丁的紋理信息逐漸顯現(xiàn)，進而提升了攻擊效果，目標檢測模型對目標的識別準確率逐漸降低。當對抗補丁占比較大時，其能夠?qū)裟繕岁P鍵特征區(qū)域進行有效擾動攻擊，誘導目標檢測模型產(chǎn)生誤判或漏檢。

圖7所示為特征提取器使用不同網(wǎng)絡層提取的特征。本文使用的特征提取器為VGG19網(wǎng)絡模型。

由圖7可以看出，使用第1層卷積層提取的特征，呈現(xiàn)出相對單一的紋理特征，主要表現(xiàn)為大面積的顏色特征。相比之下，使用第5層卷積層提取的特征呈現(xiàn)出更為豐富的紋理特征。在VGG19網(wǎng)絡模型中，淺層卷積模塊由較少數(shù)量的卷積層構成，并且每一層采用了較小尺寸的卷積核，因此其感受野相對較小，更適合提取簡單的圖像特征，如顏色和亮度等。深層卷積模塊則由多個卷積層組成，且每層使用較大尺寸的卷積核，因此具有更大的感受野，更適合提取復雜的圖像特征，如紋理和形狀等。

圖8所示為融合VGG19網(wǎng)絡模型不同卷積模塊提取特征所生成的對抗補丁。由圖8中從左到右紅框的變化可以看出，舍棄淺層卷積模塊提取特征，并融合深層卷積模塊提取特征生成的對抗補丁紋理信息更豐富。這是由于深層卷積模塊層具有更深的網(wǎng)絡層，能夠有效提取到圖像中更為抽象和復雜的特征信息。相較于淺層卷積模塊所提取的特征，融合深層卷積模塊提取特征所生成的對抗性補丁紋理特征更加豐富，具有更強的對抗擾動能力，對目標檢測模型的攻擊效果更為顯著。

圖9所示為目標在不同距離下被對抗補丁攻擊前后的特征熱圖，圖9（a）和圖9（b）的左側(cè)表示未被對抗補丁攻擊的車輛目標及其特征熱圖，圖9（a）和圖9（b）的右側(cè)表示被對抗補丁攻擊的車輛目標及其特征熱圖。如圖9（a）左側(cè)和圖9（b）左側(cè)所示，隨著目標逐漸靠近，目標特征區(qū)域從中心逐漸擴散至周圍。當目標距離較遠時，目標在整個圖像中所占比例較小，其邊緣特征較少且不明顯，因此目標的特征熱圖會呈現(xiàn)出中心集中的趨勢。當目標靠近時，目標在整個圖像中所占比例增大，其邊緣特征更加明顯，特征區(qū)域也隨之明顯增多，此時目標的特征熱圖由中心集中開始向四周擴散。如圖9（a）右側(cè)和圖9（b）右側(cè)所示，本文方法生成的對抗補丁隨著目標的逐漸靠近而逐漸顯露出紋理特征，攻擊性也逐漸增強。當目標距離遠時，對抗補丁的紋理特征不明顯，攻擊性較弱，只能微弱降低目標特征熱圖關鍵區(qū)域的熱度，對目標特征的分散作用較小。當目標靠近時，對抗補丁的紋理特征顯露出來，攻擊性逐漸增強，可以有效降低目標特征熱圖關鍵區(qū)域的熱度，分散目標的關鍵特征，從而使目標檢測模型產(chǎn)生誤判或漏檢。

圖10所示為目標特征熱圖引導對抗補丁攻擊生成的對抗樣本在YOLOv5上的攻擊結(jié)果，目標特征熱圖由YOLOv5生成。根據(jù)圖10（a）所示，隨著對抗補丁占比增大，所有對抗補丁的攻擊成功率均呈現(xiàn)上升趨勢，其中DP-PGS、AGAP和TC-EGA的增長趨勢更加明顯。根據(jù)圖10（b）所示，所有對抗補丁都能降低目標檢測模型平均檢測精度，其中DP-PGS、AGAP和TC-EGA的降低效果更加顯著。DP-PGS方法的降低效果最好，可使目標檢測模型平均檢測精度下降至0.525，比TC-EGA和AGAP補丁攻擊后目標檢測模型平均檢測精度分別低0.073 和0.133。表1所示為不同對抗補丁占比下，目標特征熱圖引導對抗補丁攻擊生成的對抗樣本在YOLOv5上的攻擊成功率。由表1可以看出，對抗補丁占比小時，DP-PGS、AGAP和TC-EGA補丁的攻擊成功率相近。隨著對抗補丁占比增大，DP-PGS和AGAP攻擊成功率的增長速度比TC-EGA更快。對抗補丁占比為25.0%時，DP-PGS的攻擊效果最好，攻擊成功率達到84.07%，比AGAP和TC-EGA的攻擊成功率分別高0.49%和17.89%。

由上述實驗結(jié)果分析可知，在不同的對抗補丁占比下，由于DPatch和P*這兩類對抗補丁的紋理豐富程度較低，對攻擊目標特征的分散作用較弱，因此攻擊效果均表現(xiàn)較差。對于DP-PGS、AGAP和TC-EGA這3類對抗補丁，由于本身紋理豐富程度較高，故而對目標特征的分散作用較強。同時，通過目標特征熱圖來引導攻擊位置，會進一步增強這些對抗補丁的攻擊性，從而能夠生成具有較好攻擊效果的對抗樣本。當對抗補丁占比較小時，DP-PGS、AGAP和TC-EGA這3類對抗補丁具有攻擊性的紋理無法充分展現(xiàn)，并且目標檢測模型在檢測過程中會經(jīng)過多個卷積層和池化層，對抗補丁會損失大量紋理信息，因此整體攻擊效果相差不大。隨著對抗補丁占比增大，對抗補丁的攻擊效果會逐漸增強。盡管TC-EGA補丁的紋理豐富程度較高，但其紋理變化比較單一，攻擊效果稍微弱于DP-PGS和AGAP補丁。

圖11所示為隨機位置進行對抗補丁攻擊生成的對抗樣本在YOLOv5上的攻擊結(jié)果。由圖11（a）和圖10（a）對比可知，對抗補丁在隨機位置相較于在目標特征熱圖引導的位置進行攻擊所生成的對抗樣本，攻擊成功率大幅下降。

由圖11（b）和圖10（b）對比可以看出，對抗補丁在隨機位置相較于在目標特征熱圖引導的位置進行攻擊所生成的對抗樣本，降低目標檢測模型平均檢測精度的能力明顯減弱。DP-PGS補丁在隨機位置攻擊后目標檢測模型平均檢測精度下降到0.811，相較于其在目標特征熱圖引導的位置攻擊后目標檢測模型平均檢測精度高出0.286。表2所示為不同對抗補丁占比下，隨機位置進行對抗補丁攻擊生成的對抗樣本在YOLOv5上的攻擊成功率。由表1和表2對比可知，采用隨機位置進行對抗補丁攻擊時，整體的攻擊成功率下降較多。當對抗補丁占比為25.0%時，DP-PGS補丁的攻擊成功率下降了31.86%。

由上述實驗結(jié)果分析可知，在目標特征熱圖引導的位置進行對抗補丁攻擊，可以有效提升生成對抗樣本的攻擊效果。Grad-CAM方法生成目標的特征熱圖反映了目標檢測模型對于目標不同區(qū)域的感興趣程度，顏色越深的地方特征越多，也越關鍵。通過建立一種熱圖引導機制，對目標的特征熱圖進行二值化處理并計算攻擊重心，引導對抗補丁進行攻擊，可以有效弱化目標關鍵特征，生成的對抗樣本可以使目標檢測模型產(chǎn)生誤檢或者漏檢。采用隨機位置進行對抗補丁攻擊時，目標的關鍵特征區(qū)域不一定會被攻擊，目標檢測模型仍能正確檢測出目標，從而導致攻擊效果大幅減弱。

為了驗證本文方法生成對抗樣本的泛化能力，使用兩階段檢測模型Faster R-CNN來進行驗證。圖12所示為目標特征熱圖引導對抗補丁攻擊生成的對抗樣本在Faster R-CNN上的攻擊結(jié)果，目標特征熱圖由YOLOv5生成。由圖12（a）和圖10（a）對比可以看出，由YOLOv5生成的目標特征熱圖引導對抗補丁攻擊生成的對抗樣本，在Faster R-CNN上的攻擊成功率均有所下降。由圖12（b）和圖10（b）對比可以看出，由YOLOv5生成的目標特征熱圖引導對抗補丁攻擊生成的對抗樣本，降低Faster R-CNN平均檢測精度的能力明顯減弱。由YOLOv5生成的目標特征熱圖引導DP-PGS補丁攻擊生成的對抗樣本，可以使Faster R-CNN平均檢測精度下降到 0.798，相較于其降低YOLOv5的平均檢測精度，該對抗樣本攻擊Faster R-CNN后平均檢測精度高出0.273。表3所示為不同對抗補丁占比下，由YOLOv5生成的目標特征熱圖引導對抗補丁攻擊生成的對抗樣本在Faster R-CNN上的攻擊成功率。由表3和表1對比可知，由YOLOv5生成的目標特征熱圖引導對抗補丁攻擊生成的對抗樣本攻擊Faster R-CNN時，整體的攻擊成功率均有小幅降低。當對抗補丁占比為25.0%時，DP-PGS補丁的攻擊成功率雖然下降了16.42%，但仍能保持在67.65%。

由上述實驗結(jié)果分析可知，針對YOLOv5生成的對抗樣本，在另一種類型目標檢測模型Faster R-CNN上的攻擊效果有所減弱。在Faster R-CNN中，區(qū)域預選網(wǎng)絡處理流程會排除太小和超出邊界的預選框。對于占比較小的對抗補丁，由于本身的攻擊性較弱，且經(jīng)過區(qū)域預選網(wǎng)絡處理后具有攻擊性的紋理信息被舍棄，因而攻擊效果變差。由單階段目標檢測模型YOLOv5生成目標特征熱圖引導對抗補丁攻擊生成的對抗樣本，并沒有專門針對兩階段目標檢測模型的處理，即使增加對抗補丁的占比，在兩階段目標檢測模型Faster R-CNN上的攻擊效果仍會減弱。當對抗補丁占比較大時，本文方法生成的對抗樣本仍能對Faster R-CNN進行有效攻擊。該方法生成的對抗樣本能夠在單階段目標檢測模型YOLOv5和兩階段目標檢測模型Faster R-CNN上進行有效攻擊，并且在攻擊效果方面均優(yōu)于所對比的主流方法，同時還表現(xiàn)出更強的泛化能力。

圖13所示為本文方法生成對抗樣本在Faster R-CNN上的攻擊效果。圖13給出了正常樣本和對抗樣本經(jīng)過Faster R-CNN檢測后的結(jié)果，其中正常樣本中的車輛目標均能被正確檢測出來，而對抗樣本中的車輛目標無法被正確檢測，導致Faster R-CNN出現(xiàn)誤分類、未檢測到目標和預測邊界框錯誤3種情況。本文所提方法針對YOLOv5生成的對抗樣本在Faster R-CNN上的攻擊效果會減弱，但仍然有很大部分的對抗樣本能夠成功攻擊Faster R-CNN，具有良好的泛化能力。對于攻擊的目標，在不同目標檢測模型上的檢測過程可能會有不同，但對目標關鍵特征具有相似的敏感度。本文通過建立一種熱圖引導機制，將目標的特征熱圖進行二值化處理，篩選出相似敏感區(qū)域，并計算攻擊重心引導對抗補丁進行攻擊，從而提升生成對抗樣本的泛化能力。

3" 結(jié)" 論

本文提出了一種融合風格遷移的對抗樣本生成方法，可以有效生成泛化能力良好的對抗樣本。首先提出了一種新的對抗補丁生成方法，使用風格遷移方法生成對抗補丁，可以生成無明顯物體特征且紋理豐富的對抗補??；再結(jié)合Grad-CAM方法生成目標的特征熱圖，可視化目標檢測模型對目標不同區(qū)域的感興趣程度；最后構建了一種熱圖引導機制，引導對抗補丁進行攻擊，可以增強最終生成對抗樣本的泛化能力。實驗結(jié)果表明：與所對比的主流方法相比，本文所提方法生成的對抗樣本在YOLOv5和Faster R-CNN上的攻擊效果較好，具有良好的泛化能力。本文主要關注車輛的單目標場景，攻擊目標較為單一，未來研究將拓展到多目標場景，以實現(xiàn)更廣泛的應用。

參考文獻：

［1］許德剛， 王露， 李凡. 深度學習的典型目標檢測算法研究綜述 ［J］. 計算機工程與應用， 2021， 57（8）： 10-25.

XU Degang， WANG Lu， LI Fan. Review of typical object detection algorithms for deep learning ［J］. Computer Engineering and Applications， 2021， 57（8）： 10-25.

［2］張珂， 馮曉晗， 郭玉榮， 等. 圖像分類的深度卷積神經(jīng)網(wǎng)絡模型綜述 ［J］. 中國圖象圖形學報， 2021， 26（10）： 2305-2325.

ZHANG Ke， FENG Xiaohan， GUO Yurong， et al. Overview of deep convolutional neural networks for image classification ［J］. Journal of Image and Graphics， 2021， 26（10）： 2305-2325.

［3］田萱， 王亮， 丁琪. 基于深度學習的圖像語義分割方法綜述 ［J］. 軟件學報， 2019， 30（2）： 440-468.

TIAN Xuan， WANG Liang， DING Qi. Review of image semantic segmentation based on deep learning ［J］. Journal of Software， 2019， 30（2）： 440-468.

［4］張新鈺， 高洪波， 趙建輝， 等. 基于深度學習的自動駕駛技術綜述 ［J］. 清華大學學報（自然科學版）， 2018， 58（4）： 438-444.

ZHANG Xinyu， GAO Hongbo， ZHAO Jianhui， et al. Overview of deep learning intelligent driving methods ［J］. Journal of Tsinghua University（Science and Technology）， 2018， 58（4）： 438-444.

［5］張西寧， 郭清林， 劉書語. 深度學習技術及其故障診斷應用分析與展望 ［J］. 西安交通大學學報， 2020， 54（12）： 1-13.

ZHANG Xining， GUO Qinglin， LIU Shuyu. Analysis and prospect of deep learning technology and its fault diagnosis application ［J］. Journal of Xi’an Jiaotong University， 2020， 54（12）： 1-13.

［6］LIU Liangkai， LU Sidi， ZHONG Ren， et al. Computing systems for autonomous driving： state of the art and challenges ［J］. IEEE Internet of Things Journal， 2021， 8（8）： 6469-6486.

［7］FERNANDO T， GAMMULLE H， DENMAN S， et al. Deep learning for medical anomaly detection？ a survey ［J］. ACM Computing Surveys， 2022， 54（7）： 141.

［8］張思思， 左信， 劉建偉. 深度學習中的對抗樣本問題 ［J］. 計算機學報， 2019， 42（8）： 1886-1904.

ZHANG Sisi， ZUO Xin， LIU Jianwei. The problem of the adversarial examples in deep learning ［J］. Chinese Journal of Computers， 2019， 42（8）： 1886-1904.

［9］SZEGEDY C， ZAREMBA W， SUTSKEVER I， et al. Intriguing properties of neural networks ［EB/OL］. （2014-02-19）［2023-06-16］. https：//arxiv.org/abs/1312.6199.

［10］XIE Cihang， WANG Jianyu， ZHANG Zhishuai， et al. Adversarial examples for semantic segmentation and object detection ［C］//2017 IEEE International Conference on Computer Vision. Piscataway， NJ， USA： IEEE， 2017： 1378-1387.

［11］CHEN Pinchun， KUNG B H， CHEN Juncheng. Class-aware robust adversarial training for object detection ［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ， USA： IEEE， 2021： 10415-10424.

［12］LU Jiajun， SIBAI H， FABRY E. Adversarial examples that fool detectors ［EB/OL］. （2017-12-07）［2023-06-23］. https：//arxiv.org/abs/1712.02494.

［13］LIAO Quanyu， WANG Xin， KONG Bin， et al. Fast local attack： generating local adversarial examples for object detectors ［C］//2020 International Joint Conference on Neural Networks. Piscataway， NJ， USA： IEEE， 2020： 1-8.

［14］LI Debang， ZHANG Junge， HUANG Kaiqi. Universal adversarial perturbations against object detection ［J］. Pattern Recognition， 2021， 110： 107584.

［15］黃世澤， 張肇鑫， 董德存， 等. 針對車載環(huán)境感知系統(tǒng)的對抗樣本生成方法 ［J］. 同濟大學學報（自然科學版）， 2022， 50（10）： 1377-1384.

HUANG Shize， ZHANG Zhaoxin， DONG Decun， et al. Adversarial example generation method for vehicle environment perception system ［J］. Journal of Tongji University（Natural Science）， 2022， 50（10）： 1377-1384.

［16］謝云旭， 吳錫， 彭靜. 無錨框模型類梯度全局對抗樣本生成 ［J］. 計算機工程， 2023， 49（10）： 186-193.

XIE Yunxu， WU Xi， PENG Jing. Generation of gradient global adversarial samples with anchor-free model ［J］. Computer Engineering， 2023， 49（10）： 186-193.

［17］WANG Yajie， L Haoran， KUANG Xiaohui， et al. Towards a physical-world adversarial patch for blinding object detection models ［J］. Information Sciences， 2021， 556： 459-471.

［18］ZHANG Haotian， MA Xu. Misleading attention and classification： an adversarial attack to fool object detection models in the real world ［J］. Computers amp; Security， 2022， 122： 102876.

［19］丁程， 史再峰， 佟博文， 等. 針對目標檢測的隱蔽式對抗擾動生成方法 ［J］. 光電子·激光， 2023， 34（9）： 915-922.

DING Cheng， SHI Zaifeng， TONG Bowen， et al. Stealthy adversarial perturbation generation method for object detection ［J］. Journal of Optoelectronics·Laser， 2023， 34（9）： 915-922.

［20］王燁奎， 曹鐵勇， 鄭云飛， 等. 基于特征圖關注區(qū)域的目標檢測對抗攻擊方法 ［J］. 計算機工程與應用， 2023， 59（2）： 261-270.

WANG Yekui， CAO Tieyong， ZHENG Yunfei， et al. Adversarial attacks for object detection based on region of interest of feature maps ［J］. Computer Engineering and Applications， 2023， 59（2）： 261-270.

［21］HU Zhanhao， HUANG Siyuan， ZHU Xiaopei， et al.Adversarial texture for fooling person detectors in the physical world ［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ， USA： IEEE， 2022： 13297-13306.

［22］LIU Xin， YANG Huanrui， LIU Ziwei， et al. DPatch： an adversarial patch attack on object detectors ［EB/OL］. （2019-04-23）［2023-08-18］. https：//arxiv.org/abs/1806.02299.

［23］DU A， CHEN Bo， CHIN T J， et al. Physical adversarial attacks on an aerial imagery object detector ［C］//2022 IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway， NJ， USA： IEEE， 2022： 3798-3808.

［24］LANG Dapeng， CHEN Deyun， SHI Ran， et al.Attention-guided digital adversarial patches on visual detection ［J］. Security and Communication Networks， 2021， 2021： 1-11.

［25］GATYS L A， ECKER A S， BETHGE M. Image style transfer using convolutional neural networks ［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ， USA： IEEE， 2016： 2414-2423.

［26］SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition ［EB/OL］. （2015-04-10）［2023-07-11］. https：//arxiv.org/abs/1409.1556.

［27］SELVARAJU R R， COGSWELL M， DAS A， et al. Grad-CAM： visual explanations from deep networks via gradient-based localization ［C］//2017 IEEE International Conference on Computer Vision. Piscataway， NJ， USA： IEEE， 2017： 618-626.

［28］LOQUERCIO A， MAQUEDA A I， DEL-BLANCO C R， et al. DroNet： learning to fly by driving ［J］. IEEE Robotics and Automation Letters， 2018， 3（2）： 1088-1095.

［29］REN Shaoqing， HE Kaiming， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［C］//Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge， MA， USA： MIT Press， 2015： 91-99.

［30］REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection ［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ， USA： IEEE， 2016： 779-788.

（編輯" 武紅江）