国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于空間感知的多級(jí)損失目標(biāo)跟蹤對(duì)抗攻擊方法

2021-12-08 03:04:26程旭王瑩瑩張年杰付章杰陳北京趙國(guó)英
通信學(xué)報(bào) 2021年11期
關(guān)鍵詞:跟蹤器擾動(dòng)損失

程旭,王瑩瑩,張年杰,付章杰,陳北京,趙國(guó)英

(1.南京信息工程大學(xué)計(jì)算機(jī)學(xué)院、軟件學(xué)院、網(wǎng)絡(luò)空間安全學(xué)院,江蘇 南京 210044;2.南京信息工程大學(xué)數(shù)字取證教育部工程研究中心,江蘇 南京 210044;3.奧盧大學(xué)機(jī)器視覺(jué)與信號(hào)分析研究中心,奧盧 FI-90014)

1 引言

視覺(jué)目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)的關(guān)鍵任務(wù)之一,在公共安全領(lǐng)域扮演著十分重要的角色,如視頻監(jiān)控、自動(dòng)駕駛、無(wú)人機(jī)追蹤、圖像目標(biāo)分割、目標(biāo)行為識(shí)別等。近年來(lái),得益于深度學(xué)習(xí)(DL,deep learning)技術(shù)的蓬勃發(fā)展,目標(biāo)跟蹤算法取得了重大突破,特別是孿生網(wǎng)絡(luò)這一類目標(biāo)跟蹤算法在精度和速度上均取得了優(yōu)異表現(xiàn),并在OTB 視頻跟蹤數(shù)據(jù)集上達(dá)到了91%的精確度,速度也達(dá)到了實(shí)時(shí)。然而,從安全的角度考慮,深度學(xué)習(xí)跟蹤器存在嚴(yán)重的安全隱患,極易受到對(duì)抗樣本的干擾。

對(duì)抗攻擊是通過(guò)對(duì)原始圖像添加人眼不可見的微小擾動(dòng),以欺騙深度網(wǎng)絡(luò)模型,導(dǎo)致分類預(yù)測(cè)錯(cuò)誤。近年來(lái),對(duì)抗攻擊已經(jīng)由圖像分類延伸到目標(biāo)跟蹤、語(yǔ)義分割等領(lǐng)域,成功地破壞了深度學(xué)習(xí)任務(wù)的有效性。此外,深度學(xué)習(xí)算法無(wú)法有效地處理對(duì)抗樣本。偽造的樣本會(huì)使深度學(xué)習(xí)模型輸出意想不到的結(jié)果。因此,研究基于深度學(xué)習(xí)的目標(biāo)跟蹤對(duì)抗攻擊方法對(duì)確保算法的安全性和穩(wěn)健性是至關(guān)重要的,可為設(shè)計(jì)更加穩(wěn)健的算法提供思路。

基于以上動(dòng)機(jī),本文以孿生網(wǎng)絡(luò)跟蹤器SiamRPN++為主要攻擊對(duì)象,研究了視覺(jué)目標(biāo)跟蹤的對(duì)抗攻擊方法,主要貢獻(xiàn)包括以下3 個(gè)方面。

1) 針對(duì)現(xiàn)有對(duì)抗擾動(dòng)技術(shù)難以有效地干擾跟蹤器使運(yùn)動(dòng)軌跡發(fā)生快速偏移的問(wèn)題,提出了一種基于空間感知的多級(jí)損失目標(biāo)跟蹤對(duì)抗攻擊方法,利用生成器生成對(duì)抗樣本來(lái)實(shí)現(xiàn)對(duì)目標(biāo)跟蹤器的干擾,降低了跟蹤精度,具有較好的攻擊效果。

2) 提出了一種高效的空間感知快速漂移攻擊框架,在此框架下設(shè)計(jì)了欺騙損失、漂移損失和雙重注意力機(jī)制的特征損失和感知損失來(lái)聯(lián)合訓(xùn)練生成器,生成人眼難以察覺(jué)的對(duì)抗擾動(dòng),用于欺騙目標(biāo)跟蹤器。

3) 將所提方法在OTB100、VOT2018 和LaSOT這3 個(gè)主流的目標(biāo)跟蹤數(shù)據(jù)集上進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明,所提方法可使跟蹤器的判別能力失靈,預(yù)測(cè)邊框逐漸收縮,導(dǎo)致目標(biāo)軌跡發(fā)生偏移,比原始跟蹤器在OTB 數(shù)據(jù)集上實(shí)現(xiàn)了70%的精確度下降。

2 相關(guān)工作

目標(biāo)跟蹤技術(shù)是高層視覺(jué)任務(wù)分析與處理的基礎(chǔ),已在視頻監(jiān)控、視覺(jué)導(dǎo)航、行為識(shí)別、自動(dòng)駕駛等領(lǐng)域得到了廣泛應(yīng)用。視覺(jué)目標(biāo)跟蹤任務(wù)是在給定某視頻序列初始幀的目標(biāo)大小與位置的情況下,預(yù)測(cè)該目標(biāo)在后續(xù)幀的大小與位置。然而,即使基于深度學(xué)習(xí)的目標(biāo)跟蹤技術(shù)已經(jīng)能夠成功地處理復(fù)雜問(wèn)題,但最近研究表明它們對(duì)輸入中的輕微擾動(dòng)很敏感,會(huì)導(dǎo)致跟蹤性能下降。對(duì)抗攻擊對(duì)深度學(xué)習(xí)在實(shí)踐中取得成功構(gòu)成了一系列威脅。本節(jié)將分別從目標(biāo)跟蹤、對(duì)抗攻擊2 個(gè)方面介紹相關(guān)的研究工作。

1) 目標(biāo)跟蹤

近年來(lái),以相關(guān)濾波(CF,correlation filter)和深度學(xué)習(xí)為代表的判別式方法取得了令人滿意的效果,已成為目標(biāo)跟蹤的主流方法。

相關(guān)濾波源于信號(hào)處理領(lǐng)域,基于相關(guān)濾波目標(biāo)跟蹤的基本思想就是尋找一個(gè)濾波模板,讓下一幀圖像與濾波模板進(jìn)行卷積操作,響應(yīng)最大的區(qū)域則是預(yù)測(cè)目標(biāo)?;诖耍瑖?guó)內(nèi)外學(xué)者先后提出了大量方法,如MOSSE(minimum output sum of squared error filter)[1]、KCF(kernelized correlation filter)[2]等。此外,在KCF 的基礎(chǔ)上又發(fā)展了一系列跟蹤方法用于處理各種復(fù)雜場(chǎng)景下的挑戰(zhàn),如處理尺度變化的DSST(discriminative scale space tracker)[3]、基于分塊的相關(guān)濾波RPT(reliable patch tracker)[4]等。但是上述方法會(huì)受到邊界效應(yīng)的影響。為了克服這一問(wèn)題,Danelljan 等[5]提出一種高效的SRDCF(spatially regularized discriminative correlation filter)方法,利用空間正則化懲罰相關(guān)濾波系數(shù),取得了和同時(shí)期基于深度學(xué)習(xí)跟蹤方法相當(dāng)?shù)男Ч_M(jìn)一步地,Danelljan 等[6]利用卷積神經(jīng)網(wǎng)絡(luò)(CNN,convolutional neural network)提取目標(biāo)特征,并結(jié)合相關(guān)濾波提出了連續(xù)卷積算子的目標(biāo)跟蹤(C-COT,continuous convolution operator for visual tracking)方法。

由于深度特征對(duì)目標(biāo)擁有強(qiáng)大的表征能力,深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)各領(lǐng)域展現(xiàn)出巨大的潛力。Wang 等[7]首次將深度學(xué)習(xí)引入目標(biāo)跟蹤領(lǐng)域,其將在分類數(shù)據(jù)集上訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)遷移到目標(biāo)跟蹤任務(wù)中,與傳統(tǒng)方法相比,性能得到了提升。Hong 等[8]提出的 CNN-SVM 算法首先利用在ImageNet 上訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)特征,再利用SVM 跟蹤目標(biāo)。Wang 等[9]提出基于全卷積模型的目標(biāo)跟蹤方法,利用目標(biāo)的2 個(gè)卷積層特征構(gòu)造可以選擇特征圖的網(wǎng)絡(luò),跟蹤性能比CNN-SVM有了小幅提升。其他代表性方法還有HCF[10]、VITAL[11]等。然而,目標(biāo)跟蹤任務(wù)與圖像分類任務(wù)有本質(zhì)區(qū)別,圖像分類任務(wù)關(guān)注類間差異,忽視了類內(nèi)區(qū)別;目標(biāo)跟蹤任務(wù)則關(guān)注區(qū)分特定目標(biāo)與背景,抑制同類目標(biāo)。因此,在分類數(shù)據(jù)集上預(yù)訓(xùn)練的網(wǎng)絡(luò)可能不完全適用于目標(biāo)跟蹤任務(wù)。

針對(duì)這一問(wèn)題,文獻(xiàn)[12]提出一種專門在跟蹤視頻序列上訓(xùn)練的多域卷積神經(jīng)網(wǎng)絡(luò)模型MDNet,獲得了VOT2015 競(jìng)賽冠軍。然而,該方法不能滿足實(shí)時(shí)要求。針對(duì)這一問(wèn)題,基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法在跟蹤精度和速度上取得了很好的平衡,在大量數(shù)據(jù)集上取得了優(yōu)異的性能,代表性方法包括 SiamFC[13]、SiamRPN[14]、SiamRPN++[15]、DaSiamRPN[16]、Siam R-CNN[17]等。

2) 對(duì)抗攻擊

研究表明,CNN 極易受到攻擊。即使最先進(jìn)的分類器也很容易被添加到原始圖像中的噪聲所蒙蔽。因此,深度學(xué)習(xí)下的對(duì)抗攻擊研究具有重要意義。

根據(jù)威脅模型,可將現(xiàn)有攻擊分為白盒攻擊和黑盒攻擊,它們之間的差異在于攻擊者了解的信息不同。白盒攻擊假定攻擊者具有關(guān)于目標(biāo)模型的完整知識(shí),可通過(guò)任何方式直接在目標(biāo)模型上生成對(duì)抗樣本。黑盒攻擊只能依賴查詢?cè)L問(wèn)的返回結(jié)果來(lái)生成對(duì)抗樣本。在上述3 種攻擊模型的框架中,研究者提出了許多用于對(duì)抗樣本生成的攻擊算法。這些方法大致可分為基于梯度迭代的攻擊、基于生成式對(duì)抗網(wǎng)絡(luò)(GAN,generative adversarial network)的攻擊和基于優(yōu)化的攻擊三類。

基于梯度迭代的攻擊方式的代表性方法包括FGSM[18]、Deepfool[19]、DAG[20]、PGD[21]、BIM[22],它們通過(guò)優(yōu)化對(duì)抗目標(biāo)函數(shù)以愚弄深度神經(jīng)網(wǎng)絡(luò)。Wang 等[19]利用迭代計(jì)算生成最小規(guī)范對(duì)抗擾動(dòng),將位于分類邊界內(nèi)的圖像逐步推到邊界外,直到出現(xiàn)錯(cuò)誤分類。然而,F(xiàn)GSM 和PGD 生成的對(duì)抗樣本比較模糊,跟蹤時(shí)不但容易被發(fā)現(xiàn),而且攻擊效果較差。司念文等[23]提出一種基于對(duì)抗補(bǔ)丁的Grad-CAM 攻擊方法,設(shè)計(jì)了分類結(jié)果不變而解釋結(jié)果偏向?qū)寡a(bǔ)丁的目標(biāo)函數(shù),使Grad-CAM 方法無(wú)法定位圖像中的顯著區(qū)域。Su 等[24]提出一種基于差分進(jìn)化的單像素對(duì)抗擾動(dòng)生成方法,通過(guò)修改圖像中的一個(gè)像素,使數(shù)據(jù)集中多種類別的圖像至少有一類目標(biāo)被攻擊。該方法僅修改單個(gè)像素?zé)o法適應(yīng)視頻的多幀任務(wù)。Zhong 等[25]首次研究了遷移對(duì)抗攻擊在人臉識(shí)別中的特性,提出了一種基于丟棄的方法DFANet 來(lái)提高現(xiàn)有攻擊方法的遷移性,生成的人臉圖像對(duì)有效地欺騙了人臉識(shí)別系統(tǒng)。Chen等[26]提出對(duì)目標(biāo)模板的單次攻擊方法,通過(guò)優(yōu)化批置信度損失和特征損失來(lái)尋找模板的對(duì)抗樣本。該方法產(chǎn)生的對(duì)抗樣本易被人眼察覺(jué),無(wú)法攻擊正常運(yùn)行的跟蹤器。Jia 等[27]利用構(gòu)造的偽分類標(biāo)簽和偽回歸標(biāo)簽來(lái)尋找真實(shí)損失和偽損失差異的梯度方向,進(jìn)而產(chǎn)生對(duì)抗樣本。然而,該方法攻擊過(guò)程耗時(shí),難以滿足實(shí)時(shí)性要求。

基于生成式對(duì)抗網(wǎng)絡(luò)的攻擊方式使用大量數(shù)據(jù)來(lái)訓(xùn)練生成器以產(chǎn)生擾動(dòng)噪聲,代表性方法有AdvGAN[28]、UEA[29]、AdvGAN++[30]。Deb 等[31]提出一種高質(zhì)量的對(duì)抗人臉生成法,運(yùn)用GAN 來(lái)改變?nèi)四樀臐撛趨^(qū)域使對(duì)原圖擾動(dòng)最小,在不改變視覺(jué)質(zhì)量的情況下,大幅降低了人臉識(shí)別的成功率。Baluja 等[32]提出一種全新的對(duì)抗樣本生成方法,針對(duì)目標(biāo)網(wǎng)絡(luò)或一系列需要攻擊的網(wǎng)絡(luò),通過(guò)自監(jiān)督學(xué)習(xí)方式訓(xùn)練對(duì)抗轉(zhuǎn)化網(wǎng)絡(luò)(ATN,adversarial transformation network)來(lái)生成對(duì)抗樣本,提高了對(duì)抗樣本生成速度且豐富了樣本的多樣性。以上基于GAN 的方法需同時(shí)優(yōu)化生成器與判別器以產(chǎn)生對(duì)抗樣本。Yan 等[33]提出一種冷卻收縮對(duì)抗損失以冷卻目標(biāo)區(qū)域及收縮預(yù)測(cè)邊框,該方法雖能快速產(chǎn)生人眼無(wú)法察覺(jué)的對(duì)抗樣本,但是攻擊能力欠佳且對(duì)黑盒跟蹤器的遷移性有限。Sharif 等[34]提出一種對(duì)抗生成網(wǎng)絡(luò)(AGN,adversarial generative network),訓(xùn)練生成器網(wǎng)絡(luò)產(chǎn)生滿足期望目標(biāo)的對(duì)抗樣本,在數(shù)字空間和現(xiàn)實(shí)世界中均成功迷惑了人臉識(shí)別系統(tǒng)。

基于優(yōu)化的攻擊方式主要是CW 攻擊(carlini and wagner attack)[35]。該攻擊生成的擾動(dòng)可以從未經(jīng)防御的網(wǎng)絡(luò)遷移到經(jīng)過(guò)防御的網(wǎng)絡(luò)上,以實(shí)現(xiàn)黑盒攻擊。Moosavi-Dezfooli 等[36]提出一種計(jì)算普適性擾動(dòng)的算法,在數(shù)據(jù)分布中采樣樣本集進(jìn)行訓(xùn)練,使每個(gè)樣本都能以一定概率被錯(cuò)誤分類,在新樣本預(yù)測(cè)時(shí)欺騙分類器,證明高維決策邊界具有幾何相關(guān)性。Din 等[37]提出基于隱寫技術(shù)的對(duì)抗擾動(dòng)生成方法,通過(guò)在變換域中將單個(gè)秘密圖像嵌入任意目標(biāo)圖像來(lái)產(chǎn)生擾動(dòng),使流行分類模型以高概率錯(cuò)誤分類目標(biāo)。

3 基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤器及其可攻擊性

近年來(lái),孿生網(wǎng)絡(luò)在目標(biāo)跟蹤領(lǐng)域取得了很高的性能,其將目標(biāo)跟蹤問(wèn)題轉(zhuǎn)化為Patch 塊的匹配問(wèn)題,通過(guò)比較圖像搜索區(qū)域與目標(biāo)模板的相似度,得到新的目標(biāo)位置。在眾多孿生網(wǎng)絡(luò)跟蹤方法中,SiamRPN++[15]跟蹤器在跟蹤數(shù)據(jù)庫(kù)上刷新了紀(jì)錄,不僅精度高,運(yùn)行速度也滿足實(shí)時(shí)性要求。

然而,跟蹤算法本身存在被攻擊的潛在風(fēng)險(xiǎn)。即使是SiamRPN++跟蹤器也會(huì)遭受噪聲干擾,導(dǎo)致目標(biāo)跟蹤失敗。

現(xiàn)有目標(biāo)跟蹤系統(tǒng)的對(duì)抗攻擊存在以下難點(diǎn)。

1) 目標(biāo)跟蹤的對(duì)抗攻擊不同于簡(jiǎn)單的分類任務(wù),它既包括分類,也有精準(zhǔn)的邊框回歸,僅通過(guò)遷移圖像分類任務(wù)中的對(duì)抗攻擊達(dá)不到預(yù)期效果。

2) 由于目標(biāo)跟蹤的特殊性,目標(biāo)只在第一幀中給出,無(wú)法預(yù)知其類別,因而不能為每個(gè)類別單獨(dú)訓(xùn)練對(duì)抗補(bǔ)丁。

為此,本文從視覺(jué)目標(biāo)跟蹤任務(wù)本身出發(fā),在設(shè)計(jì)攻擊損失函數(shù)時(shí)融合了基于分?jǐn)?shù)與特征干擾分類任務(wù)和基于回歸偏移量破壞回歸任務(wù),導(dǎo)致跟蹤器無(wú)法準(zhǔn)確判別目標(biāo)存在區(qū)域,回歸邊框逐漸縮小并快速沿著與真實(shí)目標(biāo)最遠(yuǎn)的方向移動(dòng),造成跟蹤失敗。此外,本文摒棄為每個(gè)類別單獨(dú)訓(xùn)練對(duì)抗補(bǔ)丁的思路,從低級(jí)特征和高層語(yǔ)義角度出發(fā),設(shè)計(jì)了欺騙損失、漂移損失、基于雙重注意力機(jī)制的特征損失和感知損失,通過(guò)聯(lián)合訓(xùn)練生成器,使生成器在不同場(chǎng)景下能對(duì)目標(biāo)產(chǎn)生肉眼難以察覺(jué)的擾動(dòng),以達(dá)到欺騙目標(biāo)跟蹤器的目的。

4 空間感知的多級(jí)損失跟蹤對(duì)抗攻擊方法描述

本文提出一種基于空間感知的多級(jí)損失漂移攻擊框架來(lái)欺騙性能較好的SiamRPN++跟蹤器,對(duì)原始圖像添加微小擾動(dòng),使跟蹤器識(shí)別不到目標(biāo)的正確位置及姿態(tài)估計(jì)。為了實(shí)現(xiàn)這一目標(biāo),本文設(shè)計(jì)了欺騙損失、漂移損失、基于注意力機(jī)制的特征損失和感知損失來(lái)聯(lián)合訓(xùn)練基于GAN 的生成器,以產(chǎn)生強(qiáng)對(duì)抗樣本,用于攻擊跟蹤器。下面將詳細(xì)介紹本文所提出的攻擊方法。

4.1 對(duì)抗樣本生成

本文提出的攻擊框架包括兩部分,分別是擾動(dòng)生成器ξg和跟蹤器SiamRPN++。擾動(dòng)生成器訓(xùn)練結(jié)構(gòu)框架如圖1 所示。生成器訓(xùn)練過(guò)程中,保持模板不變,將干凈搜索區(qū)域送入生成器產(chǎn)生噪聲,再與干凈搜索區(qū)域相加,形成對(duì)抗搜索區(qū)域。同時(shí),將每一幀對(duì)抗搜索區(qū)域分別與干凈模板一起送入跟蹤器進(jìn)行模板匹配,輸出特征提取網(wǎng)絡(luò)Conv3-3的特征圖,得到對(duì)抗樣本響應(yīng)圖和回歸圖。

要想達(dá)到攻擊的目的,需要更多地關(guān)注搜索區(qū)域中最有可能是目標(biāo)的區(qū)域。因此,同時(shí)把干凈模板和相應(yīng)干凈搜索區(qū)域輸入跟蹤器,找出感興趣區(qū)域。接著,利用所提出的欺騙損失Lcheat、漂移損失Ldrift、基于雙重注意力的特征損失Lfeature和感知損失Lquality聯(lián)合訓(xùn)練生成器。算法流程如算法1 所示。

算法1本文擾動(dòng)生成器訓(xùn)練框架

輸入干凈的目標(biāo)模板ZC,干凈的搜索區(qū)域SC,自定義噪聲圖像Nt,訓(xùn)練視頻數(shù)目T,隨機(jī)初始化生成器ξg

輸出基于搜索區(qū)域的擾動(dòng)生成器

1) 初始化生成器ξg和跟蹤器并固定參數(shù)

2) fori=1:T

3) 獲取干凈的模板ZC和N張干凈搜索區(qū)域SC;

4) 將ZC和N張干凈的搜索區(qū)域SC輸入孿生網(wǎng)絡(luò)跟蹤器中,得到干凈的響應(yīng)圖GC;

5) 將SC送入生成器中產(chǎn)生噪聲 Noise=ξg(SC);

6) 得到對(duì)抗搜索區(qū)域圖像Sadv=SC+Noise;

7) 使用Sadv得到對(duì)抗響應(yīng)圖Gadv、回歸圖Madv和對(duì)抗搜索區(qū)域Sadv的特征E(Sadv);

8) 基于特征E(Sadv),通過(guò)通道注意力和空間注意力協(xié)同機(jī)制得到特征權(quán)重分布;

9) 基于Gadv、Madv、Sadv、E(Sadv)和Nt,根據(jù)式(1)、式(3)、式(7)分別計(jì)算欺騙損失、漂移損失和基于注意力機(jī)制的特征損失;

10) 利用式(9)計(jì)算Lqualtity損失函數(shù);

11) 利用式(10)計(jì)算總損失函數(shù);

12) 利用Adam 優(yōu)化器更新生成器ξg的參數(shù);

13) 直到模型收斂;

14) end for

4.2 損失函數(shù)的設(shè)計(jì)

給定一段視頻,對(duì)干凈視頻幀添加微量擾動(dòng),生成對(duì)抗樣本,使跟蹤器偏離原始運(yùn)動(dòng)軌跡。本節(jié)從欺騙損失攻擊、漂移損失攻擊、基于雙重注意力機(jī)制的特征損失攻擊和感知損失4 個(gè)方面詳細(xì)介紹本文算法的損失函數(shù)。

4.2.1 欺騙損失攻擊

在單目標(biāo)跟蹤中,跟蹤器需要在視頻的每一幀中精確定位目標(biāo)。對(duì)于攻擊而言,需求與之相反,希望跟蹤器在每一幀中都盡量偏離正確的目標(biāo)位置。由于目標(biāo)跟蹤是集粗定位和細(xì)定位于一體的任務(wù),因此本文設(shè)計(jì)了粗定位和細(xì)定位的欺騙損失函數(shù)用于迷惑目標(biāo)跟蹤器。

對(duì)于粗定位,跟蹤的目標(biāo)是粗略確定目標(biāo)有可能存在的區(qū)域,反之,攻擊是使粗定位任務(wù)失靈。粗定位確定目標(biāo)的主要依據(jù)來(lái)源于正樣本,讓正樣本的置信度分?jǐn)?shù)盡量小就能達(dá)到辨認(rèn)不出目標(biāo)的目的。對(duì)于細(xì)定位,跟蹤的指引就是基于粗定位的結(jié)果結(jié)合修正量精準(zhǔn)回歸邊框,在攻擊時(shí)讓回歸邊框盡量收縮,就能使定位的目標(biāo)位置不準(zhǔn)確,從而降低重疊率,細(xì)定位任務(wù)也就失去了效果。具體的函數(shù)表達(dá)式為

在圖1 中,A 模塊利用干凈模板和干凈搜索區(qū)域產(chǎn)生m個(gè)候選框,再依據(jù)每個(gè)候選框的置信度s尋找感興趣區(qū)域。本文將置信度大于0.7 的候選框作為正樣本,在干凈響應(yīng)圖中計(jì)算對(duì)應(yīng)索引,作為注意力掩碼?,定義為

進(jìn)一步,利用式(2)尋找Gadv和Madv中相應(yīng)候選框,再計(jì)算,得到Lcoarse與Lscale。

4.2.2 漂移損失攻擊

欺騙損失攻擊旨在冷卻干凈搜索區(qū)域中可能是目標(biāo)的區(qū)域,使跟蹤器難以辨認(rèn)目標(biāo),同時(shí),盡可能減小修正量的寬和高,收縮目標(biāo)邊界框,降低重疊率。然而,該攻擊還不夠強(qiáng)大,跟蹤器仍然可以在搜索區(qū)域內(nèi)定位出物體。針對(duì)這一問(wèn)題,本節(jié)提出了漂移損失函數(shù),通過(guò)賦予中心坐標(biāo)修正量很大的漂移值,目標(biāo)預(yù)測(cè)邊框中心會(huì)與原始中心相差甚遠(yuǎn),導(dǎo)致跟蹤器快速丟失目標(biāo)。漂移損失函數(shù)表達(dá)式為

欺騙漂移攻擊框架如圖2 所示,進(jìn)一步細(xì)化了欺騙損失攻擊和漂移損失攻擊。為方便計(jì)算,先將Gadv和Madv調(diào)整為二維矩陣,再利用式(2)選擇的候選框產(chǎn)生粗定位結(jié)果和細(xì)定位結(jié)果。

4.2.3 基于雙重注意力機(jī)制的特征損失攻擊

欺騙損失攻擊和漂移損失攻擊都著眼于對(duì)高級(jí)類別信息進(jìn)行攻擊,這依賴于特定白盒模型產(chǎn)生的分類概率和回歸預(yù)測(cè),遷移能力受到了限制??紤]任何跟蹤器都需利用圖像底層特征作為網(wǎng)絡(luò)輸入,對(duì)圖像底層特征攻擊有助于提高白盒模型產(chǎn)生的對(duì)抗樣本在黑盒模型跟蹤器上的遷移能力。因此,提出了特征損失攻擊函數(shù),定義為

其中,E(·)表示圖像經(jīng)過(guò)骨干網(wǎng)絡(luò)輸出的特征圖;Sadv表示搜索區(qū)域的對(duì)抗樣本;C表示通道數(shù)量;Nt表示自定義的噪聲圖像。通過(guò)優(yōu)化對(duì)抗樣本特征和自定義噪聲圖像特征之間的歐氏距離,使對(duì)抗樣本特征與噪聲圖像特征相似,以改變特征空間中對(duì)抗樣本的內(nèi)部結(jié)構(gòu)。

進(jìn)一步地,為了增強(qiáng)對(duì)目標(biāo)的攻擊強(qiáng)度,該特征損失攻擊融合了空間和通道注意力,構(gòu)成雙重注意力模塊,以聚焦圖像中感興趣的區(qū)域,如圖3 所示。

1) 空間注意力模塊。卷積神經(jīng)網(wǎng)絡(luò)的輸出特征圖存在空間內(nèi)的依賴關(guān)系,本文利用這種關(guān)系產(chǎn)生空間注意力圖,以關(guān)注目標(biāo)具體位置。在單目標(biāo)跟蹤中,僅有一個(gè)感興趣目標(biāo),關(guān)注圖像中前景區(qū)域尤為重要,這有利于捕獲關(guān)鍵信息,增強(qiáng)對(duì)目標(biāo)攻擊的強(qiáng)度。針對(duì)每一個(gè)感興趣區(qū)域,空間注意力機(jī)制表達(dá)式為

其中,ROI 表示感興趣區(qū)域;i表示第i個(gè)ROI;s表示置信度;h()和w()分別表示ROI 的高度和寬度。對(duì)于每幅干凈圖像,首先依據(jù)s尋找前40 個(gè)感興趣區(qū)域,獲取其坐標(biāo)和相應(yīng)置信度,然后將這些區(qū)域映射到E(Sadv)中,通過(guò)疊加E(Sadv)中每個(gè)響應(yīng)值所包含ROI 的所有置信度來(lái)確定最終空間注意力圖SA,最后得到細(xì)化后的對(duì)抗樣本特征圖,具體表達(dá)式為

其中,E(Sadv)'表示細(xì)化后的特征圖;?表示像素相乘。

2) 通道注意力模塊。孿生網(wǎng)絡(luò)輸出特征圖的各通道之間存在依賴性,不同通道對(duì)于每個(gè)類別的響應(yīng)強(qiáng)度差異很大,每個(gè)通道所蘊(yùn)含的信息量也有所不同。對(duì)目標(biāo)攻擊而言,與目標(biāo)關(guān)聯(lián)度越大,對(duì)應(yīng)特征通道應(yīng)賦予更多擾動(dòng),以關(guān)注信息量更豐富的通道,抑制信息量小的通道。為了更關(guān)注目標(biāo),本文融合了雙重注意力機(jī)制來(lái)攻擊圖像中重要區(qū)域的特征,得到各通道的特征權(quán)重分布,實(shí)現(xiàn)對(duì)目標(biāo)的攻擊。因此,融合通道和空間注意力協(xié)同機(jī)制的式(4)可進(jìn)一步表示為

其中,?表示哈達(dá)瑪積,Ak表示各通道特征權(quán)重分布,計(jì)算式為

其中,vk(i,j)表示第k個(gè)通道特征圖中的響應(yīng)值;H和W分別表示特征圖的高和寬。先將各個(gè)通道全局平均池化后獲得每個(gè)通道特征圖的相對(duì)重要程度,再將其送入Softmax 激活函數(shù),得到每個(gè)通道的特征權(quán)重分布。注意力特征權(quán)重的計(jì)算提高了對(duì)抗樣本關(guān)鍵通道的特征圖與自定義噪聲圖像特征圖之間的相似程度,同時(shí)也抑制了貢獻(xiàn)小的通道對(duì)擾動(dòng)的影響,增強(qiáng)了對(duì)目標(biāo)攻擊的強(qiáng)度。

4.2.4 感知損失

為了使生成圖像更接近于原始圖像,防止圖像失真,本文引入了感知損失函數(shù)Lquality,定義為

其中,SC表示干凈搜索區(qū)域;Sadv表示對(duì)抗搜索區(qū)域;N表示搜索區(qū)域的數(shù)量。利用2-范數(shù)對(duì)噪聲幅度進(jìn)行約束,使原始圖像轉(zhuǎn)化為能夠欺騙目標(biāo)模型的對(duì)抗圖像。

最后,將欺騙損失Lcheat、漂移損失Ldrift、特征損失Lfeature和感知損失函數(shù)Lquality損失組合成總的損失函數(shù)L

其中,λ1、λ2和λ3表示權(quán)重系數(shù),以平衡不同的損失函數(shù)。本文中,這些權(quán)重系數(shù)值是依據(jù)大量實(shí)驗(yàn)設(shè)置的參數(shù),通過(guò)擾動(dòng)生成器產(chǎn)生的擾動(dòng)圖像既不被發(fā)現(xiàn),又能有效地欺騙跟蹤器。

4.3 損失函數(shù)作用

攻擊目標(biāo)的場(chǎng)景包括遮擋、尺度變化、光照變化、背景干擾等。本文的4 種損失函數(shù)針對(duì)不同任務(wù)場(chǎng)景設(shè)計(jì),所起的作用有主次之分。特征損失函數(shù)旨在破壞圖像特征結(jié)構(gòu),使模型具有更好的遷移性,讓白盒模型訓(xùn)練的擾動(dòng)生成器以更高的成功率和精度遷移到其他黑盒跟蹤器中,產(chǎn)生好的攻擊效果,增強(qiáng)攻擊泛化性。欺騙損失同時(shí)干擾目標(biāo)的分類和回歸任務(wù),通過(guò)干擾分類響應(yīng)圖使跟蹤器誤把背景當(dāng)作目標(biāo),并使回歸邊框收縮,降低與原目標(biāo)的重合率,涵蓋RPN 中的分類與回歸階段。漂移損失集中攻擊回歸任務(wù),主要解決欺騙損失帶來(lái)的攻擊偏移度差問(wèn)題,進(jìn)一步增強(qiáng)攻擊強(qiáng)度,使目標(biāo)大幅偏離原始預(yù)測(cè)位置。此外,由于數(shù)字空間中的對(duì)抗攻擊遵循擾動(dòng)不可見原則,因此本文設(shè)計(jì)了感知損失,它能使產(chǎn)生的擾動(dòng)圖像盡可能與原圖像相似,使人眼不可察覺(jué)。

5 實(shí)驗(yàn)與結(jié)果分析

本節(jié)將本文提出的方法在Pytorch 深度學(xué)習(xí)架構(gòu)下開展驗(yàn)證,硬件平臺(tái)的配置環(huán)境為Intel-i9 CPU(64 GB 內(nèi)存)和一塊RTX-2080Ti GPU(11 GB 內(nèi)存),并且在3 個(gè)數(shù)據(jù)集(OTB100、VOT2018 和LaSOT)上測(cè)試了本文方法的有效性。

5.1 數(shù)據(jù)集

訓(xùn)練數(shù)據(jù)集:為了涵蓋更豐富的目標(biāo)類別,本文采用GOT-10K 作為訓(xùn)練數(shù)據(jù)集。該數(shù)據(jù)集的視頻序列超過(guò)10 000 個(gè),覆蓋500 多個(gè)目標(biāo)類別,呈現(xiàn)出跟蹤目標(biāo)的多樣性。具體地,對(duì)于每個(gè)視頻序列,在視頻的第一幀裁剪目標(biāo)模板,在后續(xù)的幀中每10 幀均勻采樣一次,并裁剪搜索區(qū)域,其中模板區(qū)域大小裁剪為127×127,搜索區(qū)域大小裁剪為255×255。

測(cè)試數(shù)據(jù)集:本文將在OTB100、VOT2018 和LaSOT 這3 個(gè)數(shù)據(jù)集上測(cè)試本文方法的有效性。下面,從數(shù)據(jù)集大小和數(shù)據(jù)特點(diǎn)等方面分別介紹這3 個(gè)數(shù)據(jù)集。

OTB100 數(shù)據(jù)集:該數(shù)據(jù)集中共有98 個(gè)視頻,涉及目標(biāo)跟蹤的11 個(gè)屬性,包括光照變化、尺度變化、遮擋、形變、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)等。每個(gè)序列都對(duì)應(yīng)2 個(gè)或多個(gè)屬性。

VOT2018 數(shù)據(jù)集:該數(shù)據(jù)集中包括60 個(gè)視頻,與OTB 數(shù)據(jù)集相比,更具挑戰(zhàn)性。在目標(biāo)丟失時(shí),該數(shù)據(jù)集有重新初始化機(jī)制。

LaSOT 數(shù)據(jù)集:包含1 400 個(gè)視頻;目標(biāo)類別有70 個(gè),每個(gè)類別包含20 個(gè)序列。其中測(cè)試集由每個(gè)類別中精心挑選的4 個(gè)視頻序列組成,共計(jì)280 個(gè)視頻序列。

5.2 評(píng)價(jià)標(biāo)準(zhǔn)

OTB100 數(shù)據(jù)集采用精確度(P,precision)和成功率(S,success)作為評(píng)價(jià)標(biāo)準(zhǔn)。P 反映跟蹤算法估計(jì)的目標(biāo)位置中心點(diǎn)(bounding box)與人工標(biāo)注目標(biāo)中心點(diǎn)(ground-truth)的中心誤差。S 代表跟蹤算法得到的預(yù)測(cè)狀態(tài)與目標(biāo)原始重合率大于0.5 的百分比。VOT2018 數(shù)據(jù)集同時(shí)衡量算法的精確度(A,accuracy)和穩(wěn)健性(R,robustness),并以平均重疊期望(EAO,expected average overlap)給出算法性能的排序。LaSOT 數(shù)據(jù)集選擇S 和標(biāo)準(zhǔn)化精度(Norm P,norm precision)來(lái)衡量算法性能。

5.3 實(shí)驗(yàn)細(xì)節(jié)

本文使用Adam 優(yōu)化算法優(yōu)化生成器,學(xué)習(xí)率設(shè)置為2×10?4。將欺騙損失中的γ設(shè)置為?5,并將ρ1和ρ2分別設(shè)為0.1 和1,以平衡粗定位與細(xì)定位損失。將漂移損失中的Δδ設(shè)為500,使邊框大幅偏移目標(biāo)中心。式(10)中的漂移損失系數(shù)λ1和特征損失權(quán)重λ2分別設(shè)置為2 和20,感知損失系數(shù)λ3設(shè)置為620。

對(duì)于攻擊生成的施加條件,本文攻擊方法需要2 個(gè)部件,分別為U-net 結(jié)構(gòu)的生成器以及ResNet50結(jié)構(gòu)的SiamRPN++跟蹤器。U-net 結(jié)構(gòu)在像素級(jí)任務(wù)中展現(xiàn)優(yōu)異的性能,因此適合為數(shù)字空間中的攻擊任務(wù)產(chǎn)生噪聲。整個(gè)攻擊生成的施加條件作用于白盒設(shè)置模式下,能獲取SiamRPN++跟蹤器的全部參數(shù),以產(chǎn)生高級(jí)語(yǔ)義層面與低級(jí)特征層面的多級(jí)損失函數(shù)用于擾動(dòng)生成器的訓(xùn)練,從而確保訓(xùn)練的擾動(dòng)生成器能夠成功攻擊圖像中的目標(biāo)。

5.4 實(shí)驗(yàn)結(jié)果與分析

表1 和表2 給出了本文方法在OTB100[38]、VOT2018 和LaSOT[39]這3 個(gè)數(shù)據(jù)集上的攻擊結(jié)果。表1 中,Original 表示SiamRPN++原始的跟蹤結(jié)果,Attack S 表示僅攻擊搜索區(qū)域,Drop 表示性能下降;表2 中,Attack SZ 表示同時(shí)攻擊搜索區(qū)域和目標(biāo)模板。攻擊策略為僅攻擊搜索區(qū)域以及同時(shí)攻擊搜索區(qū)域和目標(biāo)模板。

表1 本文方法對(duì)僅攻擊搜索區(qū)域的實(shí)驗(yàn)結(jié)果

表2 本文方法同時(shí)攻擊搜索區(qū)域和目標(biāo)模板的實(shí)驗(yàn)結(jié)果

攻擊生成的具體過(guò)程如下。

1) 僅攻擊搜索區(qū)域。當(dāng)僅攻擊搜索區(qū)域時(shí),預(yù)先處理訓(xùn)練數(shù)據(jù)集,每10 幀均勻采樣GOT-10K 數(shù)據(jù)集中視頻幀,裁剪目標(biāo)模板和搜索區(qū)域,共獲得9 350 段視頻。對(duì)于每段視頻,第一幀為干凈目標(biāo)模板,后續(xù)幀為干凈搜索區(qū)域。訓(xùn)練階段,首先獲取目標(biāo)模板和搜索區(qū)域,保持目標(biāo)模板不變,隨機(jī)初始化擾動(dòng)生成器,將每一幀干凈目標(biāo)搜索區(qū)域送入擾動(dòng)生成器產(chǎn)生噪聲后,再與干凈目標(biāo)搜索區(qū)域相加,形成對(duì)抗搜索區(qū)域。然后分別將干凈搜索區(qū)域,對(duì)抗搜索區(qū)域與干凈目標(biāo)模板送入SiamRPN++跟蹤模型,輸出網(wǎng)絡(luò)Conv3-3 的特征圖,分別得到干凈樣本的響應(yīng)圖GC、對(duì)抗樣本的響應(yīng)圖Gadv和回歸圖Madv。最后構(gòu)造Lcheat、Ldrift、Lfeature和Lquality這4 種損失函數(shù)以聯(lián)合訓(xùn)練生成器,得到基于搜索區(qū)域的擾動(dòng)生成器。在推理階段,保持干凈目標(biāo)模板不變,將干凈搜索區(qū)域通過(guò)擾動(dòng)生成器生成對(duì)抗搜索區(qū)域,再把對(duì)抗搜索區(qū)域和干凈目標(biāo)模板同時(shí)送入SiamRPN++中,得到兩者匹配的相似度,記為SiamRPNP+++S(僅攻擊搜索區(qū)域)。從表1 可以看出,本文提出的攻擊方法使跟蹤器的性能在3 個(gè)數(shù)據(jù)集上大幅度下降。

2) 同時(shí)攻擊搜索區(qū)域和目標(biāo)模板。當(dāng)同時(shí)攻擊搜索區(qū)域和目標(biāo)模板時(shí),擾動(dòng)生成器的訓(xùn)練方法和僅攻擊目標(biāo)搜索區(qū)域時(shí)的訓(xùn)練方法相同。在推理階段,使用訓(xùn)練的擾動(dòng)生成器同時(shí)攻擊目標(biāo)模板和目標(biāo)搜索區(qū)域,并將對(duì)抗模板和對(duì)抗搜索區(qū)域送入跟蹤器 SiamRPN++中,記為SiamRPN+++SZ(同時(shí)攻擊搜索區(qū)域和目標(biāo)模板),實(shí)驗(yàn)結(jié)果如表2 所示。從表2 中可以看出,同時(shí)攻擊模板和搜索區(qū)域比僅攻擊搜索區(qū)域性能下降更多。在OTB100 數(shù)據(jù)集上,同時(shí)攻擊模板和搜索區(qū)域時(shí),SiamRPN++跟蹤器定位的成功率由未攻擊時(shí)的69.6%下降為15.5%,降低了約54%;精確度由91.4%下降到21.8%,降低了約70%。

另外,將SiamRPN++以及2 種攻擊策略下的SiamRPN+++S、SiamRPN+++SZ 在OTB 數(shù)據(jù)集上與其他主流跟蹤器(MDNet[12]、SiamFC[13]、SiamRPN[14]、SiamRPN++[15]、DaSiamRPN[16]、GradNet[40]等)進(jìn)行對(duì)比,性能表現(xiàn)如圖4 所示。

從圖4 中可知,本文方法大大降低了SiamRPN++的性能。表3 給出了本文方法與現(xiàn)有攻擊方法在SiamRPN++上的攻擊性能比較。在OTB100 數(shù)據(jù)集上,本文方法在S和P上都超越了CSA[33]、SPARK[41]與FAN 方法[42],使SiamRPN++的定位能力顯著下降,在OTB100 數(shù)據(jù)集上僅有15.5%的成功率和21.8%的精確度。

表3 不同攻擊方法在SiamRPN++跟蹤器上的攻擊性能比較

5.5 消融實(shí)驗(yàn)

5.5.1 損失項(xiàng)消融實(shí)驗(yàn)

為了驗(yàn)證并分析模型各損失項(xiàng)的作用,將損失項(xiàng)分為4 個(gè)部分,分別是粗定位損失Lcoarse、細(xì)定位損失Lscale、漂移損失Ldrift和特征損失Lfeature。Lcoarse用于冷卻目標(biāo)位置;Lscale用于收縮目標(biāo)邊界框,降低重疊率;Ldrift用來(lái)漂移目標(biāo);Lfeature用來(lái)改變圖像在特征空間中的結(jié)構(gòu)。本節(jié)分析了這4 個(gè)損失項(xiàng)及其組合對(duì)于SiamRPN++跟蹤器性能的影響。實(shí)驗(yàn)在OTB100 和VOT2018 數(shù)據(jù)集上進(jìn)行了測(cè)試,結(jié)果如表4 和表5 所示。其中,“-”表示未使用,“√”表示使用。從表4 和表5 中可以看出,無(wú)論是使用單獨(dú)損失項(xiàng)還是組合項(xiàng),同時(shí)攻擊搜索區(qū)域和目標(biāo)模板都取得了比僅攻擊搜索區(qū)域更強(qiáng)的攻擊效果。

表4 僅攻擊搜索區(qū)域時(shí)各損失項(xiàng)對(duì)于性能的影響

表5 同時(shí)攻擊搜索區(qū)域和目標(biāo)模板時(shí)各損失項(xiàng)對(duì)于性能的影響

首先,針對(duì)4 個(gè)單獨(dú)損失項(xiàng),其對(duì)迷惑跟蹤器均有積極影響,Lcoarse取得了最佳的攻擊效果,證明了粗定位任務(wù)在跟蹤中的重要性。Lscale和Ldrift的攻擊效果次于Lcoarse,這是因?yàn)閮烧叨际腔诖侄ㄎ唤Y(jié)果進(jìn)行收縮或漂移,去掉粗定位損失Lcoarse,跟蹤器便能粗略確定目標(biāo)位置,此基礎(chǔ)上進(jìn)行單獨(dú)收縮或漂移,效果自然欠佳。

其次,對(duì)于損失項(xiàng)的組合,在Lcoarse的基礎(chǔ)上添加Lscale,跟蹤器的預(yù)測(cè)邊框逐漸收縮,無(wú)法精確估計(jì)目標(biāo)尺度,如圖5(a)所示。此外,在欺騙損失Lcoarse和Lscale的基礎(chǔ)上再疊加漂移損失Ldrift,跟蹤器對(duì)目標(biāo)位置信息極度不敏感,并很快沿著與目標(biāo)距離最遠(yuǎn)的位置漂移,如圖 5(b)所示。

最后,同時(shí)聯(lián)合4 項(xiàng)損失能最大幅度地愚弄跟蹤器,且生成的對(duì)抗樣本不易被人眼所察覺(jué)。

5.5.2 注意力機(jī)制消融實(shí)驗(yàn)

本節(jié)討論了特征損失中空間和通道注意力協(xié)同機(jī)制對(duì)目標(biāo)攻擊效果的影響。為了探索2 種注意力機(jī)制及其組合對(duì)于性能下降的影響,設(shè)計(jì)了僅攻擊搜索區(qū)域和同時(shí)攻擊搜索區(qū)域及目標(biāo)模板2 種攻擊策略下的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖6 所示。

僅攻擊搜索區(qū)域時(shí),設(shè)計(jì)的實(shí)驗(yàn)有G-S-noA-Feature(G 表示生成器,S 表示搜索區(qū)域,noA 表示無(wú)注意力機(jī)制)、G-S-Spatial-Feature(Spatial 表示執(zhí)行空間注意力)、G-S-Channel-Feature(Channel 表示執(zhí)行通道注意力)和G-S-Spatial-Channel-Feature(Spatial-Channel 表示空間和通道注意力協(xié)同機(jī)制)。

同時(shí)攻擊搜索區(qū)域和目標(biāo)模板時(shí),設(shè)計(jì)的實(shí)驗(yàn)有G-SZ-Channel-Spatial-Feature(SZ 表示搜索區(qū)域和目標(biāo)模板)、G-SZ-Channel-Feature、G-SZ-Spatial-Channel-Feature、G-SZ-Spatial-Feature 和 G-SZnoA-Feature。

從圖6 中可以看出,在2 種攻擊策略下,空間和通道注意力機(jī)制對(duì)攻擊跟蹤器都有積極作用,僅有單個(gè)注意力時(shí),通道注意力比空間注意力有更好的攻擊效果。將二者串聯(lián)協(xié)同工作,跟蹤器跟蹤目標(biāo)的性能會(huì)大幅下降,達(dá)到了最好的攻擊效果。

5.5.3 各損失項(xiàng)遷移性消融實(shí)驗(yàn)

為了驗(yàn)證各損失項(xiàng)在黑盒攻擊設(shè)置下的遷移性能,本文選取3 種最先進(jìn)的跟蹤器進(jìn)行攻擊,將由基于ResNet-50 的SiamRPN++訓(xùn)練的生成器遷移到其他3 種最先進(jìn)的跟蹤器上,分別是基于在線更新策略的 DiMP-50、基于MobileNet 的SiamRPN++和基于ResNet 的SiamMask。各損失項(xiàng)對(duì)于攻擊3 種最先進(jìn)的黑盒跟蹤器時(shí)遷移性的表現(xiàn)如表6~表8 所示。從表6~表8 可以看出,僅用單一損失訓(xùn)練時(shí),4 種損失項(xiàng)訓(xùn)練的模型都能一定程度上降低跟蹤器的性能,使目標(biāo)偏移原本的運(yùn)動(dòng)軌跡。較之其余3 項(xiàng),Lfeature損失項(xiàng)訓(xùn)練的模型在3 種黑盒跟蹤器上都展現(xiàn)出最好的攻擊效果,體現(xiàn)出良好的遷移性。

表6 SiamRPN++(MobileNet)跟蹤器各損失項(xiàng)遷移性對(duì)比

表7 SiamMask 跟蹤器各損失項(xiàng)遷移性對(duì)比

表8 DiMP-50 跟蹤器各損失項(xiàng)遷移性對(duì)比

5.5.4 攻擊生成所付出代價(jià)分析

本文所提出的攻擊方法包括欺騙損失、漂移損失、特征損失和感知損失。在生成器訓(xùn)練過(guò)程中,當(dāng)無(wú)特征損失時(shí),僅需要2 h 就能完成對(duì)所有視頻的訓(xùn)練,得到擾動(dòng)生成器。添加特征損失時(shí),需要8 h 才能完成整個(gè)訓(xùn)練過(guò)程。這是由于特征損失涉及對(duì)特征圖間的逐像素操作,且利用空間和通道注意力機(jī)制探索空間通道的依賴關(guān)系,尋找感興趣區(qū)域,從而造成計(jì)算成本提高。盡管如此,本文方法對(duì)SiamRPN++及其他最先進(jìn)跟蹤器都能取得良好的攻擊效果。如表4 所示,對(duì)于SiamRPN++跟蹤器,添加特征損失比不添加時(shí)攻擊成功率高出14.2%,精確度高20.2%,故雖付出了一定計(jì)算代價(jià),卻能有效欺騙跟蹤器,使跟蹤器偏離原始運(yùn)動(dòng)軌跡。所付出的計(jì)算代價(jià)是可容忍的。

6 結(jié)束語(yǔ)

針對(duì)現(xiàn)有對(duì)抗擾動(dòng)技術(shù)難以有效地降低跟蹤器的判別能力使運(yùn)動(dòng)軌跡發(fā)生快速偏移的問(wèn)題,本文提出一種高效的攻擊目標(biāo)跟蹤器的方法。首先,所提方法從高層類別和底層特征考慮設(shè)計(jì)了欺騙損失、漂移損失和基于注意力機(jī)制的特征損失來(lái)聯(lián)合訓(xùn)練生成器,使其擁有對(duì)抗擾動(dòng)的能力;然后,在對(duì)一段視頻序列攻擊時(shí),將每幀干凈圖像送入該生成器中,生成對(duì)抗樣本,以干擾SiamRPN 目標(biāo)跟蹤器,使其運(yùn)動(dòng)軌跡發(fā)生偏移,導(dǎo)致跟蹤失敗。所提方法在OTB100、VOT2018 和LaSOT 這3 個(gè)主流的目標(biāo)跟蹤數(shù)據(jù)集進(jìn)行了驗(yàn)證,相較于對(duì)比方法,本文方法達(dá)到了較好的攻擊效果。

猜你喜歡
跟蹤器擾動(dòng)損失
Bernoulli泛函上典則酉對(duì)合的擾動(dòng)
少問(wèn)一句,損失千金
光伏跟蹤器陣列跟蹤精度的測(cè)算方法研究
胖胖損失了多少元
淺析一種風(fēng)光儲(chǔ)一體化跟蹤器
(h)性質(zhì)及其擾動(dòng)
超長(zhǎng)待機(jī)的自行車位置跟蹤器
玉米抽穗前倒伏怎么辦?怎么減少損失?
雙向多軌跡判定方法在目標(biāo)跟蹤中的應(yīng)用研究
小噪聲擾動(dòng)的二維擴(kuò)散的極大似然估計(jì)
蓬溪县| 长岭县| 临清市| 天门市| 建平县| 永吉县| 华坪县| 莱芜市| 榆中县| 巩义市| 沧源| 红原县| 香河县| 常山县| 廉江市| 秦皇岛市| 新乡县| 潍坊市| 秭归县| 巫山县| 务川| 买车| 肇源县| 长子县| 西青区| 彭水| 柳州市| 荔浦县| 建瓯市| 苏尼特右旗| 汾阳市| 潞西市| 嘉荫县| 广汉市| 镇平县| 阿克陶县| 崇阳县| 合阳县| 合水县| 且末县| 西乌珠穆沁旗|