程金偉，胡大裟，蔣玉明

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

目標(biāo)追蹤是自動(dòng)監(jiān)視、車輛導(dǎo)航、視頻標(biāo)注、人機(jī)交互以及動(dòng)作識(shí)別等領(lǐng)域的應(yīng)用最重要的任務(wù)：在已知視頻前一幀中任意物體的位置情況下，以盡量高的準(zhǔn)確率去估計(jì)該物體在后一幀中的位置[1]。

目標(biāo)追蹤要求算法能夠以盡量貼近視頻幀率的速度快速運(yùn)算進(jìn)行物體的追蹤。同時(shí)，由于光照、鏡頭縮放等環(huán)境或相機(jī)狀態(tài)的變化以及物體產(chǎn)生外邊形變等自身狀態(tài)的變化，使穩(wěn)定追蹤成為目標(biāo)追蹤算法面臨的主要挑戰(zhàn)。

本文提出了將超像素與孿生網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合的目標(biāo)動(dòng)態(tài)追蹤新方法。以孿生網(wǎng)絡(luò)結(jié)構(gòu)為框架，使用目標(biāo)掩膜和超像素生成目標(biāo)框提高目標(biāo)追蹤的準(zhǔn)確率。在VOT數(shù)據(jù)集下與其他算法進(jìn)行對(duì)比試驗(yàn)，驗(yàn)證本文算法的準(zhǔn)確率和魯棒性。

1 動(dòng)態(tài)目標(biāo)追蹤技術(shù)研究現(xiàn)狀

1.1 動(dòng)態(tài)目標(biāo)追蹤技術(shù)發(fā)展

追蹤任意物體的通行方法是從視頻前一幀提供的真實(shí)信息中在線訓(xùn)練出具有判別目標(biāo)和背景能力的分類器，從而隨著視頻對(duì)其更新來進(jìn)行追蹤。

隨著深度卷積網(wǎng)絡(luò)的興起，基于孿生網(wǎng)絡(luò)（Siamese Network）的追蹤方法被引入到目標(biāo)追蹤領(lǐng)域。該方法將追蹤視為度量學(xué)習(xí)問題，通過使用示例圖片z和候選圖片x獲得比較函數(shù)進(jìn)行追蹤；比較函數(shù)的函數(shù)值反映示例圖片和候選圖片描述同一物體的可能性；通過在新圖片中遍歷所有可能位置，利用比較函數(shù)即可獲得目標(biāo)外表相似程度最高的候選目標(biāo)并實(shí)現(xiàn)追蹤。Bertinetto等人提出了基于該方法的全連接孿生網(wǎng)絡(luò)模型[1]，將相同的變換φ作用與示例圖片z和候選圖片x，使用另一個(gè)函數(shù)g（z，x）結(jié)合變換后的結(jié)果得到f(z,x)=g(φ(z),φ(x))；當(dāng)函數(shù)g（z，x）是距離度量函數(shù)時(shí)變換φ可以被認(rèn)為是嵌入函數(shù)（embedding）；通過卷積，孿生網(wǎng)絡(luò)結(jié)構(gòu)輸出一個(gè)響應(yīng)圖，響應(yīng)圖由當(dāng)前幀所有候選圖片和示例圖片的相似函數(shù)值組成；再通過插值獲得高響應(yīng)值圖片所在的位置，即實(shí)現(xiàn)目標(biāo)追蹤。

Li等人利用候選區(qū)域（region proposal）優(yōu)化了孿生網(wǎng)絡(luò)的效果[2]；Zhu et al使用難例挖掘（hard negative mining）[3]；He等人利用集成學(xué)習(xí)進(jìn)一步優(yōu)化了追蹤結(jié)果[4]。

大部分的追蹤方法在初始化目標(biāo)階段選擇使用矩形標(biāo)定框來確定目標(biāo)。然而矩形框并不能很好地確定目標(biāo)。因此依靠矩形框初始化更加細(xì)粒度地確定目標(biāo)是亟待解決的問題。

Wang等人基于Bertinetto等人的算法，在保留離線學(xué)習(xí)和運(yùn)算速度的前提下，提出SiamMask算法[5]。由于全連接孿生網(wǎng)絡(luò)的輸出僅包含目標(biāo)的位置，并不包含其空間范圍，該算法在孿生網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上增加了候選區(qū)域網(wǎng)絡(luò)（Region Proposal Network）和類別無關(guān)的二值分割（Binary Segmentation）。通過RPN和分割出的掩膜計(jì)算獲得更加精確的目標(biāo)位置，提升追蹤效果。

超像素是指使用聚類算法將完整圖像分割出的子區(qū)域[6]。每個(gè)子區(qū)域均包含若干個(gè)像素，一個(gè)子區(qū)域?qū)?yīng)聚類中的一個(gè)簇，同簇中的對(duì)象彼此的特征相似，與其他簇中的對(duì)象特征差異較大。由于超像素具有這樣的特性，因此具備將目標(biāo)和背景區(qū)分出來，指示自身包含的像素的類別是目標(biāo)或背景的能力。將超像素運(yùn)用在視覺計(jì)算中可以很好地去除與追蹤任務(wù)無關(guān)的圖片信息，減小算法的復(fù)雜度。

Yeo等人提出基于超像素分割使用吸收態(tài)馬爾科夫鏈（Absorbing Markov Chain）進(jìn)行追蹤[7]。其只使用LAB顏色空間的顏色均值作為目標(biāo)特征，并沒有充分利用目標(biāo)信息，且運(yùn)算速度十分緩慢，并不滿足實(shí)時(shí)性要求。

Luo等人采用超像素進(jìn)行目標(biāo)特征建模，通過確定關(guān)鍵點(diǎn)位置利用金字塔追蹤器預(yù)測目標(biāo)位置進(jìn)行追蹤[8]。由于要提取大量關(guān)鍵點(diǎn)進(jìn)行計(jì)算，因此運(yùn)算速度約在1FPS左右，并不滿足實(shí)時(shí)性要求。

1.2 動(dòng)態(tài)目標(biāo)追蹤技術(shù)對(duì)比分析

由表1可以看出，相關(guān)濾波類算法MOSSE、SRDCF、KCF等相比于深度學(xué)習(xí)方法，其精度不如后者，這是由于深度學(xué)習(xí)方法提取出的特征有更好的表征能力，深度學(xué)習(xí)方法訓(xùn)練出的模型更加完善。但深度學(xué)習(xí)類算法追蹤速度并比不上相關(guān)濾波類算法，這是由于相關(guān)濾波類算法使用傅里葉快速變換在頻域中進(jìn)行運(yùn)算，大大提升了計(jì)算速度。

表1 算法指標(biāo)對(duì)比

2 結(jié)合超像素的孿生網(wǎng)絡(luò)追蹤方法

目標(biāo)追蹤任務(wù)可以被認(rèn)為是研究后續(xù)幀和首幀之間同一目標(biāo)的相似性問題。通過特征抽取，選定后續(xù)幀中與首幀目標(biāo)的特征相似度最高的物體作為目標(biāo)進(jìn)行追蹤。利用目標(biāo)提供的色彩等特征進(jìn)行追蹤時(shí)，由于缺少背景信息，經(jīng)常會(huì)導(dǎo)致追蹤失敗，因此在追蹤過程中利用一定的背景信息能夠增強(qiáng)追蹤效果。本文提出結(jié)合超像素的孿生網(wǎng)絡(luò)追蹤方法，通過超像素提取目標(biāo)信息作為樣本進(jìn)行追蹤，提高追蹤效果。

2.1 孿生網(wǎng)絡(luò)結(jié)構(gòu)

孿生網(wǎng)絡(luò)結(jié)構(gòu)包含兩個(gè)或多個(gè)參數(shù)相同，權(quán)重共享的子神經(jīng)網(wǎng)絡(luò)，其參數(shù)可在子網(wǎng)絡(luò)上同時(shí)更新。因此利用一次前向傳播并進(jìn)行互相關(guān)運(yùn)算即可得到輸入的相似程度。

函數(shù)f對(duì)示例圖片z和候選圖片x進(jìn)行相似度判定，輸出最大值對(duì)應(yīng)目標(biāo)位置。z通常以第一幀中的目標(biāo)為中心，x是第n幀中以n-1幀目標(biāo)位置為中心截取的圖像。

使用卷積神經(jīng)網(wǎng)絡(luò)φ對(duì)圖片進(jìn)行卷積提取特征。使用互相關(guān)運(yùn)算將特征映射融合：

通過互相關(guān)運(yùn)算，f(z,x)計(jì)算出示例圖片z在候選圖片x中不同位置的相似度，響應(yīng)值最大位置對(duì)應(yīng)候選圖片x中目標(biāo)位置。孿生網(wǎng)絡(luò)結(jié)構(gòu)輸出尺寸為D?Z2的相似度圖，如圖1所示。

圖1 孿生網(wǎng)絡(luò)結(jié)構(gòu)

在追蹤時(shí)，以n-1幀中的目標(biāo)位置為中心選取候選圖片，對(duì)相似度圖進(jìn)行插值，將最大值所在的位置作為目標(biāo)位置，得到每一幀的目標(biāo)位置情況。

2.2 結(jié)合超像素的孿生網(wǎng)絡(luò)追蹤方法

本文介紹的結(jié)合超像素的孿生網(wǎng)絡(luò)算法整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，*d表示對(duì)基礎(chǔ)網(wǎng)絡(luò)輸出進(jìn)行空間互相關(guān)運(yùn)算。通過卷積神經(jīng)網(wǎng)絡(luò)sφ的輸出選取卷積神經(jīng)網(wǎng)絡(luò)輸出中的最大值，得到當(dāng)前候選圖片中目標(biāo)的位置，對(duì)候選圖片進(jìn)行超像素分割，生成目標(biāo)的優(yōu)化掩膜，進(jìn)行追蹤。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)sφ對(duì)基礎(chǔ)網(wǎng)絡(luò)輸出的張量進(jìn)行卷積，輸出相似度圖，得到目標(biāo)位置與相似程度。使用雙三次插值對(duì)相似度圖進(jìn)行上采樣，得到更準(zhǔn)確的目標(biāo)位置。為了抑制追蹤漂移的情況，使用余弦窗懲罰相似度圖中的過大位移情況，同時(shí)為了應(yīng)對(duì)尺度變化，對(duì)樣本的五個(gè)尺度進(jìn)行搜索。

為了得到更加精確的分割掩膜，使用優(yōu)化模塊R對(duì)Conv1、Conv2以及Conv3的輸出進(jìn)行元素求和，使用流水線結(jié)構(gòu)對(duì)初級(jí)掩膜不斷進(jìn)行上采樣，并對(duì)各卷積層輸出結(jié)果進(jìn)行反卷積，使初級(jí)掩膜與不同分辨率的掩膜融合。掩膜融合后輸出的指示掩膜如圖3所示。

圖3 初級(jí)掩膜

2.3 超像素優(yōu)化掩膜

在CIELAB色彩空間對(duì)當(dāng)前圖片以S為間隔對(duì)目標(biāo)位置進(jìn)行采樣，共有k個(gè)聚類中心Ci=[li ai bi xi yi]T，，N為圖片大小。將每個(gè)聚類中心移動(dòng)到3×3領(lǐng)域中梯度最低位置以避免超像素中心位于邊緣。

計(jì)算每個(gè)像素在2S×2S范圍內(nèi)與所有聚類中心的距離D，將該像素點(diǎn)歸入距離最小的簇中。其中，距離度量：

m為權(quán)重系數(shù)。

當(dāng)每個(gè)像素都被歸入相應(yīng)簇中，更新各簇聚類中心至該簇所有像素的平均向量計(jì)算殘差是更新前的聚類中心，是更新后的聚類中心。不斷更新聚類中心直至殘差‖E‖2小于閾值。

通過對(duì)卷積神經(jīng)網(wǎng)絡(luò)sφ預(yù)測的目標(biāo)位置進(jìn)行超像素分割，將前景與背景分割開來。結(jié)合卷積神經(jīng)網(wǎng)絡(luò)輸出的掩膜，規(guī)定超像素面積Ms與指示掩膜面積Mm之比＞0.8為優(yōu)化掩膜。如圖4所示。通過優(yōu)化掩膜生成最小包圍矩形框進(jìn)行追蹤，如圖5所示。

圖4 優(yōu)化掩膜

圖5 追蹤框

2.4 損失函數(shù)

3 實(shí)驗(yàn)結(jié)果

使用VOT數(shù)據(jù)集的評(píng)價(jià)方法作為評(píng)測標(biāo)準(zhǔn)。VOT數(shù)據(jù)集使用準(zhǔn)確率（accuracy）和魯棒性（robustness）作為評(píng)價(jià)標(biāo)準(zhǔn)的基本計(jì)算單位。準(zhǔn)確率計(jì)算公式如下：

VOT數(shù)據(jù)集包含60種圖片序列，包含了光照變化、部分遮擋、鏡頭縮放、目標(biāo)外表形變等情況。一個(gè)優(yōu)秀的追蹤算法應(yīng)該具有較高的期望平均重疊率和平均準(zhǔn)確率，較低的平均魯棒性。

表2展示了本文算法與在VOT2018數(shù)據(jù)集的評(píng)價(jià)基準(zhǔn)下的追蹤算法CSRDCF、DaSiamRPN、SiamRPN的指標(biāo)對(duì)比。

表2 算法指標(biāo)對(duì)比

在準(zhǔn)確率方面，本文提出的算法準(zhǔn)確率為0.575，在四個(gè)算法中居于首位，并且對(duì)比基于相關(guān)濾波算法CSRDCF高出0.104。這說明深度卷積神經(jīng)網(wǎng)絡(luò)比相關(guān)濾波器提取出的特征更加有效，能更好地表征目標(biāo)。

圖6展示了四種追蹤算法在rabbit和fernando圖片序列下的追蹤效果。Rabbit序列中追蹤目標(biāo)為兔子，它和背景的雪顏色高度相似。因此，四種算法都產(chǎn)生了不同程度的漂移，DasiamRPN和CSRDCF生成的目標(biāo)框內(nèi)不包含目標(biāo)，追蹤失敗。本文提出的算法相比SiamRPN更好地標(biāo)識(shí)出了目標(biāo)所在位置。Fernando序列中追蹤目標(biāo)為暹羅貓，其外觀會(huì)產(chǎn)生劇烈變化，干擾算法進(jìn)行追蹤。得益于通過掩膜生成目標(biāo)框的特性，本文提出的算法相比較其他算法更加精準(zhǔn)地定位出目標(biāo)的整體情況。

圖6 追蹤對(duì)比

4 結(jié)語

基于孿生網(wǎng)絡(luò)結(jié)構(gòu)的算法具有追蹤效果好，網(wǎng)絡(luò)結(jié)構(gòu)簡單，實(shí)時(shí)性好的優(yōu)點(diǎn)，本文基于孿生網(wǎng)絡(luò)結(jié)構(gòu)，提出將超像素與目標(biāo)掩膜相結(jié)合進(jìn)行追蹤的方法。利用卷積神經(jīng)網(wǎng)絡(luò)生成的初級(jí)掩膜作為指示，使用超像素分割目標(biāo)和背景進(jìn)行掩膜優(yōu)化。使用掩膜的最小包圍矩形框代替了傳統(tǒng)的邊界框，提高了目標(biāo)追蹤的準(zhǔn)確率。在VOT數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與當(dāng)前主流追蹤算法相比，將超像素與孿生網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合進(jìn)行目標(biāo)追蹤，具有提升目標(biāo)追蹤效果的能力。