曹 潔， 解博江， 李 偉， 王進(jìn)花

(1.蘭州理工大學(xué) 計算機(jī)與通信學(xué)院,甘肅 蘭州 730050；2.蘭州理工大學(xué) 電氣工程與信息工程學(xué)院,甘肅 蘭州 730050)

0 引 言

相關(guān)濾波是一種典型的判別式跟蹤方法[1～3]，其在對目標(biāo)建模時同時考慮了目標(biāo)與背景信息，故有較高的跟蹤魯棒性[4]。Mosse方法將相關(guān)濾波概念引入目標(biāo)跟蹤領(lǐng)域中。時空上下文(spatio-temporal context,STC)[5]方法以概率論的方式對相關(guān)濾波方法進(jìn)行了封裝，并在模板更新中對目標(biāo)尺度進(jìn)行了估計。碼移鍵控(code shifting keying,CSK)[6]方法通過核化嶺回歸的方式訓(xùn)練濾波器模板，增強(qiáng)了模板在非線性情況下的有效性。由于相關(guān)濾波原理在特征使用上的限制，故上述各種方法均采用了單一的灰度特征。核相關(guān)濾波(kernelized correlation filtering,KCF)[7]方法在CSK的基礎(chǔ)上，運用高斯核函數(shù)將單通道相關(guān)濾波器擴(kuò)展為多通道，使其能夠使用較為復(fù)雜的梯度方向直方圖(histogram of gradient,HOG)特征進(jìn)行建模。Danelljan M[8]等人將顏色名(color name,CN)特征成功應(yīng)用于核相關(guān)濾波框架中，使之對彩色視頻序列的跟蹤效果得到了有效提升。但上述僅使用單一特征的跟蹤器很難適應(yīng)復(fù)雜多變的場景如目標(biāo)遮擋、光照變化、尺度放縮等，為此許多學(xué)者展開了相關(guān)研究工作[9～11]。但這些改進(jìn)方法均采用多特征對目標(biāo)進(jìn)行建模，雖然提高了跟蹤精度，但各特征被等價看待，未能針對不同場景以及跟蹤情況分析選擇出合適的特征進(jìn)行描述，顯然是不合理的。此外，相關(guān)濾波類算法本身并不具備目標(biāo)的尺度估計能力，研究者們提出了相應(yīng)的解決方案[11～13]但仍有提升空間。

為此，本文在核相關(guān)濾波器的基礎(chǔ)上，利用目標(biāo)圖像的多特征的互補(bǔ)性，通對各特征樣本訓(xùn)練過程中的最小均方損失函數(shù)分別設(shè)定權(quán)重，鑒別性的選擇最優(yōu)和次優(yōu)的兩種特征進(jìn)行決策級融合；在尺度估計上，借鑒在MOSSE基礎(chǔ)上改進(jìn)的DSST(discriminative scale space tracker)[12]方法，加入了一維尺度相關(guān)濾波器實現(xiàn)對最佳尺寸樣本的篩選。

1 核相關(guān)濾波跟蹤原理

1.1 濾波模板訓(xùn)練過程

KCF方法采用了核化嶺回歸方式對濾波模板進(jìn)行訓(xùn)練求解，主要是尋找一個最優(yōu)的函數(shù)f(x)=wTφ(x)使得(1)式中的代價函數(shù)最小

(1)

式中x為輸入大小為M×N的圖像樣本，φ(x)為樣本x通過核函數(shù)向高維空間映射所得到的結(jié)果,w為所要訓(xùn)練求解的濾波模板,yi為輸入樣本xi所對應(yīng)的擬合目標(biāo)，λ為為了防止過出現(xiàn)過擬合現(xiàn)象而添加的懲罰項。

文獻(xiàn)[8]利用循環(huán)矩陣的性質(zhì)及快速傅里葉變換，在頻域中對濾波模板進(jìn)行訓(xùn)練求解，可以得到模板如式(2)的解析解。

(2)

(3)

1.2 目標(biāo)位置響應(yīng)過程

當(dāng)新一幀的圖像獲取后，首先以上一幀目標(biāo)所在坐標(biāo)為中心提取樣本z，再經(jīng)由快速傅里葉變換到頻域后，與已訓(xùn)練好的相關(guān)濾波模板w進(jìn)行響應(yīng)，生成當(dāng)前幀目標(biāo)所在位置的置信圖C，其最大值處即為目標(biāo)所在位置。響應(yīng)過程如式

(4)

2 本文方法

2.1 特征鑒別性分析與融合

本文使用三種互補(bǔ)性的特征即顏色名(CN)、局部二值(local binary patterns,LBP)及方向梯度直方圖(HOG)建立目標(biāo)樣本特征集合Xf，則用特征樣本訓(xùn)練濾波模板的過程(式(1))可改寫為

(5)

(6)

(7)

(8)

2.2 尺度響應(yīng)濾波器

為解決尺度問題，本文參考DSST方法，獨立增加一組一維尺度核相關(guān)濾波器，具體方法如下：

在當(dāng)前第T幀目標(biāo)位置處利用高斯金字塔對目標(biāo)進(jìn)行s層多尺度采樣并用雙線性插值變換將其恢復(fù)成與原跟蹤框尺度相同的M×N大小圖像，提取其HOG特征作為多尺度樣本集xsi，利用式(5)對尺度響應(yīng)濾波器進(jìn)行訓(xùn)練，可得到尺度濾波器模板Ws的解析解為

(9)

(10)

尺度濾波器更新過程如下

(11)

(12)

2.3 模板差異性更新

在相關(guān)濾波框架內(nèi)，文獻(xiàn)[14]發(fā)現(xiàn)相關(guān)響應(yīng)峰值的主旁瓣比(peak to sidelobe ratio,PSR)大小能夠反映出目標(biāo)的跟蹤效果。但受到不同視頻背景雜波的影響，PSR幅值存在差異，因此很難統(tǒng)一定義去判定跟蹤效果。本文在PSR的基礎(chǔ)上通過參考視頻歷史信息所構(gòu)造出的主旁瓣均值比(peak to sidelobe average ratio,PAR)能夠在一定程度上克服該問題。PAR統(tǒng)計方法如下

(13)

式中pt為融合后的置信圖Ct的峰值，其周圍區(qū)域定義為旁瓣，μ和δ分別為旁瓣區(qū)域的均值和標(biāo)準(zhǔn)差。當(dāng)融合所得置信圖Ct的PARt小于遮擋判定閾值U時，表明當(dāng)前幀圖像與目標(biāo)模板間相關(guān)性較弱，目標(biāo)被遮擋的可能性越高，此時應(yīng)該停止模板更新，反之則正常更新模板。差異化模板更新過程如式

(14)

3 實驗與分析

3.1 實驗參數(shù)與評價指標(biāo)

實驗部分所依托的硬件平臺為：3.8 GHz四核Core i7，16 GB內(nèi)存；參數(shù)設(shè)置為：尺度響應(yīng)濾波器參數(shù)與DSST一致；核相關(guān)濾波器與KCF參數(shù)相同；融合權(quán)重更新 取0.2，跟蹤質(zhì)量評判閾值U為1.5。

實驗所采用的視頻序列均來自Benchmark[4]測試集。算法評估方面以國際通用的距離精度(distance precision,DP)、重疊精度(overlap precision,OP)為指標(biāo)進(jìn)行評價。

3.2 特征選擇與融合權(quán)重分析

實驗一為了驗證本文算法在特征選擇及融合權(quán)重分配階段的有效性，以Deer視頻為例對其進(jìn)行分析。結(jié)果如圖1所示。圖1(b)為依據(jù)本文算法在候選特征集合中選擇出的最優(yōu)和次優(yōu)特征，以及其所對應(yīng)的自適應(yīng)融合權(quán)重。

從圖1(a)中可以明顯看出在第24幀及43幀處，三種特征所對應(yīng)的均方損失出現(xiàn)不同程度的波動，最優(yōu)及次優(yōu)特征的選取也出現(xiàn)了更替，如圖1(b)所示。

圖1 特征選擇與融合權(quán)重

結(jié)合圖2，第24幀目標(biāo)因運動模糊造成邊緣結(jié)構(gòu)信息缺失而且存在目標(biāo)與背景間顏色相似，此時邊緣HOG特征及CN特征均不能很好區(qū)分?jǐn)?shù)據(jù)，表現(xiàn)為對應(yīng)特征的跟蹤置信圖在目標(biāo)真實位置附近出現(xiàn)不同程度的噪聲，其中HOG特征置信圖較為發(fā)散，部分位置因受噪聲影響大于真實位置的置信度，如果選用該特征會造成目標(biāo)中心位置的誤判，CN特征的置信圖能夠反映出真實位置，但在真實位置附近及顏色相似的背景區(qū)域出現(xiàn)多個偽峰值，而LBP特征表現(xiàn)最好，從最優(yōu)特征(LBP)和次優(yōu)特征(CN)自適應(yīng)融合的結(jié)果可以看出，融合后的置信圖能夠有效抑制CN特征因背景相似引起的周邊偽峰值區(qū)域，且提高了目標(biāo)真實位置的置信度。

圖2 各特征置信圖

3.3 算法定性分析

實驗二采用定性分析是將本文所提算法與改進(jìn)前的方法在同一視頻中進(jìn)行對比分析，對比結(jié)果如圖3。

圖3 不同場景中算法跟蹤效果對比

1)遮擋場景分析：Coke和Lemming視頻中目標(biāo)均出現(xiàn)不同程度的遮擋273，368幀。其中，Coke中第269幀，目標(biāo)受到遮擋物的干擾，KCF和CN-KCF跟蹤框均出現(xiàn)不同程度偏移，鎖定在邊緣及顏色特征較為明顯的綠葉上。當(dāng)目標(biāo)出現(xiàn)長時間遮擋時，由于KCF容易將遮擋物錯誤的引入模板中；而本文算法實現(xiàn)了模板的差異化更新，有效抑制了目標(biāo)漂移現(xiàn)象的發(fā)生；如Lemming中的368～385幀。

2)光照場景分析：Shaking和Tiger2視頻類似，目標(biāo)均受到了背景光照變化的影響。其中Shaking視頻因光照陰影及光照突變，造成目標(biāo)顏色信息改變及紋理細(xì)節(jié)缺失，導(dǎo)致LBP-KCF和CN-KCF跟蹤框偏移，但此時目標(biāo)仍具有較好的邊緣輪廓特征，使用多特征建模的本文方法能夠有效彌補(bǔ)次優(yōu)特征細(xì)節(jié)的損失，從而實現(xiàn)對目標(biāo)穩(wěn)定的跟蹤。

圖4 尺度變化場景中算法跟蹤效果對比

3)尺度變化場景分析：圖4中CarScale和Women視頻，目標(biāo)存在明顯的尺度變化KCF算法因缺乏目標(biāo)尺度估計能力，當(dāng)目標(biāo)縮小時，容易引入過多的背景噪聲導(dǎo)致跟蹤框滯留；STC只采用了簡單的灰度特征進(jìn)行建模，容易受到相似灰度的遮擋物干擾，從而導(dǎo)致跟蹤精度的下降，如CarScale中的170幀；本文算法和DSST均采用了高斯金字塔構(gòu)建目標(biāo)多尺度模型，在尺度估計上具有一定優(yōu)勢，但在目標(biāo)被大面積遮擋時，DSST目標(biāo)模板因引入遮擋物從而降低尺度估計效果，本文方法對跟蹤質(zhì)量進(jìn)行評價從而實現(xiàn)了模板的差異化更新，有效避免了遮擋物的影響，如CarScale的240幀及Women的288幀所示。

3.3 算法定量分析

實驗三將本文算法與近些年來提出的典型跟蹤方法在Benchmark視頻集中進(jìn)行充分評估，以檢驗所提跟蹤算法的性能，對比所選跟蹤算法具體屬性如表1。

表1 所選算法屬性

圖5為本文算法與所選算法間定量對比分析結(jié)果。本文算法相比未融合前方法(KCF，CN-KCF，LBP-KCF，DSST)在跟蹤精度與重疊率上有著明顯提升，與僅采用HOG，CN特征串聯(lián)的SAMF方法相比跟蹤精度有一定提高，覆蓋域方面則與SAMF相差不大。

圖5 算法定量對比分析

4 結(jié) 論

算法定性定量對比實驗表明:本文所提算法對部分遮擋及光照變化場景具有一定的魯棒性。但目標(biāo)在因完全遮擋而無法被連續(xù)檢測的情況下，本文方法仍存在不足，此問題有待進(jìn)一步研究解決。