王業(yè)祥,朱文球,孫文靜

(1.湖南工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,湖南 株洲 412007;2.智能信息感知及處理技術(shù)湖南省重點(diǎn)實(shí)驗(yàn)室，湖南 株洲 412007)

0 引 言

目標(biāo)跟蹤的研究在計(jì)算機(jī)視覺和模式識別中一直是一個(gè)熱點(diǎn)，是各種高級處理如場景理解、行為識別的基礎(chǔ)，在智慧工廠、智能安防系統(tǒng)及智能人機(jī)交互等新興產(chǎn)業(yè)中應(yīng)用廣泛。但是如何提高目標(biāo)跟蹤在遮擋、形變、光照變化等復(fù)雜環(huán)境下的魯棒性一直是一個(gè)亟待解決的難點(diǎn)。

近年來，稀疏表示理論[1]已經(jīng)應(yīng)用到包括目標(biāo)跟蹤在內(nèi)的大量計(jì)算機(jī)視覺任務(wù)中，包括圖像去噪[2]、人臉識別[3]、圖像修復(fù)[4]等領(lǐng)域。由于基于稀疏表示的目標(biāo)觀測模型對環(huán)境的變化具有一定的魯棒性，因此，用稀疏表示解決復(fù)雜場景下的目標(biāo)跟蹤問題具有較大的研究價(jià)值。稀疏表示應(yīng)用于目標(biāo)跟蹤時(shí)，將跟蹤問題的求解轉(zhuǎn)化為在模板空間中尋求一個(gè)稀疏近似解。Zhong等[5]提出將目標(biāo)模板集和候選模板集進(jìn)行對比，并把差異度最高的樣本作為目標(biāo)，但是其用兩個(gè)獨(dú)立的稀疏表示模型需要對候選樣本集進(jìn)行兩次稀疏求解，理論難度增大的同時(shí)也增加了算法的計(jì)算量。Zhuang等[6]用候選樣本集稀疏表示目標(biāo)正負(fù)模板集，構(gòu)建目標(biāo)模板和樣本之間的距離概率相似圖，由此確定真實(shí)目標(biāo)。但是該方法必須使用大量的過完備候選樣本集，而且當(dāng)目標(biāo)發(fā)生漂移時(shí)，不能對正負(fù)模板集及時(shí)更新，造成概率相似圖不準(zhǔn)確以致跟蹤效果下降。

對傳統(tǒng)稀疏表示模型的研究發(fā)現(xiàn)，正向稀疏表示正負(fù)目標(biāo)模板集對候選樣本集的重構(gòu)，反向稀疏表示候選樣本集對正負(fù)目標(biāo)模板集的重構(gòu)，基于以上理論首先提出雙向稀疏[7]表示模型框架。該模型以L1范數(shù)[8]來約束正反稀疏表示重構(gòu)誤差，通過加速逼近梯度(accelerating approximation gradient，APG)算法求得正反稀疏系數(shù)矩陣；在目標(biāo)模板和候選模板的距離度量上，傳統(tǒng)歐氏距離(Euclidian distance，ED)對光照變化、遮擋比較敏感，從而造成局部權(quán)重的不準(zhǔn)確性。因此，文中提出改進(jìn)的局部權(quán)重距離度量算法，把最優(yōu)跟蹤目標(biāo)劃分為16個(gè)局部塊，每個(gè)局部塊賦一個(gè)局部距離權(quán)重度量值，根據(jù)局部權(quán)重度量值更精確地確定候選樣本集與正負(fù)目標(biāo)模板集的相似程度；最后，將該算法與其他算法進(jìn)行比較。

1 相關(guān)內(nèi)容

1.1 貝葉斯跟蹤框架

(1)

P(xt-1|Zt-1)dxt-1

(2)

P(xt|xt-1)=N(xt;xt-1,σ)

(3)

其中，P(xt|xt-1)是相鄰幀的轉(zhuǎn)移模型，服從高斯分布。對目標(biāo)進(jìn)行仿射變換，即用6個(gè)仿射變換參數(shù)來表示目標(biāo)的狀態(tài)：x={x,y,θ,s,α,φ}，其中x和y分別表示目標(biāo)水平和垂直方向的平移，θ,s,α,φ分別表示目標(biāo)狀態(tài)的旋轉(zhuǎn)角度、尺度變化、比例變化及傾斜角度。P(zt|xt)表示觀測似然模型，可由候選樣本在稀疏映射表對正負(fù)模板的區(qū)分度來決定。

1.2 傳統(tǒng)歐氏距離度量

則目標(biāo)模板t∈Rp×1和候選樣本y∈Rp×1之間的歐氏距離度量可表示為：

(4)

(5)

圖1 部分遮擋下傳統(tǒng)歐氏權(quán)重分布

2 改進(jìn)的局部權(quán)重距離度量

(6)

強(qiáng)分類器由五個(gè)弱分類器組成，首先獲取上一幀跟蹤目標(biāo)每個(gè)像素的RGB特征值u,u∈R3×1，以及樣本正負(fù)標(biāo)記值(-1和+1)等參數(shù)，然后根據(jù)參數(shù)對每個(gè)弱分類器進(jìn)行訓(xùn)練，每個(gè)弱分類器通過權(quán)重線性平方回歸來預(yù)估計(jì)每個(gè)像素的正負(fù)標(biāo)記，最后得到一個(gè)強(qiáng)分類器F(uj),uj∈R3×1,j=1,2,…,Z。其中j表示跟蹤目標(biāo)的像素索引，Z表示跟蹤目標(biāo)像素的總個(gè)數(shù)。那么，第t-1幀的整體置信圖sj根據(jù)式(7)計(jì)算：

sj=1/exp(-Ft(uj)),j=1,2,…,Z

(7)

其中，F(xiàn)t(uj)是第t-1幀，負(fù)樣本區(qū)域?yàn)?，正樣本區(qū)域?yàn)?0,1]。

得到第t-1幀的整體置信圖后，就容易得到第t幀跟蹤目標(biāo)局部塊的相似性局部距離權(quán)重Wi。

(8)

其中，∑sj表示屬于第i個(gè)局部塊的權(quán)重。

由置信圖分配的局部權(quán)重距離在遮擋的區(qū)域分配較小的權(quán)重，在目標(biāo)區(qū)域則分配較大的權(quán)重。后續(xù)幀目標(biāo)跟蹤的局部權(quán)重距離dl(t,y)為：

(9)

(10)

式(10)說明改進(jìn)的局部權(quán)重距離度量具有約束性。

當(dāng)然，為了適應(yīng)目標(biāo)外觀變化的隨機(jī)性難題，就必須解決分類器的更新問題。文中的分類器更新策略如下：

(11)

3 雙向稀疏表示

3.1 模型建立

目標(biāo)模板集由m個(gè)正模板和n個(gè)負(fù)模板組成：T={tj∈Rp×1},j=1,2,…,q，m+n=q。文中用RGB顏色特征來跟蹤目標(biāo)，p是每一個(gè)模板的特征維度。那么目標(biāo)模板集可表示為：

(12)

傳統(tǒng)正向稀疏表示是目標(biāo)模板集T對候選模板集y的稀疏表示：

(13)

其中，αi為第i個(gè)樣本的稀疏表示向量且αi∈Rq×1，α∈Rq×r；yi為第i個(gè)候選樣本；r為候選樣本集個(gè)數(shù)；λ1為懲罰項(xiàng)?？筛鶕?jù)αi求得觀測似然函數(shù)并求出yi的接受概率；同理，逆稀疏表示模型是候選樣本集y對目標(biāo)模板集T的稀疏表示：

(14)

其中，βj為第j個(gè)目標(biāo)模板的稀疏表示向量且βj∈Rr×1，β∈Rr×q；Tj為第j個(gè)目標(biāo)模板；q為目標(biāo)模板集個(gè)數(shù)；λ2為懲罰項(xiàng)。可根據(jù)βj求得觀測似然函數(shù)并求出Tj的接受概率。

正反向稀疏表示都需要計(jì)算各自稀疏表示稀疏矩陣，雖然分別基于正反向稀疏表示的跟蹤框架也取得了比較好的跟蹤效果，但是它們的稀疏系數(shù)矩陣是通過幾次迭代收斂得到的，與最優(yōu)目標(biāo)仍有一定的誤差。

通過對比研究發(fā)現(xiàn)，樣本集合y與目標(biāo)模板集合T之間的相關(guān)性是一個(gè)固有屬性，那么稀疏系數(shù)矩陣α和β之間的相關(guān)性也是一個(gè)固有屬性，即矩陣α和β之間具有某種相似性，文中添加如下限制性條件：

‖α-βΤ‖2≤η,s.t.α≥0,β≥0

(15)

基于這一條件，構(gòu)造雙向稀疏表示目標(biāo)跟蹤框架：

β‖2+λ1‖α‖1+λ2‖β‖1}

(16)

其中，ψ是懲罰項(xiàng)。

基于雙向稀疏框架完全考慮了正反稀疏系數(shù)矩陣之間的相關(guān)性，實(shí)驗(yàn)證明雙向稀疏比單向稀疏表示能更好地跟蹤目標(biāo)。

對于求解正向稀疏表示系數(shù)矩陣α和逆向稀疏系數(shù)矩陣β的問題，文中采用APG[10]快速算法框架。

3.2 觀測似然值的求解

文中用正負(fù)目標(biāo)模板的差異度進(jìn)行觀測似然函數(shù)的求解，稀疏系數(shù)矩陣α的每一列可作為候選樣本在目標(biāo)模板上的區(qū)分度，同理，稀疏矩陣β的每一行亦可。與其他傳統(tǒng)目標(biāo)跟蹤算法一樣，為了得到更好的區(qū)分度，使用式(9)改進(jìn)的局部權(quán)重距離計(jì)算目標(biāo)模板集與候選樣本集之間的局部權(quán)重距離，得到q×r個(gè)權(quán)重集合：

i=1,2,…,q,j=1,2,…,r,z=1,2,…,N

(17)

(18)

當(dāng)然，每個(gè)稀疏映射表可化簡為：

(19)

考慮到負(fù)模板個(gè)數(shù)較多，使用池化方法簡化對稀疏映射表的運(yùn)算：

(20)

其中，L(f,l)是取f這個(gè)函數(shù)中第l大的數(shù)，文中l(wèi)值取正模板個(gè)數(shù)的一半；Si-pos與Si-neg分別表示第i個(gè)候選模板與前l(fā)個(gè)正負(fù)模板之間的關(guān)系。

(21)

(22)

3.3 模板在線更新

j=1,2,…,mi=1,2,…,N

(23)

對于負(fù)模板的更新，文中用與目標(biāo)相差甚大的候選模板更新為負(fù)模板。在當(dāng)前幀結(jié)束時(shí)，利用上一幀跟蹤目標(biāo)的中心點(diǎn)坐標(biāo)來確定候選模板集，并以此候選模板集來替代更新負(fù)模板集。

4 實(shí)驗(yàn)結(jié)果及分析

文中算法用Matlab編寫。相關(guān)參數(shù)如下：分類器更新常數(shù)ψ=0.2,正向模板更新常數(shù)τ=0.1，正模板、負(fù)模板以及候選模板個(gè)數(shù)分別為10、100和500，每個(gè)模板圖像大小為32×32像素，分為16個(gè)8×8像素的局部塊。為了驗(yàn)證該算法的性能，現(xiàn)與增量視頻跟蹤[11](IVT)、加速逼近梯度跟蹤[12](APGL1)、分解視頻跟蹤[13](VTD)、多實(shí)例學(xué)習(xí)[14](MIL)、基于片段的跟蹤[15](frag)五種經(jīng)典方法進(jìn)行性能對比，實(shí)驗(yàn)所用視頻也均為挑戰(zhàn)性的經(jīng)典序列。

4.1 定性分析

如圖2所示，在Deer視頻序列中，剛開始Frag和L1開始出現(xiàn)漂移，在第18幀時(shí)，MIL也開始出現(xiàn)跟蹤目標(biāo)丟失，只有VTD和文中算法跟蹤效果較好。Singer序列第107幀時(shí)受強(qiáng)烈的光照影響，只有IVT、VTD和文中算法跟蹤比較穩(wěn)定，隨后隨著目標(biāo)的縮小，只有文中算法準(zhǔn)確跟蹤到目標(biāo)。在Face中，當(dāng)目標(biāo)受到嚴(yán)重遮擋時(shí)，MIL算法首先跟蹤失敗，其他算法良好。從圖中可以看出，文中算法一直準(zhǔn)確跟蹤到目標(biāo)，其余算法在不同的視頻系列中效果差強(qiáng)人意，產(chǎn)生明顯的漂移甚至跟蹤失敗，因此文中算法優(yōu)于其他五種算法。

4.2 定量分析

文中應(yīng)用中心位置誤差和重疊率來衡量各種算法的性能。平均中心位置誤差越小，跟蹤效果越好，反之越差。從表1可看出，文中算法在不同視頻序列中，其中心位置誤差均最小，性能最優(yōu)。

圖2 跟蹤結(jié)果對比

圖3 重疊率對比

表1 中心位置誤差對比

5 結(jié)束語

文中提出了一種基于雙向稀疏表示及改進(jìn)的權(quán)重度量算法，利用過完備字典和候選目標(biāo)來互相表示，通過正負(fù)稀疏矩陣計(jì)算候選目標(biāo)的正負(fù)相異度作為觀測似然值；在模板度量上采用改進(jìn)的歐氏距離權(quán)重度量方法，采用分類器權(quán)重迭代及分塊思想解決傳統(tǒng)相似性度量問題。實(shí)驗(yàn)結(jié)果證明了文中算法具有較好的跟蹤性能。但是算法在目標(biāo)瞬間劇烈抖動(dòng)時(shí)跟蹤性能一般，下一步重點(diǎn)解決此問題，以提高算法的適應(yīng)性。

參考文獻(xiàn):

[1] 孫君頂，趙慧慧.圖像稀疏表示及其在圖像處理中的應(yīng)用[J].紅外技術(shù),2014，36(7):533-537.

[2] 孫玉寶,韋志輝,吳 敏,等.稀疏性正則化的圖像泊松去噪算法[J].電子學(xué)報(bào),2011,39(2):285-290.

[3] 謝文浩,翟素蘭.基于加權(quán)稀疏近鄰表示的人臉識別[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016,26(2):22-25.

[4] 李志丹,和紅杰,尹忠科,等.結(jié)合顏色和梯度信息的稀疏圖像修復(fù)算法[J].計(jì)算機(jī)研究與發(fā)展,2014,51(9):2081-2093.

[5] ZHONG W.Robust object tracking via sparsity-based collaborative model[C]//Proceedings of the 2012 IEEE conference on computer vision and pattern recognition.Washington DC,USA:IEEE Computer Society,2012:1838-1845.

[6] ZHUANG B,LU H,XIAO Z,et al.Visual tracking via discriminative sparse similarity map[J].IEEE Transactions on Image Processing,2014,23(4):1872-1881.

[7] 王 華,王 倩,顧 鑫,等.基于雙向稀疏光流融合的小目標(biāo)檢測方法[J].電視技術(shù),2016,40(3):122-125.

[8] MEI X,LING H.Robust visual tracking using l1 minimization[C]//IEEE international conference on computer vision.[s.l.]:IEEE,2009:1436-1443.

[9] 徐 濤,曾 濤，崔智社.基于貝葉斯推理的目標(biāo)跟蹤[J].計(jì)算機(jī)仿真,2004,21(5):74-77.

[10] CHEN X,PAN W,KWORK I T, et al. Accelerated gradient

method for multi-task sparse learning problem[C]//Proceedings of the 2009 ninth IEEE international conference on data mining.Washington DC,USA:IEEE Computer Society,2009:746-751.

[11] ROSS D A,LIM J,LIN R S,et al.Incremental learning for robust visual tracking[J].International Journal of Computer Vision,2008,77(1-3):125-141.

[12] BAO C,WU Y,LING H.Real time robust L1 tracker using accelerated proximal gradient approach[C]//IEEE conference on computer vision & pattern recognition.Washington DC,USA:IEEE Computer Society,2012:1830-1837.

[13] KWON J,LEE K M.Visual tracking decomposition[C]//IEEE conference on computer vision and pattern recognition.Washington DC,USA:IEEE Computer Society,2010:1269-1279.

[14] BABENKO B,YANG M,BELONGIE S.Visual tracking with online multiple instance learning[C]//IEEE conference on pattern analysis and machine intelligence.Washington DC,USA:IEEE Computer Society,2009:983-990.

[15] ADAM A,RIVLIN E,SHIMSHONI I.Robust fragments-based tracking using the integral histogram[C]//IEEE conference on computer vision and pattern recognition.Washington DC,USA:IEEE Computer Society,2006:798-805.