劉淑嬌　馮子亮　薛賓田

(四川大學(xué)計(jì)算機(jī)學(xué)院　成都　610065)

?

基于模糊邏輯的多特征融合的SOAMST跟蹤算法*

劉淑嬌馮子亮薛賓田

(四川大學(xué)計(jì)算機(jī)學(xué)院成都610065)

摘要針對(duì)復(fù)雜環(huán)境條件下顏色、光照變化和遮擋對(duì)目標(biāo)跟蹤算法精度和魯棒性的影響,論文提出了基于模糊邏輯多特征融合的SOAMST跟蹤算法。首先,選擇顏色特征和LBP特征對(duì)目標(biāo)進(jìn)行建模,并根據(jù)模糊邏輯算法調(diào)整兩種特征在計(jì)算目標(biāo)質(zhì)心位置和權(quán)重圖像中的權(quán)重;其次,目標(biāo)被遮擋暫時(shí)消失時(shí),根據(jù)SOAMST算法得到上一幀目標(biāo)的狀態(tài)信息,調(diào)用粒子濾波算法對(duì)目標(biāo)位置進(jìn)行預(yù)測(cè),可以避免丟失跟蹤目標(biāo),實(shí)現(xiàn)目標(biāo)連續(xù)跟蹤。實(shí)驗(yàn)表明,論文算法在復(fù)雜環(huán)境條件下能很好地實(shí)現(xiàn)目標(biāo)跟蹤。

關(guān)鍵詞目標(biāo)跟蹤; SOAMST算法; 模糊邏輯; 粒子濾波

Class NumberTP391

1　引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要問(wèn)題,它在智能交通、安防系統(tǒng)和軍事方面的應(yīng)用越來(lái)越廣泛。目前已經(jīng)提出了Mean Shift算法、CAMSHIFT[1]算法、SOAMST算法、卡爾曼濾波算法[2]、粒子濾波[3]等經(jīng)典算法,但這些算法大多只在特定的情況下才跟蹤準(zhǔn)確。如何在復(fù)雜情況下,如光照發(fā)生變化、目標(biāo)被遮擋等情況下快速準(zhǔn)確地跟蹤目標(biāo)依然是研究熱點(diǎn)。

Mean Shift[4～5]算法計(jì)算量小、簡(jiǎn)單易實(shí)現(xiàn),改進(jìn)算法很多;如SOAMST[6]算法就在Mean shift算法的基礎(chǔ)上,具有尺度和方向自適應(yīng)等優(yōu)點(diǎn);在目標(biāo)的大小、方向發(fā)生變化時(shí),目標(biāo)不易丟失。但是在復(fù)雜環(huán)境條件下,依然存在目標(biāo)跟蹤失敗等問(wèn)題[7]。

本文提出的跟蹤算法首先選擇顏色特征和LBP特征建立目標(biāo)模型,在跟蹤過(guò)程中根據(jù)模糊邏輯算法自適應(yīng)地調(diào)節(jié)兩種特征值的比例,以提高跟蹤的準(zhǔn)確性;當(dāng)目標(biāo)被遮擋暫時(shí)消失時(shí),調(diào)用粒子濾波算法進(jìn)行位置預(yù)測(cè),以提高跟蹤的準(zhǔn)確性。

2　SOAMST算法

SOAMST算法是一種尺度和方向自適應(yīng)的Mean Shift跟蹤算法,該算法主要通過(guò)Mean Shift的權(quán)值圖像及目標(biāo)模型和候選模型的Bhattacharyya系數(shù)估計(jì)目標(biāo)的尺寸大小[8]。

通常情況下,視頻相鄰幀中目標(biāo)的變化較小。如果將上一幀中目標(biāo)所在的窗口稍微放大作為當(dāng)前幀的目標(biāo)候選區(qū)域,即使目標(biāo)的尺度和運(yùn)動(dòng)方向有變化,依然可以實(shí)現(xiàn)目標(biāo)跟蹤。SOAMST算法使用密度分布函數(shù)和圖像權(quán)重特征,能很好地估計(jì)目標(biāo)真實(shí)的尺度和運(yùn)動(dòng)方向。

2.1目標(biāo)區(qū)域估計(jì)

目標(biāo)區(qū)域的估計(jì)與候選區(qū)域每個(gè)像素點(diǎn)的權(quán)重系數(shù)有關(guān)。當(dāng)目標(biāo)的大小發(fā)生變化時(shí),通過(guò)使用每個(gè)像素的權(quán)重特征來(lái)獲得目標(biāo)區(qū)域的估計(jì)。

假設(shè)圖1(a)是三種灰度組成的一個(gè)合成目標(biāo),圖1(b)是大于目標(biāo)的候選區(qū)域,圖1(c)、(d)、(e)是分別當(dāng)合成目標(biāo)減少、不變、增大時(shí)計(jì)算的跟蹤結(jié)果。

圖1　目標(biāo)區(qū)域估計(jì)

因?yàn)楹蜻x區(qū)域的每個(gè)像素的權(quán)重代表像素屬于目標(biāo)的可能性,所有像素的權(quán)重之和也就是零階矩,被看作是目標(biāo)候選區(qū)域的目標(biāo)加權(quán)面積。

(1)

式中nk表示候選目標(biāo)的個(gè)數(shù),ωi表示每個(gè)點(diǎn)對(duì)應(yīng)的權(quán)重。

由于背景像素的影響,用零階矩M00估計(jì)出的面積都將大于真實(shí)目標(biāo)的面積。零階矩M00與真實(shí)目標(biāo)的面積差距越大,說(shuō)明目標(biāo)模型和目標(biāo)候選模型的相似度越小,可以看出零階矩M00估計(jì)目標(biāo)面積的可靠性和Bhattacharyya系數(shù)是成正比的。所以可以將零階矩M00和Bhattacharyya系數(shù)結(jié)合起來(lái),求出真實(shí)目標(biāo)面積。用A表示真實(shí)面積,M00表示零階矩,ρ表示Bhattacharyya系數(shù),估計(jì)面積就可以用下面的式子表示:

A=c(ρ)M00

(2)

式中,c(ρ)是關(guān)于Bhattacharyya系數(shù)ρ(0≤ρ≤1)的單調(diào)遞增函數(shù)。M00總是比真實(shí)的目標(biāo)區(qū)域大并且隨著ρ的增加M00單調(diào)接近真實(shí)目標(biāo)區(qū)域。

2.2目標(biāo)的寬度、高度和方向估計(jì)

既然已經(jīng)能夠估計(jì)出目標(biāo)區(qū)域,接下來(lái)需要估計(jì)目標(biāo)的寬度、高度和方向估計(jì)。通過(guò)下面的公式能估計(jì)出圖像的權(quán)重:

(3)

(4)

在候選模型中(xi,1,xi,2)是像素i的坐標(biāo)。y1實(shí)際上是一階矩和零階矩的比值:

(5)

(6)

式(6)可以寫成下面的協(xié)方差矩陣以便估計(jì)目標(biāo)的寬度、高度和方向。

(7)

通過(guò)使用奇異值協(xié)方差矩陣[9]能被分解成如下:

(8)

由于權(quán)重作為可信的密度分布函數(shù),通過(guò)矩陣U估計(jì)出的方向比連續(xù)自適應(yīng)算法更可靠。而且在連續(xù)自適應(yīng)算法,λ1和λ2直接作為目標(biāo)的寬度和高度,SOAMST算法提出更準(zhǔn)確地估計(jì)目標(biāo)的寬度和長(zhǎng)度。

假設(shè)用橢圓形代表目標(biāo),a和b分別代表長(zhǎng)半軸和短半軸的長(zhǎng)度。代替用λ1和λ2代替寬度a和高度b,發(fā)現(xiàn)λ1和λ2的比值非常接近a和b的比值。也就是說(shuō)λ1/λ2=a/b。所以設(shè)a=kλ1和=kλ2,k是比例因子。由于估計(jì)目標(biāo)區(qū)域A,有πab=π(kλ1)(kλ2)。

3　對(duì)SOAMST算法的改進(jìn)

3.1使用模糊邏輯多特征對(duì)目標(biāo)進(jìn)行建模

SOAMST算法建立目標(biāo)模型時(shí)僅使用顏色特征,盡管顏色特征對(duì)目標(biāo)的尺度、方向、視角的依賴性較小,在跟蹤過(guò)程中具有較高的魯棒性,但是當(dāng)跟蹤過(guò)程中背景的顏色和目標(biāo)本身的顏色相近時(shí),按照SOAMST算法得到的候選目標(biāo)中每個(gè)像素點(diǎn)的權(quán)重的誤差會(huì)很大。所以在這種情況下估計(jì)出的目標(biāo)的尺寸和方向也是不準(zhǔn)確的。

為了提高目標(biāo)模型與背景的區(qū)分性,必須在目標(biāo)模型中加入其它特征并且這種特征對(duì)顏色具有不敏感的特性,本文選擇局部紋理特征LBP特征作為第二個(gè)特征加入到目標(biāo)建模中來(lái)提高模型的區(qū)分能力。

在目標(biāo)跟蹤過(guò)程中,需要對(duì)候選目標(biāo)區(qū)域分別計(jì)算顏色直方圖和LBP特征直方圖,然后分別和目標(biāo)直方圖進(jìn)行比較求解相似度,得到相應(yīng)的權(quán)重圖像,最后根據(jù)一定的規(guī)則將這個(gè)兩個(gè)權(quán)重圖像進(jìn)行合并得到最終的權(quán)重圖像,和目標(biāo)的真實(shí)質(zhì)心位置,如下式定義。

ωi=αωi,rgb+(1-α)ω1,lbpy1=αy1,rgb+(1-α)y1,lbp

(0<α<1)

(9)

式中ωi是調(diào)整后的每個(gè)點(diǎn)的權(quán)重,y1是調(diào)整后的質(zhì)心的位置,ωi,rgb,ωi,lbp分別對(duì)應(yīng)每個(gè)點(diǎn)在RGB模型和LBP特征模型情況下的權(quán)重,α用來(lái)調(diào)節(jié)這兩項(xiàng)所占比重。

3.2將SOAMST算法和粒子濾波算法結(jié)合

SOAMST算法的另一個(gè)缺點(diǎn)是當(dāng)目標(biāo)暫時(shí)丟失或者消失時(shí),不能很好估計(jì)目標(biāo)的當(dāng)前位置,并且不能在目標(biāo)重新出現(xiàn)后快速地檢測(cè)出目標(biāo)出現(xiàn)的位置。在實(shí)際的目標(biāo)跟蹤過(guò)程中目標(biāo)發(fā)生旋轉(zhuǎn)或者暫時(shí)被遮擋的情況經(jīng)常出現(xiàn),所以一般的目標(biāo)跟蹤應(yīng)用都應(yīng)該具有處理這種情況的能力。

對(duì)于目標(biāo)暫時(shí)消失的問(wèn)題,本文利用粒子濾波的思想[10～11]解決。以上一幀人臉出現(xiàn)的位置為中心按高斯分布的方式撒一些粒子作為目標(biāo)候選區(qū)域,高斯分布的參數(shù)由上一幀人臉區(qū)域的大小和位置決定。首先根據(jù)狀態(tài)方程,計(jì)算出當(dāng)前幀每個(gè)粒子狀態(tài),然后以每個(gè)粒子與目標(biāo)模型的相似度作為粒子的權(quán)重的系數(shù),對(duì)粒子的狀態(tài)進(jìn)行加權(quán)求和,得到目標(biāo)的當(dāng)前位置和速度。

圖2是基于粒子濾波和SOAMST人臉跟蹤算法流程圖。

圖2　基于粒子濾波和SOAMST人臉跟蹤算法流程圖

4　實(shí)驗(yàn)結(jié)果和分析

使用多組視頻對(duì)算法的有效性進(jìn)行測(cè)試,包括目標(biāo)與背景顏色相似、光照變化和遮擋三種復(fù)雜情況下的跟蹤效果。視頻序列1是目標(biāo)與背景顏色相似,圖3是本文算法的跟蹤結(jié)果。視頻序列2是光照發(fā)生變化,圖4是本文算法的跟蹤結(jié)果。視頻序列3是目標(biāo)被遮擋,圖5是本文算法的跟蹤結(jié)果。

圖3　本文算法的跟蹤結(jié)果

圖4　本文算法的跟蹤結(jié)果

圖5　本文算法的跟蹤結(jié)果

從圖3～圖5中知,本文的方法能有效地跟蹤目標(biāo)。

5　結(jié)語(yǔ)

本文使用模糊邏輯對(duì)多特征目標(biāo)進(jìn)行建模,實(shí)現(xiàn)了多個(gè)特征的互補(bǔ),準(zhǔn)確有效地估計(jì)出目標(biāo)的尺度和方向。當(dāng)目標(biāo)暫時(shí)消失或遮擋時(shí),本文使用粒子濾波實(shí)現(xiàn)目標(biāo)的重新跟蹤。實(shí)現(xiàn)表明,本文方法能有效地跟蹤目標(biāo)。

參 考 文 獻(xiàn)

[1] Bradski G R. Computer Vision Face Tracking For Use in a Perceptual User Interface[J]. IEEE Trans Aerospace & Electronic Systems,1998,q2:214-219.

[2] R E Kalman. A new approach to linear filtering and predictiontheory[J]. J. basicEng. trans. asme,1960,82(1):35-45.

[3] Gordon N J, Salmond D J, Smith A F M. A novel approach to nonlinear and non-Gaussian Bayesian state estimation[J]. IEEE Proceeding,1993,140:107-113.

[4] Cheng Y. Mean Shift, Mode Seeking Clustering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,1995,17:790-799.

[5] D Comaniciu, V Ramesh, P Meer. Real-time Tracking of using Non-rigid Objects using Mean Shift[C]//South Carolina: IEEE Computer Society,2000:2142-2142.

[6] Ning J, Zhang L, Zhang D, et al. Scale and orientation adaptive mean shift tracking[J]. Computer Vision Iet,2012,6(1):52-61.

[7] Srikrishnan V, Nagaraj T, Chaudhuri S. Fragment based trackingfor scale and orientation adaption[C]//India: Sixth Indian Conference on Computer Vision, Graphics & Image Processing,2008:328-335.

[8] Collins RT. Mean-shift blob tracking through scale space[C]//California: IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2003:234-234.

[9] Johnson, Charles R. Topics in matrix analysis[M]. UK: Cambridge University Press,1991:134-231.

[10] Crisan D, Doucet A. A survey of convergence results on particle filtering methods for practitioners[J]. IEEE Trans. on Signal Processing,2002,50(2):736-746.

[11] Doucet A, Freitas J, Gordon N. Sequential Monte Carlo Methods in Practice[M]. New York: Springer,2001:3-14.

收稿日期:2015年10月5日,修回日期:2015年11月20日

作者簡(jiǎn)介:劉淑嬌,女,碩士,研究方向:目標(biāo)檢測(cè)與跟蹤。

中圖分類號(hào)TP391

DOI:10.3969/j.issn.1672-9722.2016.04.016

SOAMST Tracking Algorithm Based on Fuzzy Logic of Multiple Feature Fusion

LIU ShujiaoFENG ZiliangXUE Bintian

(Sichuan University, College of Computer Science, Chengdu610065)

AbstractIn view of the complex environment conditions which are color, illumination changes and occlusion influence target tracking algorithm accuracy and robustness, SOAMST tracking algorithm based on fuzzy logic multiple feature fusion is proposed in this paper. In the first place, a color feature and LBP feature choosen to establish target modeling, and according to the fuzzy logic algorithm the weights of these two characteristics in calculating barycentric position of the target and weight image are adjusted. Then, when the target is occluded and disappeared, the preceding frame of the target state information is obtained, and target positioninvoking particle filter algorithm is forecasted, in this way it can avoid losing track the target, thus realizing continuous target tracking. Experiments show that the algorithm in this paper can well realize target tracking on the complex environment conditions.

Key Wordstarget tracking, SOAMST algorithm, fuzzy logic, particle filter