胡正平，石 巍，謝榮路（燕山大學(xué)信息科學(xué)與工程學(xué)院，河北秦皇島066004）

多特征聯(lián)合的尺度和方向自適應(yīng)meanshift跟蹤算法

胡正平?，石 巍，謝榮路
（燕山大學(xué)信息科學(xué)與工程學(xué)院，河北秦皇島066004）

摘 要：經(jīng)典meanshift跟蹤算法因其具有計(jì)算量小、實(shí)時性強(qiáng)等優(yōu)點(diǎn)而得到廣泛應(yīng)用。但在目標(biāo)發(fā)生縮放、旋轉(zhuǎn)、光照變化以及目標(biāo)顏色與周圍背景顏色難以區(qū)分等情況下，經(jīng)典meanshift算法的魯棒性不佳，目標(biāo)定位精度不高，算法穩(wěn)定性不好。鑒于此，本文提出一種聯(lián)合顏色和紋理直方圖表示的meanshift算法，其中本文用到的局部二值模式LBP是基于分塊思想改進(jìn)的紋理算子，有效地提取邊緣和角點(diǎn)等主要目標(biāo)模式來更加精煉地表示目標(biāo)；另外，通過有效利用目標(biāo)候選區(qū)域的矩信息，來解決跟蹤目標(biāo)運(yùn)動中尺度和方向的變化的問題。通過不同場景視頻跟蹤實(shí)驗(yàn)表明，與經(jīng)典meanshift算法及改進(jìn)前的聯(lián)合特征表示方法相比，文中提出的改進(jìn)算法在上述復(fù)雜場景下的目標(biāo)跟蹤具有更高的穩(wěn)定性和魯棒性。

關(guān)鍵詞：目標(biāo)跟蹤；meanshift算法；LBP；顏色直方圖；尺度變化

0　引言

實(shí)時目標(biāo)跟蹤是計(jì)算機(jī)視覺和模式識別領(lǐng)域中的熱點(diǎn)問題，受到國內(nèi)外學(xué)者的廣泛關(guān)注，在視覺導(dǎo)航、智能交通、視頻監(jiān)控、人機(jī)交互及運(yùn)動目標(biāo)分析和識別等領(lǐng)域得到廣泛應(yīng)用。視頻目標(biāo)跟蹤主要指對視頻連續(xù)圖像序列中被跟蹤目標(biāo)的實(shí)時準(zhǔn)確定位，在實(shí)際跟蹤過程中經(jīng)常受到多種因素的影響，因此不少算法被提出用來解決由于噪聲、遮擋、背景混亂以及前景目標(biāo)或背景環(huán)境發(fā)生變化等復(fù)雜情況下的跟蹤問題。在眾多的跟蹤算法中，meanshift跟蹤算法由于其簡單和實(shí)時有效性被越來越多的學(xué)者所采用。隨著時間的推移，meanshift算法這種無參數(shù)密度估計(jì)快速匹配算法的優(yōu)勢漸漸凸顯出來，吸引大量國內(nèi)外學(xué)者對其不斷改進(jìn)，同時也結(jié)合其他方法對跟蹤進(jìn)行優(yōu)化。

Meanshift概念最初是由Fukunage和Hostetler在數(shù)據(jù)聚類問題中首先提出的［1］，最初的含義即為偏移的均值向量。隨著研究者們對理論研究的不斷推進(jìn)，meanshift的理論意義被定義為一個不斷迭代和收斂的過程，對此作出重大貢獻(xiàn)的Cheng Y將meanshift算法引入到圖像處理領(lǐng)域中［2］，并定義了一簇核函數(shù)，使得隨著樣本與被偏移點(diǎn)距離不同，產(chǎn)生的偏移矢量對中心均值偏移向量的貢獻(xiàn)也不同，此外還設(shè)置了一個權(quán)重系數(shù)，令不同樣本點(diǎn)的重要性不同。Bradski G對meanshift算法進(jìn)行改進(jìn)并應(yīng)用到動態(tài)視頻序列的人臉跟蹤中［3］。顏色信息作為目標(biāo)一個相對穩(wěn)定的描述特征，對目標(biāo)在運(yùn)動中的平移、旋轉(zhuǎn)和尺度變化甚至發(fā)生小部分遮擋等變化時不敏感，因此基于顏色信息的目標(biāo)跟蹤方法引起研究者的關(guān)注［4?8］。顏色直方圖是對圖像像素點(diǎn)的概率統(tǒng)計(jì)模型，文獻(xiàn)［9］以顏色直方圖為特征，通過對圖像二值化模板的水平和垂直投影進(jìn)行分塊，將候選區(qū)域各塊與對應(yīng)模板中各塊相似性加權(quán)并引入到meanshift算法中，提出給予多核目標(biāo)跟蹤框架，此方法降低計(jì)算復(fù)雜度，但當(dāng)背景顏色與目標(biāo)顏色相近時，僅用顏色直方圖作為特征容易造成跟蹤中漂移現(xiàn)象發(fā)生。文獻(xiàn)［10］提出一種融合顏色直方圖及SIFT特征的自適應(yīng)分塊目標(biāo)跟蹤方法，該方法改善了僅用顏色信息作為特征的單一性和非魯棒性。Kim T等人［11］針對塊匹配算法在目標(biāo)發(fā)生非剛性形變或與背景模板相似情況下的局限性，提出目標(biāo)外形輪廓和視頻背景特征分析結(jié)合的目標(biāo)跟蹤方法，形狀控制點(diǎn)規(guī)律的分布在目標(biāo)邊緣輪廓上，該形狀邊界信息可以較好區(qū)分目標(biāo)和周圍背景區(qū)域，保留高質(zhì)量控制點(diǎn)，剔除偏離的形狀控制點(diǎn)，從而，對目標(biāo)突然移動或特征的突然改變實(shí)現(xiàn)良好跟蹤。文獻(xiàn)［12］提出基于角點(diǎn)特征與顏色特征融合meanshift目標(biāo)跟蹤算法，兩種特征融合形成目標(biāo)模型與候選模型的概率密度估計(jì)直方圖，并且計(jì)算每一幀圖像每個像素點(diǎn)所占的融合系數(shù)，對目標(biāo)區(qū)域中心位置進(jìn)行更新，這種算法可以克服目標(biāo)運(yùn)動時產(chǎn)生的偏移現(xiàn)象，并且在發(fā)生局部遮擋時實(shí)現(xiàn)穩(wěn)定跟蹤。

本文提出基于顏色和紋理特征（LBP）相結(jié)合的目標(biāo)框尺度自適應(yīng)meanshift跟蹤算法，在傳統(tǒng)meanshift算法僅用到顏色信息的情況下，引入一種基于塊的具有均勻旋轉(zhuǎn)不變性的改進(jìn)的紋理特征描述子（B?LBP），構(gòu)建紋理特征直方圖，并與顏色直方圖進(jìn)行融合，組成一種新的目標(biāo)表示模型。改進(jìn)的LBP特征只著重考慮目標(biāo)區(qū)域內(nèi)關(guān)鍵點(diǎn)，將可以對目標(biāo)區(qū)域與周圍背景進(jìn)行區(qū)分的邊緣和角點(diǎn)等重要紋理信息重點(diǎn)考慮，對圖像紋理特征中相對平坦區(qū)域不作為重點(diǎn)考慮以減少特征維度，降低計(jì)算量，并且本文對圖像特征提取是在原圖像的低頻分量上進(jìn)行的，通過實(shí)驗(yàn)證明這種提取方法對實(shí)驗(yàn)效果有所改善。因此，與傳統(tǒng)mean?shift算法中僅用RGB顏色空間對目標(biāo)進(jìn)行表示相比，該方法有效利用目標(biāo)空間結(jié)構(gòu)信息，從而實(shí)現(xiàn)以更少的均值偏移迭代次數(shù)達(dá)到更好的跟蹤效果，更加魯棒地應(yīng)對背景中各種干擾及復(fù)雜場景中的噪聲。

1　傳統(tǒng)meanshift目標(biāo)跟蹤算法

1.1目標(biāo)模型表示

文獻(xiàn)［13］首先提出基于核函數(shù)的視頻目標(biāo)跟蹤算法，利用顏色核直方圖作為目標(biāo)特征的描述，并用Bhattacharyya系數(shù)作為相似性度量標(biāo)準(zhǔn)。｛x?i｝i＝1，2，…，n是目標(biāo)區(qū)域歸一化像素位置，目標(biāo)模型q和目標(biāo)模型的特征概率分布分別表示為

q＝｛qu｝u＝1，2，…，m，（1）

其中，m為特征直方圖bin的個數(shù)，δ（·）為Kronecker delata函數(shù)，b（x?i）為像素點(diǎn)x?i與直方圖bin的映射，k（·）為核函數(shù)，歸一化常數(shù)C的定義為

相應(yīng)地，當(dāng)前幀候選模型p（y）及概率分布模型pu（y）分別為

這里，pu（y）表示候選模型中特征u的概率，nh為候選目標(biāo)區(qū)域中像素總數(shù)，｛xi｝i＝1，2，…，nh表示以y為中心點(diǎn)的目標(biāo)候選區(qū)域中各像素點(diǎn)位置，h為核函數(shù)帶寬，Ch為歸一化常數(shù)。

為了計(jì)算當(dāng)前候選模型與目標(biāo)模型之間的置信度，一種對歸一化直方圖p（y）和qu二者相似性進(jìn)行度量的Bhattacharyya系數(shù)定義如下：

p（y）與q之間的Bhattacharyya距離定義為

1.2meanshift跟蹤

最小化Bhattacharyya距離等價于最大化Bhattacharyya系數(shù)，以前一幀目標(biāo)中心位置y0為起始點(diǎn)開始迭代優(yōu)化。在pu（y0）處用Taylor級數(shù)展開，只保留一階展開式部分，得到Bhattacharyya系數(shù)ρ［p（y），q］的線性近似式為

這里，

由式（9）可知，式中第一部分與y無關(guān)，故將第二部分最大化，可得meanshift算法迭代公式

其中，g（x）＝－k′（x）。每一幀中首先初始化y0，計(jì)算ωi，重復(fù)式（11）的計(jì)算，直到‖yi＋1－yi‖＜ε或大于預(yù)設(shè)的最大迭代次數(shù)，ε為預(yù)設(shè)的大于0的正數(shù)，從而最終得到目標(biāo)位置。

2　LBP與改進(jìn)的LBP算子

2.1LBP

局部二值模式LBP（Local Binary Pattern）是描述圖像局部紋理特征的算子，提取的信息是圖像的局部紋理特征。在灰度圖像中，以任意像素點(diǎn)nc為中心，在半徑為R（R＝1或R＝2）的環(huán)形鄰域上，P（P＝8或P＝16）個像素點(diǎn)均勻分布。本文中所有LBP算子是在3×3的窗口內(nèi)討論的，以窗口中心像素灰度值gc為閾值，將相鄰的8個像素灰度值gp（p＝1，2，…，8）與其進(jìn)行比較，若周圍像素值大于閾值，則該像素點(diǎn)位置記為1，否則為0。由此可以得到一個8位的二進(jìn)制數(shù)，每一位乘以相應(yīng)的權(quán)重系數(shù)求和累加即為LBP值

其中，

局部紋理特征計(jì)算過程如圖1所示。

圖1　局部紋理計(jì)算過程Fig.1　Calculation process of LBP

則中心像素點(diǎn)處紋理特征編碼為1＋2＋8＋16＋128＝155。由此可知，對圖像中每個像素點(diǎn)經(jīng)過原始LBP運(yùn)算得到的是一幅與原圖像相同大小的新圖像，即為圖像的特征。但該特征有局限性，每個像素與周圍像素的位置信息密切相關(guān)，一旦目標(biāo)發(fā)生旋轉(zhuǎn)會產(chǎn)生誤差。式（12）的紋理模型具有灰度尺度不變性，但不具有等價性和旋轉(zhuǎn)不變性。

2.2LBP改進(jìn)算法

視頻是由一連串相關(guān)聯(lián)的圖像組成，而每一幀圖像就是一個二維信號，包含不同的頻率成分，如圖2所示。亮度變化小的區(qū)域是低頻成分，如圖2（b），描述整體信息；亮度變化小的區(qū)域是低頻成分，如圖2（b）所示，描述整體信息；亮度變化劇烈的區(qū)域是高頻成分，如圖2（c）所示，描述目標(biāo)物體的邊緣、紋理等具體細(xì)節(jié)。對于經(jīng)典mean?shift算法及本文中進(jìn)行對比的聯(lián)合顏色和紋理特征的M2算法均是針對圖像整體進(jìn)行討論的。本文提出的算法是在原圖像進(jìn)行低頻處理的圖像上進(jìn)行塊處理的改進(jìn)的具有等價旋轉(zhuǎn)不變性的LBP算法。

圖2　圖像高頻成分和低頻成分提供的信息Fig.2　Information of high?frequency and low?frequency component of the image

圖像中每個像素點(diǎn)可以產(chǎn)生圖1（b）所示8位二進(jìn)制序列，對該序列進(jìn)行旋轉(zhuǎn)可以產(chǎn)生不同的二進(jìn)制序列模式，在半徑為R的圓形區(qū)域內(nèi)含有P個采樣點(diǎn)的LBP算子會產(chǎn)生2p種模式。隨著鄰域內(nèi)采樣點(diǎn)數(shù)增加，二進(jìn)制模式的種類會急劇增加，過多的模式種類對于紋理的提取、識別、分類及信息存取均不利。為了解決該問題，提高統(tǒng)計(jì)性，文獻(xiàn)［14］中Ojala提出了一種“等價模式”（Uniform Pat?ern）來對圖像LBP特征進(jìn)行降維。Ojala等認(rèn)為，在實(shí)際圖像中，大多數(shù)LBP算子產(chǎn)生的二進(jìn)制序列最多只包含兩次從1到0或從0到1的跳變，因此當(dāng)某個LBP所對應(yīng)的循環(huán)二進(jìn)制序列中從0到1或從1到0最多只有兩次跳變時，該LBP所對應(yīng)的二進(jìn)制序列即為一個等價模式。通過這樣改進(jìn)，同一幅圖像各像素點(diǎn)所組成的二進(jìn)制序列種類大大減少，并且不會丟失信息，模式數(shù)量由原來的2p中減少為p（p－1）＋2種，對于3×3鄰域內(nèi)8個采樣點(diǎn)來說，二進(jìn)制模式由原來的256種減少為58種，由此特征向量的維數(shù)得以減少。

針對原始的LBP算子在目標(biāo)發(fā)生旋轉(zhuǎn)或搖晃的情況下判斷出現(xiàn)誤差，文獻(xiàn)［14］提出具有灰度尺度和旋轉(zhuǎn)不變等價LBP紋理模型

這里，

上標(biāo)riu2代表了旋轉(zhuǎn)不變等價模式，它表示LBP數(shù)是旋轉(zhuǎn)不變的且在空間上0與1變換次數(shù)少于2，U（x）是用來度量用二進(jìn)制數(shù)表示的LBP值在空間上0與1模式的變換次數(shù)。至此，這種模式將LBP模式種類減少到P＋1種，所有的非旋轉(zhuǎn)不變等價模式都被歸為P＋1類。

由圖3可知，以上8個二進(jìn)制序列是經(jīng)過依次旋轉(zhuǎn)一位得到的，因此這8種LBP模式最終得到的具有旋轉(zhuǎn)不變性的LBP值為最小值15，即圖中8種LBP模式均由同一種模式00001111替代。當(dāng)P＝8，R＝1時，共有9種等價紋理模式，這9種紋理模式對應(yīng)5種常見的紋理結(jié)構(gòu)，包括邊緣、角點(diǎn)、線端、斑點(diǎn)和平坦區(qū)域，見圖4。

圖3　旋轉(zhuǎn)不變的LBP模式Fig.3　Rotation invariant pattern of LBP

圖4　圖像中出現(xiàn)的紋理特征Fig.4　Texture pattern of the image

由此可以將圖像中目標(biāo)物體的每個像素點(diǎn)計(jì)算出一個相應(yīng)的LBP值，當(dāng)P＝8，R＝1時，取值范圍為0～9，相應(yīng)地得到目標(biāo)物體的紋理直方圖。然而，直接聯(lián)合顏色和紋理直方圖與僅基于顏色直方圖表示目標(biāo)相比并未明顯改善跟蹤效果，特別是當(dāng)目標(biāo)與背景相似時，將所有紋理模式進(jìn)行考慮無法較好地區(qū)分目標(biāo)與背景。在目標(biāo)表示中，邊緣、線端和角稱為“主要等價模式”，代表目標(biāo)的主要紋理特征，而點(diǎn)和平坦區(qū)域稱為“次要等價模式”，是目標(biāo)次要的紋理特征。于是，考慮在進(jìn)行特征統(tǒng)計(jì)時著重統(tǒng)計(jì)主要特征，通過下式提取目標(biāo)主要等價模式：

3　聯(lián)合顏色特征及改進(jìn)LBP紋理特征的meanshift跟蹤

傳統(tǒng)的meanshift算法只利用顏色信息進(jìn)行目標(biāo)跟蹤。后來，Ojala等人提出具有等價旋轉(zhuǎn)不變性的紋理特征，在此基礎(chǔ)上本文提出了在圖像低頻成分上基于塊思想的具有等價的旋轉(zhuǎn)不變性LBP算法。進(jìn)而，聯(lián)合RGB顏色通道對目標(biāo)進(jìn)行描述，利用式（2）、（5）計(jì)算顏色和紋理分布的目標(biāo)模型——聯(lián)合直方圖，該直方圖維數(shù)為8×8×8× 5，前3個維數(shù)代表了顏色通道量化維數(shù)，第4個參數(shù)為改進(jìn)的LBP特征維數(shù)，目標(biāo)描述如圖6所示。

圖5　圖像降維處理過程Fig.5　Process of image dimensional reduction

圖6　目標(biāo)的特征描述Fig.6　Feature description of the target

4　目標(biāo)框的尺度自適應(yīng)

在實(shí)際視頻圖像中，隨著運(yùn)動的進(jìn)行目標(biāo)可能變大也可能縮小，跟蹤窗口大小固定不變不能適應(yīng)目標(biāo)形變，必然會引入更多的背景像素使跟蹤性能下降甚至導(dǎo)致跟蹤失敗。因此，本文考慮隨著跟蹤過程中目標(biāo)尺度自適應(yīng)變化，跟蹤框也需要隨之自適應(yīng)變化。

盡管視頻中目標(biāo)大小可能會發(fā)生變化，但是在連續(xù)幀中目標(biāo)的變化是逐漸進(jìn)行的，由此可以利用前一幀目標(biāo)信息來求取當(dāng)前候選目標(biāo)區(qū)域。如文獻(xiàn)［15］所述，目標(biāo)候選區(qū)域內(nèi)每個像素點(diǎn)的權(quán)值表示其屬于目標(biāo)的概率，而該區(qū)域內(nèi)所有像素點(diǎn)權(quán)值之和被認(rèn)為是該區(qū)域內(nèi)目標(biāo)的權(quán)值面積，該面積可以用統(tǒng)計(jì)學(xué)概念中的零階矩表示：

Bhattacharyya系數(shù)表示的是目標(biāo)模型q和候選模型p（y）間相似度的參數(shù)。Bhattacharyya系數(shù)的減小意味著在候選目標(biāo)區(qū)域中更多特征來自背景，而更少特征來自目標(biāo)，反之亦然。文獻(xiàn)［15］認(rèn)為，Bhattacharyya系數(shù)可以用來調(diào)整當(dāng)前幀目標(biāo)區(qū)域面積A的大小，公式如下：

這里，c（ρ）是關(guān)于Bhattacharyya系數(shù)ρ（0?ρ?1）的單調(diào)遞增函數(shù)。表達(dá)式如下：

上一幀通過meanshift迭代算法尋找到最優(yōu)目標(biāo)區(qū)域作為當(dāng)前幀的跟蹤結(jié)果，通過公式（17）計(jì)算出當(dāng)前幀候選目標(biāo)區(qū)域面積，同時由上一幀得到最優(yōu)目標(biāo)區(qū)域的一階矩，二階矩估計(jì)目標(biāo)框的寬、高和方向。上一幀最優(yōu)目標(biāo)區(qū)域二階矩為

這里（xi，1，xi，2）為候選區(qū)域像素點(diǎn)i的坐標(biāo)。由式（17）、（20）和（21）得到當(dāng)前候選區(qū)域中心坐標(biāo)（x1，x2）為

由式（17）、（20）、（21）和（22）得到二階中心矩：

將上式寫成協(xié)方差矩陣形式

對式（24）進(jìn)行奇異值分解：

協(xié)方差矩陣變?yōu)?/p>

綜上，當(dāng)前幀目標(biāo)的位置以及目標(biāo)框的大小和方向便確定了，接下來需要確定下一幀中目標(biāo)候選區(qū)域位置。由式（28）定義了式（29）的協(xié)方差矩陣來表示下一幀中目標(biāo)候選區(qū)域大?。?/p>

這里，Δd為下一幀目標(biāo)候選區(qū)域的增量，而下一幀中候選目標(biāo)的初始位置由下面的橢圓區(qū)域表示：

綜上，多特征聯(lián)合的尺度自適應(yīng)跟蹤算法步驟如下：

1）初始化：計(jì)算目標(biāo)模型q，并在前一幀中目標(biāo)位置y0處初始化目標(biāo)候選模型；

2）初始迭代次數(shù)k←0；

3）在當(dāng)前幀中計(jì)算候選模型p（y0）；

4）由式（10）計(jì)算得到權(quán)重向量｛ωi｝i＝1，…，n；

5）通過式（11）計(jì)算候選目標(biāo)新的位置y1；

6）令d←‖y1－y0‖，y0←y1，k←k＋1，設(shè)置偏差閾值ε（本文默認(rèn)ε＝0.05），最大迭代次數(shù)N （N＝15）；

7）如果d＜ε或k?N，則停止跟蹤，跳轉(zhuǎn)到步驟（8），否則返回到步驟（3）；

8）利用式（28）計(jì)算候選目標(biāo)模型寬度、高度和方向角，調(diào)整搜索窗口大小，并更新核函數(shù)；

9）通過式（30）估計(jì)下一幀候選目標(biāo)初始區(qū)域。

5　實(shí)驗(yàn)仿真與分析

為驗(yàn)證本文提出的多特征聯(lián)合的尺度自適應(yīng)跟蹤算法的魯棒性和優(yōu)越性，本文選用4段視頻進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)均在同一臺計(jì)算機(jī)上進(jìn)行，配置為AMD AthlonⅡX2 255處理器，主頻3.11 GHz，內(nèi)存1.75 GB，仿真軟件為MATLAB R2010a。本文采用3種模型進(jìn)行對比，M1表示本文提出的聯(lián)合顏色和紋理信息的尺度自適應(yīng)meanshift算法，M2表示的是只有顏色和紋理信息進(jìn)行聯(lián)合meanshift算法，目標(biāo)框不會隨著目標(biāo)尺度變化而變化，M3表示只有顏色信息的meanshift算法。

第一組實(shí)驗(yàn)是基于高山滑雪視頻Ski進(jìn)行的，該視頻共計(jì)85幀，分辨率為320×480。目標(biāo)在運(yùn)動過程中沒有發(fā)生大的尺度改變，背景單一，目標(biāo)顏色與周圍背景可以明顯區(qū)分，3種模型均能對目標(biāo)進(jìn)行跟蹤。實(shí)驗(yàn)結(jié)果分別截圖如圖7所示。

圖7　對高山滑雪視頻跟蹤結(jié)果截圖Fig.7　Screenshots of the alpine skiing video tracking results

從跟蹤結(jié)果來看，3種算法均可實(shí)現(xiàn)實(shí)時跟蹤，其中M1算法跟蹤框的位置最為精確。當(dāng)目標(biāo)發(fā)生微小的尺度變化時，跟蹤框可以隨之自適應(yīng)尺度變化，而M2及M3算法由于不具備自適應(yīng)尺度變化，隨著目標(biāo)移動及尺度變換跟蹤框會發(fā)生輕微漂移，使得下一幀進(jìn)行meanshift迭代時需要迭代更多次，從而耗費(fèi)更多時間。3種算法跟蹤滑雪運(yùn)動員的每幀迭代次數(shù)如圖8所示，總體上看，算法M1優(yōu)于M2和M3。

圖8　高山滑雪視頻中3種算法迭代次數(shù)對比Fig 8. Iterations comparison of the three algorithms on tracking the skier

第二組實(shí)驗(yàn)是基于花樣滑冰視頻figure skat?ing4，該視頻共計(jì)74幀，分辨率為320×480。該段視頻主要驗(yàn)證在目標(biāo)發(fā)生較大形變情況下的跟蹤情況。3種算法模型跟蹤視頻截圖如圖9所示。

圖9　對花樣滑冰視頻跟蹤結(jié)果截圖Fig.9　Screenshots of the figure skating video tracking results

由上述實(shí)驗(yàn)可知，花樣滑冰運(yùn)動員在運(yùn)動過程中身體發(fā)生較大形變，這對跟蹤算法的準(zhǔn)確度和穩(wěn)定性有很大的挑戰(zhàn)，M2和M3算法雖然在整體上能夠跟上目標(biāo)，但是由于目標(biāo)框的大小不能自適應(yīng)變化，導(dǎo)致了對目標(biāo)外形的描述不夠準(zhǔn)確，計(jì)算時包含了很多背景像素，使計(jì)算效率變低，且框的位置發(fā)生偏移。相反，M1算法對此種情況跟蹤則具有好的魯棒性。如表1所示，從平均迭代次數(shù)上看M1優(yōu)于其他兩種算法。

第三組實(shí)驗(yàn)基于越野摩托車視頻Motor，該視頻共計(jì)285幀。視頻中目標(biāo)與周圍背景顏色區(qū)分不明顯，目標(biāo)運(yùn)動過程中發(fā)生一定的尺度變化，且存在部分遮擋現(xiàn)象。M1、M2及M3這3種跟蹤算法視頻截圖如圖10所示。

由上述實(shí)驗(yàn)可知當(dāng)摩托車行駛過程中背景變化較為明顯，當(dāng)前景目標(biāo)與背景顏色信息相差很大時，M1算法下目標(biāo)框的最正，M2與M3跟蹤效果相差不大，框的位置基本相同。但當(dāng)視頻進(jìn)行到140幀左右時，由于背景顏色與前景顏色區(qū)別不大，導(dǎo)致M3算法下目標(biāo)框位置發(fā)生較嚴(yán)重的漂移，而由于M2結(jié)合了紋理信息，相比M3跟蹤穩(wěn)定性稍好。本文提出的M1算法效果明顯好于M2 和M3，并且在整個視頻序列都表現(xiàn)出優(yōu)于后兩者的穩(wěn)定性和準(zhǔn)確性。

第四組實(shí)驗(yàn)是基于NBA比賽視頻，從中截取101幀進(jìn)行目標(biāo)跟蹤實(shí)驗(yàn)。場景中，籃球運(yùn)動員身著綠色和白色兩隊(duì)球衣，運(yùn)動員跑動中身體發(fā)生遮擋、形變以及個別幀光線的急劇變化，并且同組運(yùn)動員交叉跑動中球衣顏色和花紋基本相近為跟蹤增加了很大難度。3種算法實(shí)驗(yàn)結(jié)果截圖如圖11所示。在本文算法中，若目標(biāo)在候選框中所占面積不足1/3，則判定該目標(biāo)跟蹤丟失，其中，利用M2算法對球員進(jìn)行跟蹤時在視頻的第26幀丟失目標(biāo)，利用M3算法對球員進(jìn)行跟蹤時在視頻的第22幀丟失目標(biāo)。

由圖11可知，僅用顏色信息的M3算法最快丟失目標(biāo)，M2算法雖然略好于M1但是也很快丟失目標(biāo)。本文提出的M1算法在整段視頻中可以跟蹤上目標(biāo)，在光線急劇變化后的個別幀中出現(xiàn)目標(biāo)框迅速變小的現(xiàn)象，且有3幀目標(biāo)框出現(xiàn)漂移現(xiàn)象，但很快就恢復(fù)了跟蹤，并且在后續(xù)幀中可以穩(wěn)定地跟蹤目標(biāo)，這證明了本文算法的優(yōu)越性和穩(wěn)定性（M2，M3算法在后續(xù)跟蹤中將目標(biāo)跟丟，故迭代次數(shù)均以設(shè)置的迭代閾值15來計(jì)算）。

為了更進(jìn)一步比較M1～M3算法的性能，本文基于6段不同場景的視頻對提出的改進(jìn)算法進(jìn)行驗(yàn)證。為節(jié)省篇幅，除了上述4段視頻外，另外兩段視頻的實(shí)驗(yàn)截圖不在此文中給出。但實(shí)驗(yàn)過程中收斂快慢對比由表2給出。

圖11　NBA比賽視頻跟蹤結(jié)果截圖Fig.11　Screenshots of NBA game video tracking results

6　結(jié)束語

本文提出聯(lián)合顏色和改進(jìn)的LBP算子的目標(biāo)尺度自適應(yīng)meanshift算法，在Ojala提出的具有旋轉(zhuǎn)不變性的LBP紋理算子的基礎(chǔ)上，本文提出的基于塊思想的LBP特征表示方法，只利用原始圖像的低頻分量有效的提取圖像的局部紋理特征，并利用圖像權(quán)重的矩信息來估計(jì)目標(biāo)在運(yùn)動過程中的尺度與方向，在多個不同場景環(huán)境下對本文提出的改進(jìn)算法進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，與經(jīng)典meanshift跟蹤算法和聯(lián)合了顏色及降維后的LBP算子的meanshift算法相比，改進(jìn)的算法能有效適應(yīng)目標(biāo)的形狀和尺度變化，并能對背景顏色與目標(biāo)顏色相似的復(fù)雜場景中運(yùn)動的目標(biāo)進(jìn)行可靠魯棒的跟蹤。

參考文獻(xiàn)

［1］Fukunaga K Hostetler L D.The estimation of the gradient of a den?sity function with applications in pattern recognition J .IEEE Transaction on Information Theory 1975 21 1 32?40.

［2］Cheng Y.Mean shift mode seeking and clustering J .IEEE Trans?actions on Pattern Analysis and Machine Intelligence 1995 17 8 790?799.

［3］Bradski G.Computer vision face tracking for use in a perceptual user interface J .Intel Technology Journal 1998 2 1?15.

［4］Withagen P Schutte K Groen F.Likelihood?based object detection and object tracking using color histograms and EM C //Proceed?ings of IEEE International Conference on Image Processing Roch?ester NY USA 2002 1 589?592.

［5］Lee J H Lee W H Jeong D S.Object tracking cethod using back?pro?jection of multiple color histogram models J .//Proceedings of IEEE International Symposium on Circuits and Systems 2003 2 668?671.

［6］Li P H.An adaptive binning color model for mean?shift tracking J .IEEE Transactions on Circuits and Systems for Video Technology 2008 18 9 1293?1299.

［7］Shen Hongying Sun Shuifa Ma Xianbing et al.Comparative study of color feature for particle filter based object tracking C //Inter?national Conference on Machine Learning and Cybernetics ICMLC Xian Shaanxi China 2012 3 1104?1110.

［8］Jansari D Parmar S Saha G.Real?time object tracking using color?based probability matching C //IEEE International Conference on Signal Processing Computing and Control ISPCC Shimla HP India 2013 1?6.

［9］Fang Jiang?xiong Yang Jie Liu Hua?xiang.Efficient and robust fragments?based multiple kernels tracking J .International Journal of Electronics and Communications 2011 65 11 915?923.

［10］董文會 常發(fā)亮 李天平.融合顏色直方圖及SIFT特征的自適應(yīng)分塊目標(biāo)跟蹤方法 J .電子與信息學(xué)報(bào) 2013 35 4 770?776.

［11］Kim T Lee S Paik J.Combined shape and feature?based video analysis and its application to non?rigid object tracking J .IET Im?age Proceesing 2011 5 1 87?100.

［12］宋丹 趙保軍 唐林波.融合角點(diǎn)特征與顏色特征的Mean?Shift目標(biāo)跟蹤算法 J .系統(tǒng)工程與電子技術(shù) 2012 34 1 199?203.

［13］Comaniciu D Ramesh V Meer P.Kernal?based object tracking J .IEEE Transactions on Pattern Analysis and Machine Intelligence 2003 25 5 564?575.

［14］Ojala T Pietikainen M Maenpaa T.Multiresolution gray?scale and rotation invariant texture classification with local binary pattern J .IEEE Transactions on Pattern Analysis and Machine Intelligence 2002 24 7 971?987.

［15］Ning Jifeng Zhang Lei Zhang D et al.Scale and Orientation Adaptive Mean Shift Tracking J .IET Computer Vision 2012 6 1 52?61.

Combined multi?feature scale and direction adaptive meanshift tracking algorithm

HU Zheng?ping SHI Wei XIE Rong?lu
School of Information Science and Engineering Yanshan University Qinhuangdao Hebei 066004 China

AbstractThe meanshift tracking algorithm has been widely applied in visual tracking due to its well known merits such as the small amount of calculation and real?time.However when the scale orientation and illumination of target s changes and the color of the background is similar to the target the robustness of the traditional meanshift algorithm is poor and the accuracy of target location is not high as well as the algorithm stability is not good.For this reason an improved meanshift tracking method is proposed in the pa?per.In this algorithm a novel feature histogram is proposed which fuses the color and improved block LBP histograms as the repre?sentation of the tracked object it can extract the main information like the edge and the corner of the object.Besides with the help of moment information from the candidate object area it can solve the problem of the changes of the scale and direction of the tracked object during the tracking process.Compared with the traditional meanshift tracking algorithm and the combine feature algorithm which is changed before the proposed tracking algorithm achieves more stability and robustness in the complex condition.

Key wordstarget tracking meanshift algorithm LBP color histogram scale variation

文章編號：1007?791X（2015）03?0254?15

作者簡介：?胡正平（1970?），男，四川儀隴人，博士，教授，博士生導(dǎo)師，主要研究方向?yàn)閳D象處理，Email：hzp＠ysu.edu.cn。

基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目（61071199）；河北省自然科學(xué)基金資助項(xiàng)目（F2010001297）

收稿日期：2015?01?14

DOI：10.3969/j.issn.1007?791X.2015.03.010

文獻(xiàn)標(biāo)識碼：A

中圖分類號：TP391.41