周 帥, 秦明偉, 侯寶臨

(1.西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621010；2.特殊環(huán)境機(jī)器人技術(shù)四川省重點試驗室，四川 綿陽 621010)

結(jié)合局部差分的CamShift動目標(biāo)跟蹤算法

周 帥1,2, 秦明偉1,2, 侯寶臨1,2

(1.西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621010；2.特殊環(huán)境機(jī)器人技術(shù)四川省重點試驗室，四川 綿陽 621010)

CamShift算法具有計算量小、對目標(biāo)形變適應(yīng)能力強(qiáng)、執(zhí)行效率高等優(yōu)點，其在圖像處理領(lǐng)域具有重要地位。但僅采用顏色直方圖作為目標(biāo)特征，忽略目標(biāo)位置信息，會造成該算法在目標(biāo)形態(tài)調(diào)整的過程中容易將顏色相似的背景納入跟蹤目標(biāo)，從而發(fā)散甚至跟蹤漂移。針對這一現(xiàn)象，提出了一種結(jié)合局部差分的CamShift跟蹤算法，以進(jìn)一步改善該算法的實際應(yīng)用效果。改進(jìn)后的算法首先結(jié)合MeanShift迭代結(jié)果和擴(kuò)展后統(tǒng)計區(qū)域的背景差分結(jié)果，綜合判斷移動物體的中心位置、長度、寬度等信息；然后通過此信息對運(yùn)動目標(biāo)形態(tài)變化的調(diào)整進(jìn)行約束，使調(diào)整后的范圍更加符合實際情況。試驗結(jié)果顯示，改進(jìn)后的算法能夠在復(fù)雜背景下準(zhǔn)確地鎖定跟蹤目標(biāo)，證明了結(jié)合局部背景差分技術(shù)的CamShift算法可以在增加較少計算量的情況下排除相似顏色的干擾，減少了跟蹤過程中出現(xiàn)的不穩(wěn)定現(xiàn)象，提高了算法的準(zhǔn)確性和魯棒性。

圖像處理； CamShift算法； 目標(biāo)跟蹤； 漂移； 魯棒性； 自適應(yīng)； 嵌入式系統(tǒng)

0 引言

CamShift算法在MeanShift跟蹤算法的基礎(chǔ)上，結(jié)合顏色域的高階矩信息，對跟蹤物體的形狀進(jìn)行調(diào)整。該算法能夠更加準(zhǔn)確地判斷出物體在當(dāng)前圖像中的形狀和位置，進(jìn)而提高跟蹤的準(zhǔn)確性。它不僅保留了MeanShift算法的實時性和魯棒性，而且增加了對物體形變的適應(yīng)能力，更加符合實際情況[1]。由于CamShift算法良好的跟蹤性能，先后有很多學(xué)者對其進(jìn)行了優(yōu)化，以進(jìn)一步提高算法的跟蹤性能。如覃躍虎等提出的建立色調(diào)、飽和度、明度(hue，saturation，value，HSV)空間中H、V和物體邊緣梯度三個信息分量的直方圖，并根據(jù)背景模型動態(tài)地調(diào)整三個分量的權(quán)值，最終確定跟蹤目標(biāo)的位置，大大提高了算法跟蹤的準(zhǔn)確度[2]；路寧結(jié)合加速穩(wěn)健特征(speeded up robust features,SURF)算法對經(jīng)典CamShift算法進(jìn)行創(chuàng)新、改進(jìn)，結(jié)合跟蹤目標(biāo)的形態(tài)特征，通過抑制較大的位移變化等方法，提高了算法對不同環(huán)境的適應(yīng)性[3]；夏景新等通過引入車輛建模和運(yùn)動預(yù)測的方法，將CamShift算法應(yīng)用到車流量統(tǒng)計、事故監(jiān)測和事故分析中，取得了良好的效果[4]。

然而，大部分的算法改進(jìn)往往引入了更復(fù)雜的算法，或者多角度地反復(fù)調(diào)用CamShift算法，在取得較好跟蹤效果的同時也大大增加了算法的復(fù)雜度和計算量；同時，為了保證算法的實時性，必須提高對處理器的性能要求，這就限制了算法移植到一般嵌入式平臺的可能性。本文針對CamShift算法跟蹤過程中出現(xiàn)漂移現(xiàn)象的關(guān)鍵原因，保留了算法計算量小的優(yōu)點，并結(jié)合局部的背景差分技術(shù)，使得算法能夠更加精確地對物體的形變程度作出判斷，取得了較好的跟蹤結(jié)果。

1 經(jīng)典CamShift跟蹤算法

1.1 CamShift算法實現(xiàn)

CamShift算法的核心仍然是通過迭代算法來確定目標(biāo)的位置[5]，繼而通過調(diào)整目標(biāo)形態(tài)特征來提高準(zhǔn)確性。其實現(xiàn)過程可概述為以下三個步驟。

①生成色彩投影圖。將RGB轉(zhuǎn)化為HSV，并提取出H(色相)通道。H通道包含了幾乎全部的色彩信息，而且對光線的敏感度較弱[6-7]。根據(jù)跟蹤目標(biāo)的色相直方圖，可以獲得視頻中圖像序列在目標(biāo)直方圖下的反向投影圖，作為算法實現(xiàn)的基礎(chǔ)。

②獲取目標(biāo)中心。以上一幀目標(biāo)位置為起點，采用MeanShift向量，迭代出目標(biāo)在新一幀圖像中的位置。當(dāng)相似性滿足預(yù)設(shè)條件或者迭代次數(shù)達(dá)到閾值時，跳出循環(huán)，此時目標(biāo)形狀與上一幀保持一致。

③調(diào)整目標(biāo)形態(tài)。CamShift的特點主要體現(xiàn)在這一步驟。以第二步中求出的中心位置為中心，適當(dāng)擴(kuò)大統(tǒng)計范圍，通過計算統(tǒng)計范圍內(nèi)的顏色高階矩信息，判斷物體的大小、旋轉(zhuǎn)角度等信息并重新計算出中心點。通過不斷調(diào)整搜索窗口，使得每一幀的跟蹤結(jié)果都包含了跟蹤目標(biāo)的最新信息，所以該算法具有持續(xù)適應(yīng)能力。計算過程如下。

(1)

(2)

假設(shè)array(x,y)為對應(yīng)(x,y)點的H值;mij為統(tǒng)計范圍內(nèi)x方向i階、y方向j階顏色矩值。

則調(diào)整后的目標(biāo)旋轉(zhuǎn)角度(θ)、長度(L)和寬度(W)為：

(3)

(4)

(5)

根據(jù)求得的θ、L、W，重新確定物體的位置信息，并通過橢圓對目標(biāo)進(jìn)行標(biāo)定，下一幀圖像采用調(diào)整后的L和W進(jìn)行MeanShift迭代。

1.2 存在的問題

CamShift采用顏色矩信息作為判斷依據(jù)，具有計算量小、對形狀變化不敏感的優(yōu)點，但是沒有考慮像素之間的位置信息、連續(xù)圖像之間的關(guān)聯(lián)信息和物體的運(yùn)動信息，在背景顏色與目標(biāo)相似的情況下不能準(zhǔn)確區(qū)分目標(biāo)和背景[8-9]。CamShift算法通過擴(kuò)大統(tǒng)計范圍來調(diào)整跟蹤目標(biāo)的形狀變化，在無法區(qū)分目標(biāo)和背景的情況下必然會將背景信息統(tǒng)計進(jìn)去，放大了跟蹤目標(biāo)的形狀。包含的背景信息增加，會降低目標(biāo)的信息比重。這不僅將導(dǎo)致對跟蹤目標(biāo)的形狀和具體位置的誤判，且在嚴(yán)重情況下會誤將背景當(dāng)作目標(biāo)而錯過目標(biāo)的移動信息，產(chǎn)生嚴(yán)重的跟蹤漂移現(xiàn)象。通過投影圖，可更容易看到問題出現(xiàn)的原因。

在根據(jù)跟蹤目標(biāo)特征建立的反向投影圖中，與目標(biāo)顏色相近的程度反映為該區(qū)域的亮度。因此，顏色相似區(qū)域給目標(biāo)跟蹤制造了很大的干擾。跟蹤過程中，在目標(biāo)進(jìn)入這些區(qū)域后，將很難準(zhǔn)確判斷目標(biāo)的具體位置和形態(tài)變化情況。本文結(jié)合背景差分的方法，對背景和前景作出識別，以降低誤判的概率，并提高跟蹤的精度和成功率。

2 CamShift跟蹤算法改進(jìn)

2.1 結(jié)合背景差分的算法流程

針對經(jīng)典算法在背景色復(fù)雜和相近時很容易產(chǎn)生誤判的情況，本文通過局部幀間差分法，對擴(kuò)大的統(tǒng)計范圍內(nèi)的像素點變化進(jìn)行統(tǒng)計，判斷出該范圍內(nèi)的像素是否是前景目標(biāo)，以動態(tài)地調(diào)整統(tǒng)計范圍。因為對運(yùn)動目標(biāo)小范圍地進(jìn)行背景差分，不受其他區(qū)域運(yùn)動物體的影響，所以并沒有引入新的干擾因素。相對于固定范圍而言，動態(tài)范圍具有更強(qiáng)的適應(yīng)性。在相似背景位置可以盡量減少背景信息的干擾，而且優(yōu)化過程中不會影響CamShift算法本身對物體形變的適應(yīng)能力。改進(jìn)后的算法流程如圖1所示。圖1中的虛線框為改進(jìn)后添加的流程，其余為經(jīng)典CamShift算法的一般流程。

圖1 改進(jìn)算法流程圖

改進(jìn)CamShift該算法的具體實現(xiàn)過程可分為兩個狀態(tài)來描述。①在沒有跟蹤任務(wù)的狀態(tài)下，建立背景模板，并采用多幀加權(quán)的方式定時更新背景，為背景差分提供背景信息。同時，監(jiān)控鼠標(biāo)、鍵盤的輸入信息，完成目標(biāo)的鎖定和初始化工作。②在跟蹤狀態(tài)下，首先通過MeanShift迭代算法獲得移動物體在新一幀圖像中的中心點位置，目標(biāo)形態(tài)和大小默認(rèn)與上一幀狀態(tài)相同。采用定值的方法擴(kuò)大統(tǒng)計范圍，在擴(kuò)大后的范圍內(nèi)進(jìn)行局部背景差分，判斷前景目標(biāo)的范圍并根據(jù)差分結(jié)果調(diào)整統(tǒng)計范圍。在新的統(tǒng)計范圍內(nèi)運(yùn)用CamShift算法調(diào)整目標(biāo)的形態(tài)，使跟蹤更加精確。當(dāng)MeanShift迭代達(dá)到設(shè)定上限且無法收斂時，即認(rèn)為跟蹤目標(biāo)丟失，退出本次程序。

2.2 算法實現(xiàn)要點

2.2.1 背景建模

背景建模技術(shù)常與背景差分算法相結(jié)合，共同完成對移動目標(biāo)的檢測、識別和分析。采用可靠的背景模型是確保整個系統(tǒng)可靠性的關(guān)鍵[10]。針對不同的應(yīng)用場景和處理需要，有多種成熟的背景建模算法可供學(xué)習(xí)、使用，具體選擇需綜合考慮應(yīng)用環(huán)境、算法復(fù)雜度、穩(wěn)定性等因素。

由于跟蹤應(yīng)用中大部分場景屬于背景靜止但有運(yùn)動前景的環(huán)境，同時本文所針對的一般監(jiān)控環(huán)境需要綜合考慮程序的復(fù)雜度問題，故采用了一種具有學(xué)習(xí)功能的自適應(yīng)建模方法。針對連續(xù)圖像的特點，在程序穩(wěn)定后初次建立背景模型，定時采用新、舊背景加權(quán)和的方式實時更新背景，以保證背景模板在跟蹤任務(wù)啟動時的有效性。學(xué)習(xí)頻率和新背景權(quán)值需要對實際場景進(jìn)行調(diào)試，從而獲得最優(yōu)的值。這里以更新權(quán)值為0.2為例，背景學(xué)習(xí)公式可表示為：

Ib=0.8Ib+0.2I

(6)

在實際測試中，通過調(diào)整得到合適的權(quán)值和頻率，算法可以為跟蹤程序提供可靠的背景模板信息。背景中快速移動的物體對背景模板的影響較小，進(jìn)入背景的靜態(tài)物體也會隨著時間累積更新到背景模板中。為了降低跟蹤目標(biāo)本身對跟蹤效果的影響，在跟蹤轉(zhuǎn)狀態(tài)下可以停止學(xué)習(xí)或者降低學(xué)習(xí)的頻率。經(jīng)過試驗檢測，采用這種建模方式能夠滿足一般環(huán)境下的建模需要，為跟蹤算法的實現(xiàn)提供了保障。

2.2.2 局部差分實現(xiàn)

為了適應(yīng)物體的形態(tài)變化速度，CamShift算法在調(diào)整物體形態(tài)時往往選擇較大的擴(kuò)大范圍來統(tǒng)計顏色信息，以獲得目標(biāo)的形態(tài)變化參數(shù)。然而在獲得這些信息的同時難免引入了干擾信息，造成算法對相似背景色的影響十分敏感。本文引入動態(tài)設(shè)定統(tǒng)計范圍的思想，根據(jù)局部背景差分的結(jié)果對擴(kuò)大后的統(tǒng)計范圍進(jìn)行調(diào)整，使計算得出的高階矩信息更加具有針對性，也減少了引入相似背景干擾的可能。采用局部差分法可以避免監(jiān)控畫面中其他部分移動物體的干擾，降低了算法的復(fù)雜度；在差分結(jié)果上，通過腐蝕、膨脹的形態(tài)學(xué)濾波方法[11]，可消除局部范圍內(nèi)不穩(wěn)定因素和噪聲的干擾，進(jìn)一步確保前景統(tǒng)計結(jié)果的準(zhǔn)確性。

假設(shè)上一幀圖像中目標(biāo)的范圍為Wo，本幀圖像的實際擴(kuò)大范圍為Wf，經(jīng)過經(jīng)典CamShift算法擴(kuò)展后的范圍為Wc，經(jīng)過本文算法得出的統(tǒng)計范圍為Wn。對范圍進(jìn)行調(diào)整后，排除了部分非前景區(qū)域，保留了物體發(fā)生形變的區(qū)域，既減少了非目標(biāo)信息的影響，又保留了目標(biāo)形態(tài)變化所需要的信息。在具體程序?qū)崿F(xiàn)中，設(shè)定每一個窗口W由左上角頂點坐標(biāo)(x,y)和窗口的長度(l)、寬度(w)確定，array(l,w)為圖像的長和寬，t為預(yù)設(shè)的向四周擴(kuò)展的值。以像素為單位，CamShift中擴(kuò)展后范圍Wc的計算方法如下所示。

(7)

(8)

(9)

(10)

結(jié)合Wc區(qū)域內(nèi)背景差分后的結(jié)果，對擴(kuò)展區(qū)域的范圍進(jìn)行調(diào)整,Wc(i,j)表示W(wǎng)c區(qū)域內(nèi)背景差分結(jié)果經(jīng)二值化、腐蝕、膨脹后坐標(biāo)(i,j)的值。

Wn,x=min(minwc(i,j)!=0i,t)+Wc.x

(11)

Wn,y=min(minwc(i,j)!=0j,t)+Wc.y

(12)

Wn,l=max(maxwc(i,j)!=0i,W.l-t)-Wn.x

(13)

Wn,w=max(maxwc(i,j)!=0j,W.w-t)-Wn.y

(14)

通過遍歷Wc區(qū)域內(nèi)的背景差分結(jié)果，獲得前景區(qū)域的范圍。將前景區(qū)域范圍和上一幀運(yùn)動目標(biāo)區(qū)域Wo作與運(yùn)算，最終得到調(diào)整后的統(tǒng)計范圍Wn。當(dāng)遇到相似顏色干擾時，可以盡量少地引入背景信息，從而得到更加精確的目標(biāo)中心點位置，抑制漂移現(xiàn)象的出現(xiàn)。即使在相似背景色區(qū)域較大的情況下，也能夠?qū)Υ┰狡渲械哪繕?biāo)進(jìn)行準(zhǔn)確跟蹤。

3 試驗結(jié)果與分析

為了驗證改進(jìn)后算法的運(yùn)行效果，本文選取了兩組試驗。試驗均在VS軟件平臺上完成，借助OpenCV 3.0實現(xiàn)視頻的顯示和目標(biāo)圈定。視頻分辨率采用標(biāo)準(zhǔn)VGA分辨率(640×480)，幀率為25 fps。試驗中，通過手動圈定跟蹤目標(biāo)開始跟蹤。當(dāng)目標(biāo)超出監(jiān)控范圍或者跟蹤丟失時退出程序，迭代收斂條件為窗口移動距離小于兩個像素，迭代超過20次即認(rèn)為收斂失敗。兩組試驗背景不同，均分別使用經(jīng)典CamShift和改進(jìn)后的算法對相同的運(yùn)動目標(biāo)進(jìn)行跟蹤，通過實際對比驗證了改進(jìn)后算法性能的優(yōu)化效果。

試驗一為試驗室環(huán)境，背景靜止、簡單、顏色干擾明顯。以光盤為跟蹤目標(biāo)，測試其經(jīng)過大面積相似色干擾區(qū)域時的跟蹤情況。目標(biāo)在進(jìn)入干擾區(qū)域之前，兩組算法跟蹤效果相似；從目標(biāo)進(jìn)入干擾區(qū)域、受到相似背景干擾后，經(jīng)典CamShift跟蹤算法下目標(biāo)區(qū)域開始擴(kuò)散到整個干擾背景。由于背景的相對目標(biāo)更大，所以經(jīng)過調(diào)整后的目標(biāo)被錯誤地鎖定到了背景上，造成目標(biāo)丟失。改進(jìn)后的跟蹤算法可以準(zhǔn)確地跟蹤目標(biāo)，即使在背景色相近的情況下，也能盡可能保證目標(biāo)信息的有效性，抑制了跟蹤區(qū)域的發(fā)散現(xiàn)象。

試驗二采用室外自然環(huán)境，背景相對復(fù)雜。以行駛的白色汽車為跟蹤目標(biāo)，驗證了建模方法的實用性和改進(jìn)后算法對物體形態(tài)變化的調(diào)整能力。過往車輛對建模結(jié)果產(chǎn)生了一定的影響，但仍可以清晰地區(qū)分前景和背景信息，證明了該方法能夠在常規(guī)環(huán)境下建立可用的背景模板。該試驗可以驗證算法在復(fù)雜情況下的穩(wěn)定性。試驗中路標(biāo)、停靠轎車和樹木等造成了復(fù)雜的顏色干擾，目標(biāo)從遠(yuǎn)到近的行駛過程伴隨著移動速度和形態(tài)的改變。通過試驗結(jié)果可以看出，經(jīng)典CamShift跟蹤算法很快開始出現(xiàn)發(fā)散現(xiàn)象，之后不斷擴(kuò)大，最終將樹木包括到跟蹤目標(biāo)中，造成跟蹤失敗。改進(jìn)后的算法能夠準(zhǔn)確地跟蹤目標(biāo)，對跟蹤目標(biāo)的形態(tài)變化仍然保持適應(yīng)能力，但是當(dāng)目標(biāo)速度過快時也會出現(xiàn)漂移現(xiàn)象。這主要是由于汽車逐漸靠近干擾時速度和形狀擴(kuò)大速度過快，導(dǎo)致不能完全跟蹤上目標(biāo)。

4 結(jié)束語

本文通過引入背景建模和背景差分的方法，對經(jīng)典CamShift跟蹤算法提出了新的改進(jìn)。試驗結(jié)果證明，改進(jìn)后的算法明顯地改善了原算法對相似顏色干擾的魯棒性，能在一般環(huán)境下穩(wěn)定運(yùn)行，完成對指定目標(biāo)的初始化、跟蹤和標(biāo)定，具有較好的實時性和準(zhǔn)確性。下一步將對攝像頭轉(zhuǎn)動情況下的CamShift跟蹤算法進(jìn)行改進(jìn)，以提高該算法的實際應(yīng)用能力，并最終實現(xiàn)在嵌入式平臺上的移植。

[1] CHEN C,ZHANG M,QIU K,et al.Real-time robust hand tracking based on camshift and motion velocity[C]//International Conference on Digital Home,IEEE,2014:20-24.

[2] 覃躍虎,支琤,徐奕.基于三維直方圖的改進(jìn)Camshift目標(biāo)跟蹤算法[J].現(xiàn)代電子技術(shù),2014(2):29-33.

[3] 路寧.基于SURF和CamShift的物體跟蹤方法[J].微型機(jī)與應(yīng)用,2012,31(21):40-43.

[4] XIA J,RAO W,HUANG W,et al.Automatic multi-vehicle tracking using video cameras:An improved CAMShift approach[J].Ksce Journal of Civil Engineering,2013,17(6):1462-1470.

[5] 布拉德斯基,劉瑞禎.O'Reilly:學(xué)習(xí)OpenCV(中文版)[M].北京：清華大學(xué)出版社,2009:371-375.

[6] 馬玲,張曉輝.HSV顏色空間的飽和度與明度關(guān)系模型[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2014,26(8):1272-1278.

[7] ELDAHSHAN K,YOUSSEF M,MASAMEER E,et al.Comparison of segmentation framework on digital microscope images for acute lymphoblastic leukemia diagnosis using RGB and HSV color spaces[J].Biotechnology & Bioengineering,2015,2(2):142-145.

[8] CHANG W Y,LAI J S,TENG-YIY U,et al.Pier scour monitoring system by bed-level image tracking[J].International Journal of Sediment Research,2014,29(2):269-277.

[9] 邢藏菊,溫蘭蘭,何蘇勤.TLD視頻目標(biāo)跟蹤器快速匹配的研究[J].小型微型計算機(jī)系統(tǒng),2015,36(5):1113-1116.

[10]DENG G,GUO K.Self-adaptive background modeling research based on change detection and area training[C]// IEEE Workshop on Electronics，2014:59-62.

[11]XIAN J Z,LAN S.An improved relief display effect of image based on edge detection[C]// Seventh International Conference on Measuring Technology and Mechatronics Automation，2015:114-117.

CamShift Tracking Algorithm Combining with Local Background Difference for Moving Target

ZHOU Shuai1，2, QIN Mingwei1，2, HOU Baolin1，2

(1.School of Information Engineering, Southwest University of Science and Technology, Mianyang 621010, China;2. Robot Technology Used for Special Environment Key Laboratory of Sichuan Province, Mianyang 621010, China)

An important position of CamShift algorithm in the field of image processing is established with the advantages of small amount of computation,strong adaptability to target deformation and high execution efficiency.But only using the color histogram as the target feature,ignoring the position information of the target,may cause the background in similar color would be treated as the tracking target in the process of target form adjustment.Aiming at this phenomenon,the CamShift tracking algorithm combining with local difference is proposed to further improve the practical application effects of the algorithm.The improved algorithm firstly combines the results of MeanShift iteration and the background difference of the extended statistical region,to comprehensively judge the central position,length and width of the moving object.Then,with the help of this information,the adjustment for the deformation of the moving target is constrained,and the adjusted range is more in line with the actual situation.The experimental results show that the improved algorithm can accurately track the target under complex background,and prove that the CamShift algorithm combining with local background difference technology can eliminate interference of similar color,with adding less computation,and reduce the instability of tracking process,as well as improve the accuracy and robustness of the algorithm.

Image processing； CamShift algorithm; Target tracking; Drift; Robustness; Self-adaption; Embedded system

資金項目:國防基礎(chǔ)科研計劃資助項目(B3120133002)

周帥(1990—)，男，在讀碩士研究生，主要從事圖像處理技術(shù)、嵌入式系統(tǒng)的研究和應(yīng)用。E-mail：zhoushuaiv@163.com。 秦明偉(通信作者)，男，博士，副教授，主要從事軟件無線電與認(rèn)知無線電、片上網(wǎng)絡(luò)、高速圖像處理系統(tǒng)等技術(shù)的研究。E-mail：qmw_qyq@163.com。

TH6;TP391.9

A

10.16086/j.cnki.issn 1000-0380.201702001

修改稿收到日期：2016-11-22