鄭海超,毛峽 ,梁曉庚,2
(1.北京航空航天大學(xué) 電子信息工程學(xué)院,北京100191; 2.中國空空導(dǎo)彈研究院,洛陽471000)
目標(biāo)成像跟蹤作為近年來一個十分活躍的研究方向,在軍事領(lǐng)域取得了廣泛應(yīng)用,如武器系統(tǒng)的末端制導(dǎo)、飛行器導(dǎo)引控制、光學(xué)和雷達圖像偵察跟蹤等.在軍事領(lǐng)域中,灰度目標(biāo)跟蹤的目的是確定目標(biāo)在圖像序列中的位置和幾何區(qū)域,以便于進一步實現(xiàn)目標(biāo)識別或者目標(biāo)攔截.灰度目標(biāo)跟蹤不同于彩色目標(biāo)跟蹤,主要原因在于這兩種目標(biāo)的內(nèi)在特征存在較大差異[1].彩色目標(biāo)通常含有豐富的顏色及外觀信息,目標(biāo)可識別特征較多.灰度目標(biāo)顏色及紋理等特征信息較少,目標(biāo)與背景難以區(qū)分,這使得跟蹤灰度目標(biāo)的難度大大增加.
目前的大部分目標(biāo)跟蹤算法可以被大致分為兩類:隨機性框架和確定性框架[2-3].確定性框架通常使用梯度下降搜索以使代價函數(shù)達到最小,這類算法的典型是Mean Shift 算法[4-5].一般而言,確定性框架計算效率高,實時性好,但容易陷入局部最值.與之相對,隨機性框架為了更大概率地達到代價函數(shù)的全局最值在搜索過程中引入了一些隨機參數(shù).采用隨機性框架的典型算法是Kalman 濾波算法[6]和粒子濾波算法[7-8].與確定性框架相比,隨機性的搜索方法更加魯棒,但是它們所需的計算量很大,尤其是在高維狀態(tài)空間進行估算時計算量的問題更加突出.在軍事應(yīng)用中,為了滿足實時性的要求,計算效率高的Mean Shift算法得到了更為廣泛的應(yīng)用[3,9].
盡管Mean Shift 算法具有優(yōu)良的性能,但其也具有一定缺點:①由于灰度目標(biāo)所包含的信息較少,目標(biāo)與背景的區(qū)別較小,Mean Shift 算法容易收斂到局部最值,導(dǎo)致跟蹤結(jié)果發(fā)生漂移[10];②Mean Shift 算法對目標(biāo)的旋轉(zhuǎn)變化適應(yīng)性較差[11];③由于缺乏有效的模型更新策略,Mean Shift 算法往往無法適應(yīng)目標(biāo)的尺寸和形狀變化[12].為了解決上述問題,研究者們提出了一些方法改進Mean Shift 算法.如采用級聯(lián)灰度空間來描述目標(biāo)[13]或在似然比函數(shù)中加入局部背景信息[14],以增強Mean Shift 算法區(qū)分目標(biāo)與背景的能力;通過引入目標(biāo)傾角[15]或用協(xié)方差矩陣作為高斯分布的帶寬矩陣[11,16],增強Mean Shift 算法對發(fā)生旋轉(zhuǎn)的目標(biāo)的適用性;通過改變核窗寬度[17],改善Mean Shift 算法對目標(biāo)尺寸和形狀變化的適用性.此外,為了進一步提高Mean Shift 算法的性能,研究者們將Kalman 濾波器與Mean Shift 算法相結(jié)合[18-19],以便同時利用兩種跟蹤框架的優(yōu)點.利用Kalman 濾波器對目標(biāo)進行預(yù)估,再利用Mean Shift 算法進行定位.這種策略不僅降低了Mean Shift 算法在迭代過程中發(fā)散的風(fēng)險,而且對于目標(biāo)被遮擋的情況也能取得較好的跟蹤效果.
雖然上述方法增強了傳統(tǒng)跟蹤算法的魯棒性,但當(dāng)圖像中目標(biāo)發(fā)生劇烈變化時,傳統(tǒng)算法往往無法完成跟蹤.本質(zhì)原因在于傳統(tǒng)跟蹤算法要求相鄰圖像幀之間目標(biāo)的灰度分布保持穩(wěn)定.不幸的是,由于目標(biāo)的快速運動、不規(guī)律的運動軌跡、發(fā)生翻滾或旋轉(zhuǎn)等原因,目標(biāo)在圖像序列中很可能會發(fā)生劇烈變化,但傳統(tǒng)跟蹤算法對這些劇烈變化的灰度目標(biāo)無能為力.
為了實現(xiàn)對劇烈變化灰度目標(biāo)的跟蹤,本文提出了一種基于邊緣信息的目標(biāo)跟蹤算法.本文算法首先利用非線性邊緣檢測技術(shù)得到高質(zhì)量的邊緣信息;其次,提出了一種通過組合邊緣圖像來構(gòu)建特征空間的方法,以解決單一邊緣特征空間不能充分描述目標(biāo)的難題;再次,使用核估計方法在構(gòu)建的特征空間中對目標(biāo)進行建模;在目標(biāo)定位階段,利用Kalman 濾波器對目標(biāo)進行預(yù)估,再由Mean Shift 算法在預(yù)估位置鄰近區(qū)域?qū)崿F(xiàn)目標(biāo)定位;最后,為了進一步提升算法表現(xiàn),提出了一種基于形態(tài)學(xué)的動態(tài)模型更新策略.
選擇合適的特征對于跟蹤算法而言是很重的[20].為了保持目標(biāo)跟蹤的穩(wěn)定性,跟蹤算法必須根據(jù)應(yīng)用目的選擇合適的特征.一般來說,跟蹤特征所擁有的特性最好具有唯一性,這樣在其特征空間中目標(biāo)可以很容易地被區(qū)分開.特征選擇和物體的表征方法是緊密相關(guān)的.比如,顏色常被用于基于直方圖類表征方法的特征,而邊緣常被選為基于輪廓的表征方法的特征.
在灰度目標(biāo)跟蹤算法中最常選用的特征是灰度密度特征,但其在跟蹤劇烈變化的目標(biāo)時有一定的缺陷.首先,由于灰度目標(biāo)所包含的信息不豐富,選擇灰度密度特征時,目標(biāo)與背景的區(qū)別不明顯;尤其是當(dāng)目標(biāo)與背景的灰度分布較為相似時,跟蹤算法很難完成跟蹤任務(wù).其次,由于目標(biāo)的劇烈變化,跟蹤算法很難應(yīng)用已有的目標(biāo)模型去定位目標(biāo)在當(dāng)前圖像中的位置.
與灰度密度特征相比,在跟蹤劇烈變化的灰度目標(biāo)時,邊緣特征具有以下特定優(yōu)點:首先,邊緣特征簡單而準(zhǔn)確,在跟蹤目標(biāo)邊界的算法中,其經(jīng)常被選為特征[20];其次,目標(biāo)的邊界在圖像密度上容易產(chǎn)生很強的變化,采用邊緣特征在跟蹤過程中更容易精確地獲得目標(biāo)區(qū)域.
基于以上原因,本文選擇邊緣特征進行跟蹤,并提出了一種基于邊緣信息的灰度目標(biāo)跟蹤算法,其流程如圖1 所示.接下來本文將對提出的跟蹤算法進行詳細介紹.
圖1 本文算法的流程Fig.1 Flowchart of proposed algorithm
盡管邊緣特征具有很多優(yōu)點,但邊緣容易受到背景噪聲的干擾和遮擋.因此為了保證跟蹤效果,首先要設(shè)法得到高質(zhì)量的邊緣圖像.常用的線性邊緣檢測算子如Sobel、Prewit、Robert 和Laplace等算子在加性高斯噪聲條件下是最優(yōu)解.但在復(fù)雜背景的灰度圖像序列中,其背景噪聲經(jīng)常是非加性高斯的[21],此時線性算子得到的邊緣圖像不盡人意.這種情況下,采用非線性邊緣檢測算法可以有效抑制噪聲并保留圖像中目標(biāo)的形狀和邊緣信息[22],這對實現(xiàn)基于邊緣的跟蹤有重要意義.因此,本文首先引入一種非線性邊緣檢測算法,以獲得高質(zhì)量的邊緣,其流程如圖2 所示.
圖2 非線性邊緣檢測算法流程Fig.2 Flowchart of nonlinear edge detection algorithm
本文采用的非線性邊緣檢測算法分兩步進行:首先,為了凸顯容易受到背景影響的小尺寸目標(biāo)并抑制背景噪聲,選用Sobel 算子對原始圖像邊緣點進行初選[13];其次,利用雙同心圓窗口算子[23]在初選圖像中尋找真正的邊緣.設(shè)I(x,y)為原始灰度圖像,利用Sobel 算子對原始圖像進行水平向和垂直向濾波,得到初選圖像Ix(x,y)和Iy(x,y).在初選圖像中任取一個像素點s(x,y),以s(x,y)為圓心建立兩個同心圓窗口W1(s)和W2(s),其半徑分別為R1和R2,且滿足R1<R2.定義gmax1和gmax2分別為同心圓窗口W1(s)和W2(s)中的灰度最大值,gmin1和gmin2是相應(yīng)窗口中的灰度最小值.定義雙窗口算子為
由于像素點s(x,y)任意選取,則D(s)值可能為正、零或負.邊緣點的確定原則如下:如果D(s)=0,則該像素點是邊緣點;如果D(s)>0,并且沿水平向和垂直向的4 個鄰域中至少有一個像素點處的D(s)<0,則該像素點也是邊緣點.對Ix(x,y)和Iy(x,y)中所有像素點進行上述操作,即可得到最終的邊緣圖像和
單一的邊緣特征空間包含的信息較少,不能有效地區(qū)分目標(biāo)與背景;同時,在單一的邊緣空間里描述目標(biāo)時,噪聲對其影響比較大,跟蹤算法的表現(xiàn)不夠穩(wěn)健.這意味著利用單一邊緣空間來描述灰度目標(biāo)是不充分的.為了克服上述缺點,本文提出了一種通過組合邊緣圖像構(gòu)造特征空間的方法.本文構(gòu)造的特征空間可以增強真實的邊緣并有利于目標(biāo)跟蹤,其具體實現(xiàn)方法如下:將第2 節(jié)中得到的邊緣圖像和作為兩個基本圖像,構(gòu)建一幅合成圖像Is(x,y).對任意一個位置(x,y),假設(shè)其在中對應(yīng)的灰度值為vx,其在中對應(yīng)的灰度值為vy.將vx和vy之中較大的值記為vbig,較小的值記為vsml,則在合成圖像Is(x,y)中對應(yīng)于位置(x,y)的灰度值由式(2)確定:
在一幅圖像中,大部分的像素點都不是邊緣像素點,它們對應(yīng)的vx和vy均為0.因此,如式(2)所示,當(dāng)一個像素點不是邊緣像素點時,它對應(yīng)的vs為0.當(dāng)一個像素點是邊緣像素點時,其對應(yīng)的vx和vy必然不同時為0.如果vx大于vy,則其對應(yīng)的vs被設(shè)定為30;反之,則其對應(yīng)的vs被設(shè)定為120.事實上,vs也可以被設(shè)定為其他數(shù)值.比如,當(dāng)vx>vy時,vs可以被設(shè)定為60 或90;反之,vs可以被對應(yīng)地設(shè)定為150 或180.而且,本文可以將vx>vy時設(shè)定的vs值與vx<vy時設(shè)定的vs值進行對調(diào).特征空間的建立目的是為了增強真實邊緣,本文有多種方式對vs進行設(shè)定.但是,本文在108 個圖像序列上進行了大量實驗,式(2)的形式具有最好的跟蹤表現(xiàn).本文將合成圖像Is(x,y)用作特征空間.圖3 展示了一幅輸入圖像和它對應(yīng)的特征空間.
圖3 一幅輸入圖像和其對應(yīng)的特征空間圖像Fig.3 An input image and its corresponding feature space image
在構(gòu)建的特征空間里,假設(shè)目標(biāo)模型的像素集合為{xi}i=1,2,…,n,目標(biāo)的中心位置為xc.為了滿足實時性要求,對目標(biāo)模型的像素進行量化.定義函數(shù)b(xi):R2→{1,2,…,m},用于表示像素xi的量化特征值.考慮到算法精度和運算量的限制,本文中量化級數(shù)取值為16.
根據(jù)核估計理論,目標(biāo)模型的量化特征概率密度分布可以描述為[5]
同理,對于候選目標(biāo)也可以采用同樣的方法進行描述.設(shè)候選目標(biāo)像素集合為{xi}i=1,2,…,n,中心位置為yc,則候選目標(biāo)的量化特征概率密度分布可描述為
式中:Cr為對應(yīng)于候選目標(biāo)的歸一化常數(shù).
本文中目標(biāo)的定位分為兩個步驟:首先,利用Kalman 濾波器對目標(biāo)進行預(yù)估;其次,在預(yù)估位置鄰近區(qū)域內(nèi)利用Mean Shift 算法進行迭代實現(xiàn)目標(biāo)定位.這種策略既可以減小Mean Shift 迭代過程中的發(fā)散風(fēng)險,又可以提高算法的效率.
目標(biāo)中心在每一幀圖像中的位置構(gòu)成了目標(biāo)運動的軌跡.引入Kalman 濾波器的目的是根據(jù)前一幀目標(biāo)的中心位置預(yù)測當(dāng)前幀中目標(biāo)中心的可能位置.
對于第k 幀圖像,Kalman 濾波器的狀態(tài)向量選取為X(k)=[x(k) y(k) x'(k) y'(k)]T,其中x(k)和y(k)分別表示目標(biāo)中心的水平向坐標(biāo)和垂直向坐標(biāo);x'(k)和y'(k)則分別表示目標(biāo)中心在水平向和垂直向上的速度分量.觀測向量為Y(k)=[xc(k) yc(k)]T,其中xc(k)和yc(k)分別表示目標(biāo)中心在水平向和垂直向上的觀測值.則Kalman 濾波器可以由式(5)和式(6)表示[24]:
式中:W(k)為過程噪聲;V(k)為觀測噪聲.初始值設(shè)為X(0)=[x0y00 0],x0和y0分別表示初始幀中目標(biāo)中心的水平向坐標(biāo)和垂直向坐標(biāo).
Mean Shift 算法核心思想是將目標(biāo)的跟蹤問題近似為一個Mean Shift 最優(yōu)化問題.Mean Shift算法使用Bhattacharyya 系數(shù)來衡量目標(biāo)模型與候選目標(biāo)之間的相似性,其定義為
其中函數(shù)g(x)滿足g(x)= -k'(x),且有
對于劇烈變化的灰度目標(biāo)而言,由于快速運動、不規(guī)律的運動軌跡、發(fā)生翻滾或旋轉(zhuǎn)等原因,目標(biāo)外觀在整個圖像序列上變化較大.因此,固定的目標(biāo)模型不能在整個圖像序列上持續(xù)有效.為了進一步提升算法的性能,本文提出了一種基于形態(tài)學(xué)的動態(tài)模型更新策略,其流程如圖4 所示.
圖4 動態(tài)模型更新流程Fig.4 Dynamic model update process
下面詳細介紹其具體的實現(xiàn)方法.
步驟2 為了讓數(shù)學(xué)形態(tài)學(xué)有更好的表現(xiàn),同時進一步去除背景的邊緣,利用Canny 算子對IG進行濾波得到二值圖像.
步驟3 對進行Canny 濾波后的二值圖像進行先膨脹后腐蝕的形態(tài)學(xué)操作.
步驟4 在特定的搜索區(qū)域內(nèi)找出其中的最大連通域.假設(shè)上一幀中目標(biāo)的長和寬分別為l和w.一般來說,目標(biāo)在相鄰兩幀圖像中的尺寸變化不超過20%.因此,本文在得到的二值圖像中目標(biāo)位置上選取長和寬分別為1.2l 和1.2w 的區(qū)域作為搜索區(qū)域,其示意圖如圖5 所示.
圖5 搜索區(qū)域示意圖Fig.5 Schematic diagram of search area
步驟5 通過確定最大連通域的邊界點即可獲得目標(biāo)的精確區(qū)域,然后利用第3.2 節(jié)所述的目標(biāo)描述方法,即可完成對目標(biāo)模型的更新.
步驟6 在完成了目標(biāo)模型的更新后,還需要更新Kalman 濾波器的迭代參數(shù),這樣可以保證Kalman 濾波器始終以最穩(wěn)定的性能預(yù)測下一幀中的目標(biāo)位置.具體方法是用Mean Shift 迭代得到的目標(biāo)中心替換當(dāng)前幀中Kalman 濾波器的觀測向量.
為了反映跟蹤算法的性能,需要說明跟蹤算法跟蹤效果的表示方法.最常用來表征跟蹤效果的評價準(zhǔn)則是跟蹤誤差,其計算方法如式(10)所示[25]:
式中:Soi為目標(biāo)的真實位置;Sri為跟蹤算法得到的目標(biāo)位置.跟蹤誤差可以反映出每幀圖像中跟蹤結(jié)果與目標(biāo)真實位置之間的誤差,其取值越小越好.為了直觀地體現(xiàn)跟蹤算法對一個序列整體的跟蹤效果,本文使用平均跟蹤誤差進行評價,其定義為
式中:N 為序列中圖像的總數(shù)量.
為了驗證本文提出算法的有效性和魯棒性,本文選取了6 個包含劇烈變化灰度目標(biāo)的真實圖像序列進行實驗.這6 個圖像序列被依次命名為S1~S6.在這些圖像序列中,造成目標(biāo)劇烈變化的原因包括極快的速度、不規(guī)律的運動軌跡、發(fā)生翻滾和大幅度的旋轉(zhuǎn)等.本文將提出的算法應(yīng)用到這些圖像序列上進行跟蹤實驗,并與5 個最先進的跟蹤算法進行了系統(tǒng)地對比.這5 個跟蹤算法是分布域跟蹤算法(DFT)[26]、最低軟閾值平方跟蹤算法(LSST)[27]、壓縮跟蹤算法(CT)[28-29]、多任務(wù)稀疏學(xué)習(xí)跟蹤算法(MTT)[30]以及結(jié)合了Kalman 濾波器的Mean Shift 跟蹤算法(KMS).本文算法與5 個對比算法定性比較的結(jié)果如圖6 所示,定量比較結(jié)果如表1 和圖7 所示.
由表1 可以看到,當(dāng)使用DFT 在序列S1、S3和S4上進行跟蹤時,DFT 在一半以上的圖像幀中都丟失了目標(biāo).在這種情況下使用跟蹤誤差去評價算法的跟蹤表現(xiàn)是沒有意義的.因此,DFT 在這3 個圖像序列上的跟蹤誤差在圖7 中并沒有畫出.由于相同的原因,KMS 和LSST 在圖像序列S3上的跟蹤誤差,以及MTT 在圖像序列S6上的跟蹤誤差在圖7 中也沒有畫出.從圖6 和表1 可以看到,在所有的6 個序列上DFT 的跟蹤結(jié)果全部都是丟失目標(biāo);而KMS 和LSST 的跟蹤結(jié)果中跟蹤失敗的序列數(shù)都達到了一半以上(4 個).這說明DFT、KMS 和LSST 不能適用于跟蹤劇烈變化的灰度目標(biāo).此外,DFT、KMS 和LSST 的平均跟蹤誤差遠遠大于MTT、CT 和本文算法的平均跟蹤誤差,這也說明了前三者的跟蹤性能遠遠落后于后三者.因此,在接下來的分析中,本文只專注于MTT、CT 和本文算法的比較.
圖6 本文算法(紅色)與KMS(品紅)、MTT(綠色)、CT(藍色)、LSST(青色)和DFT(黃色)的定性比較結(jié)果Fig.6 Qualitative comparison result of proposed algorithm (red)with KMS (magenta),MTT (green),CT (blue),LSST (cyan)and DFT (yellow)
表1 本文算法與KMS、MTT、CT、LSST 和DFT 的定量比較結(jié)果Table 1 Quantitative comparison result of proposed algorithm with KMS,MTT,CT,LSST and DFT
圖7 本文算法與KMS、MTT、CT、LSST 和DFT 的跟蹤誤差比較Fig.7 Tracking error comparison of proposed algorithm with KMS,MTT,CT,LSST and DFT
在序列S1中,目標(biāo)尺寸由85 ×54 劇烈變化至21 ×9,而且目標(biāo)在運動過程中經(jīng)歷了顯著的翻滾和旋轉(zhuǎn).從圖6 中可以觀察到,第108 幀中的目標(biāo)區(qū)域大小只有第1 幀中目標(biāo)區(qū)域大小的5%左右;由于目標(biāo)模型是在第1 幀中確定的,因此當(dāng)前目標(biāo)區(qū)域是由真實目標(biāo)和占比95%左右的云層背景一起組成的.因此,目標(biāo)很容易被具有與目標(biāo)相似灰度分布的云層所干擾.MTT 和CT 都只能在前20 幀中成功跟蹤到目標(biāo),而在其后的許多圖像幀中都丟失了目標(biāo).由圖7 可以看到,本文算法的跟蹤誤差主要出現(xiàn)在18 ~30 幀之間.這主要是因為目標(biāo)在完成一個翻滾的戰(zhàn)術(shù)動作,導(dǎo)致目標(biāo)的機翼輪廓變得模糊,目標(biāo)的機翼與云層難以區(qū)分,所以本文算法的跟蹤結(jié)果沒能獲得完整的機翼區(qū)域.但如表1 所示,對于整個序列而言,本文算法的平均跟蹤誤差僅為0.44 像素,跟蹤表現(xiàn)遠優(yōu)于MTT 和CT.這主要是因為本文算法基于邊緣信息進行跟蹤,不依賴于灰度分布,因而目標(biāo)的尺寸變化以及與目標(biāo)灰度分布相似的云層對本文算法的影響不大.
在序列S2中,目標(biāo)在飛行過程中俯沖,并發(fā)生大幅度的翻滾和旋轉(zhuǎn),導(dǎo)致目標(biāo)的外觀發(fā)生很大變化.由圖6 可以看到,MTT 和CT 的跟蹤結(jié)果明顯地偏離了目標(biāo)區(qū)域,而本文算法可以獲得目標(biāo)的精確區(qū)域.對于MTT 和CT 而言,目標(biāo)外觀的劇烈變化意味著目標(biāo)灰度分布的劇烈變化,從而導(dǎo)致了嚴(yán)重的漂移.如圖7 所示,本文算法最大的跟蹤誤差出現(xiàn)在第50 幀;此時目標(biāo)在翻滾時機翼邊緣變得極為模糊,與云層背景區(qū)分度很弱,因此本文算法沒能獲得目標(biāo)的完整機翼區(qū)域,導(dǎo)致本文算法的跟蹤結(jié)果出現(xiàn)了最大跟蹤誤差.但如表1所示,本文算法的平均跟蹤誤差僅為0.92 像素,遠遠優(yōu)于MTT(17.07 像素)和CT(29.75 像素)的跟蹤表現(xiàn),在整個序列上表現(xiàn)優(yōu)異.究其原因,是因為本文算法基于邊緣信息建模,配合動態(tài)模板更新,能穩(wěn)定利用前一幀的目標(biāo)信息,進行最優(yōu)匹配,再利用基于形態(tài)學(xué)的搜索,保證獲得目標(biāo)的精確區(qū)域.
在序列S3中,目標(biāo)尺寸先由47 ×70 劇烈變化至18 ×9,隨后由18 ×9 劇烈變化至32 ×40.同時,目標(biāo)由天空背景快速運動到海天背景.目標(biāo)的劇烈變化和復(fù)雜的背景極大地增加了跟蹤難度.由圖6 和表1 中可以看到,CT 在全部128 幀圖像中的55 幀都丟失了目標(biāo),跟蹤失敗;而本文算法和MTT 可以成功地在整個序列上完成目標(biāo)跟蹤.由圖7 可以看到,盡管MTT 也成功地完成了目標(biāo)跟蹤,但其在整個序列上的跟蹤誤差都要高于本文算法.本文算法在整個序列上的平均跟蹤誤差僅為2.00 像素,遠低于MTT 的平均跟蹤誤差9.24像素,本文算法的跟蹤表現(xiàn)優(yōu)于MTT 算法.這主要歸功于基于形態(tài)學(xué)的動態(tài)搜索策略令本文算法具備了獲得精確目標(biāo)區(qū)域的能力.
在序列S4中,目標(biāo)在進行著名的眼鏡蛇機動.飛機的機頭突然抬起并迅速提升至垂直位置;機頭繼續(xù)向后形成機頭在后、機尾在前的狀態(tài),隨后機頭再拉回到水平位置正常飛行.因此,目標(biāo)具有不規(guī)律的運動軌跡,并經(jīng)歷了大幅度的旋轉(zhuǎn).由圖6 可以看到,MTT 和CT 的跟蹤結(jié)果均明顯地偏離了目標(biāo)區(qū)域;與之成對比的是,本文算法可以成功地獲得精確的目標(biāo)區(qū)域.由圖7 可以看到,本文算法在整個序列上都保持了很低的跟蹤誤差,明顯低于MTT 和CT 的跟蹤誤差.由表1 可以看到,本文算法的平均跟蹤誤差僅為0.68 像素,而MTT 和CT 的平均跟蹤誤差均為10.32 像素,本文算法的跟蹤表現(xiàn)遠遠優(yōu)于MTT 和CT 的跟蹤表現(xiàn).
在序列S5中,目標(biāo)快速運動來完成一個戰(zhàn)術(shù)動作,形成了不規(guī)律的運動軌跡.同時,目標(biāo)經(jīng)歷了顯著的旋轉(zhuǎn)和尺寸變化.因此,目標(biāo)的外觀變化明顯,給跟蹤帶來了很大的難度.由圖6 可以看到,雖然MTT、CT 和本文算法均可以成功地跟蹤目標(biāo),但MTT 和CT 不能獲得精確的目標(biāo)區(qū)域并且出現(xiàn)了一定的漂移.反觀本文算法,正如圖7 所示,其在整個序列上都可以精確地跟蹤目標(biāo),而且在除了第32 幀以外的所有圖像幀中均沒有發(fā)生任何漂移.表1 的結(jié)果也證實了本文算法的優(yōu)異跟蹤表現(xiàn):本文算法的平均跟蹤誤差僅為0.24 像素,而MTT 和CT 的平均跟蹤誤差分別為11.56 像素和14.54 像素,它們的跟蹤表現(xiàn)遠不如本文算法的跟蹤表現(xiàn).
在序列S6中,目標(biāo)先從天空背景快速運動到山峰背景,繼而從山峰背景運動到河流背景.同時,目標(biāo)在相鄰的兩幀圖像中的位置經(jīng)歷了劇烈變化:平均的位置變化程度為8.11 像素,最大的位置變化程度是22.29 像素.巨大的位置變化和復(fù)雜的背景極大地增加了目標(biāo)跟蹤的難度.因此,由圖6 和表1 可以看到,MTT 在全部70 幀圖像中的57 幀中都丟失可目標(biāo),跟蹤失敗;而本文算法和CT 可以成功地完成整個序列的目標(biāo)跟蹤.CT的平均跟蹤誤差為1.85 像素,本文算法的平均跟蹤誤差為2.43 像素.雖然本文算法的跟蹤誤差略大于CT 的平均跟蹤誤差,但本文算法與CT 一樣在整個序列上的跟蹤表現(xiàn)都很優(yōu)秀.正如圖7 所示,本文算法和CT 在整個序列上都保持了極低的跟蹤誤差,遠遠優(yōu)于其他對比算法的跟蹤表現(xiàn).
由圖6 可以清楚地看到,本文算法不僅可以獲得精確的目標(biāo)區(qū)域,跟蹤窗口還可以實現(xiàn)對目標(biāo)尺寸和形狀變化的自適應(yīng).而KMS、MTT、CT、LSST 和DFT 均不能實現(xiàn)對目標(biāo)尺寸變化或形狀變化的自適應(yīng).在本文提出的算法中,首先使用Mean Shift 算法對目標(biāo)中心進行定位,之后在目標(biāo)中心周圍的特定區(qū)域進行基于形態(tài)學(xué)的搜索,以獲得精確的目標(biāo)區(qū)域.這樣的機制使得本文算法具備了對目標(biāo)尺寸和形狀變化實現(xiàn)自適應(yīng)的能力.
本文提出了一種基于邊緣信息的目標(biāo)跟蹤算法,用于實現(xiàn)對劇烈變化的灰度目標(biāo)的精確跟蹤,經(jīng)實驗驗證表明:
1)算法可以有效跟蹤劇烈變化的灰度目標(biāo),且跟蹤效果優(yōu)于傳統(tǒng)的跟蹤算法.
2)算法不僅可以獲得精確的目標(biāo)區(qū)域,還可以實現(xiàn)對目標(biāo)尺寸和形狀變化的自適應(yīng).
References)
[1] 劉彬杰.復(fù)雜場景下灰度圖像目標(biāo)的精確跟蹤方法研究[D].成都:電子科技大學(xué),2011.
Liu B J.Target tracking technology of grayscale image under complex background[D].Chengdu:University of Electronic Science and Technology of China,2011(in Chinese).
[2] Wu Y,Lim J,Yang M H.Online object tracking:A benchmark[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2013:2411-2418.
[3] Wang X,Liu L,Tang Z M.Infrared human tracking with improved mean shift algorithm based on multicue fusion[J].Applied Optics,2009,48(21):4201-4212.
[4] Leichter I.Mean shift trackers with cross-bin metrics[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(4):695-706.
[5] Comaniciu D,Ramesh V,Meer P.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564-577.
[6] 孔軍,湯心溢,蔣敏,等.基于多尺度特征提取的Kalman 濾波跟蹤[J].紅外與毫米波學(xué)報,2011,30(5):446-450.
Kong J,Tang X Y,Jiang M,et al.Target tracking based on multiscale feature extraction Kalman filter[J].Journal of Infrared and Millimeter Waves,2011,30(5):446-450(in Chinese).
[7] Isard M,Blake A.Condensation-conditional density propagation for visual tracking[J].International Journal of Computer Vision,1998,29(1):5-28.
[8] Pan P,Schonfeld D.Video tracking based on sequential particle filtering on graphs[J].IEEE Transactions on Image Processing,2011,20(6):1641-1651.
[9] Ling J G,Liu E,Liang H Y,et al.Infrared target tracking with kernel-based performance metric and eigenvalue-based similarity measure[J].Applied Optics,2007,46(16):3239-3252.
[10] Zhang S,Qin Y P,Jin G.Analyzing of mean-shift algorithm in gray target tracking technology[M]∥Artificial Intelligence and Computational Intelligence.Berlin:Springer,2011:155-162.
[11] 宋新,王魯平,王平,等.基于改進均值位移的紅外目標(biāo)跟蹤方法[J].紅外與毫米波學(xué)報,2007,26(6):429-432.
Song X,Wang L P,Wang P,et al.IR target tracking based on improved mean shift method[J].Journal of Infrared and Millimeter Waves,2007,26(6):429-432(in Chinese).
[12] 趙倩,袁健全,魯新平,等.結(jié)合目標(biāo)預(yù)估計與Mean Shift 理論的運動目標(biāo)跟蹤算法[J].紅外與激光工程,2010,39(6):1152-1156.
Zhao Q,Yuan J Q,Lu X P,et al.Moving object tracking algorithm based on object estimation and Mean Shift theory[J].Infrared and Laser Engineering,2010,39(6):1152-1156(in Chinese).
[13] 程建,楊杰.一種基于均值移位的紅外目標(biāo)跟蹤新方法[J].紅外與毫米波學(xué)報,2005,24(3):231-235.
Cheng J,Yang J.Novel infrared object tracking method based on mean shift[J].Journal of Infrared and Millimeter Waves,2005,24(3):231-235(in Chinese).
[14] Wang Z,Hou Q,Hao L.Improved infrared target-tracking algorithm based on mean shift[J].Applied Optics,2012,51(21):5051-5059.
[15] 賈靜平,張艷寧,柴艷妹,等.目標(biāo)多自由度Mean Shift 序列圖像跟蹤算法[J].西北工業(yè)大學(xué)學(xué)報,2005,23(5):618-622.
Jia J P,Zhang Y N,Chai Y M,et al.Making tracking of object in image sequences steady despite complex movement of objects[J].Journal of Northwestern Polytechnical University,2005,23(5):618-622(in Chinese).
[16] Zivkovic Z,Krose B.An EM-like algorithm for color-histogrambased object tracking[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2004:798-803.
[17] 劉興淼,王仕成,趙靜,等.基于自適應(yīng)核窗寬的紅外目標(biāo)跟蹤算法[J].控制與決策,2012,27(1):114-119.
Liu X M,Wang S C,Zhao J,et al.Infrared target tracking algorithm based on adaptive bandwidth of Mean Shift[J].Control and Decision,2012,27(1):114-119(in Chinese).
[18] 徐蓉萍,楊磊.紅外復(fù)雜背景中一種融合兩類跟蹤框架優(yōu)點的小目標(biāo)跟蹤算法[J].紅外與毫米波學(xué)報,2008,27(5):354-360.
Xu R P,Yang L.Small target tracking approach combined the merits of two tracking frameworks under infrared complex background[J].Journal of Infrared and Millimeter Waves,2008,27(5):354-360(in Chinese).
[19] Li X H,Zhang T Y,Shen X D,et al.Object tracking using an adaptive Kalman filter combined with mean shift[J].Optical Engineering,2010,49(2):020503-1-020503-3.
[20] Yilmaz A,Javed O,Shah M.Object tracking:A survey[J].Acm Computing Surveys (CSUR),2006,38(4):1-45.
[21] 宋新.紅外地面目標(biāo)的檢測、識別與跟蹤技術(shù)研究及實現(xiàn)[D].長沙:國防科學(xué)技術(shù)大學(xué),2007.
Song X.Research and implementation of infrared ground target detection,recognition and tracking[D].Changsha:National University of Defense Technology,2007(in Chinese).
[22] 梁燕,劉文耀.一種新型非線性邊緣檢測算法[J].光電子·激光,2003,14(12):1332-1335.
Liang Y,Liu W Y.A new nonlinear algorithm for edge detection[J].Journal of Optoelectronics·Laser,2003,14(12):1332-1335(in Chinese).
[23]di Sciasio E,Guaragnella C.Simple nonlinear dual-window operator for edge detection[J].Optical Engineering,2002,41(9):2181-2185.
[24] Yuan S,Li J H,Han J.An adaptive target tracking algorithm based on multi-feature fusion[C]∥Proceedings of International Conference on Biomedical Engineering and Computer Science.Piscataway,NJ:IEEE Press,2010:1-4.
[25] 刁偉鶴,毛峽,常樂.自動目標(biāo)識別中的圖像序列質(zhì)量評價方法[J].電子與信息學(xué)報,2010,32(8):1729-1735.
Diao W H,Mao X,Chang L.Quality estimation of image sequence for automatic target recognition[J].Journal of Electronics & Information Technology,2010,32(8):1729-1735(in Chinese).
[26] Sevilla-Lara L,Learned-Miller E.Distribution fields for tracking[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2012:1910-1917.
[27] Wang D,Lu H,Yang M H.Least soft-threshold squares tracking[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2013:2371-2378.
[28] Zhang K,Zhang L,Yang M H.Real-time compressive tracking[M]∥Proceedings of European Conference on Computer Vision.Berlin:Springer,2012:864-877.
[29] Zhang K H,Zhang L,Yang M H.Fast compressive tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(10):2002-2015.
[30] Zhang T Z,Ghanem B,Liu S,et al.Robust visual tracking via multi-task sparse learning[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2012:2042-2049.