劉亞偉，李小民，楊　森

（軍械工程學(xué)院 無人機(jī)工程系，河北 石家莊050003)

基于CamShift融合局部特征匹配的無人機(jī)目標(biāo)跟蹤研究*

劉亞偉，李小民，楊森

（軍械工程學(xué)院 無人機(jī)工程系，河北 石家莊050003)

針對由于CamShift算法跟蹤特征單一引起的對顏色相似目標(biāo)或背景的干擾和對目標(biāo)遮擋情況較敏感的問題，提出了一種CamShift融合局部特征匹配的無人機(jī)目標(biāo)跟蹤算法。實驗表明，局部特征匹配算法中BRISK匹配算法在特征檢測和特征描述階段都表現(xiàn)出了較好的性能，融合CamShift算法和BRISK算法的目標(biāo)跟蹤算法在能保證目標(biāo)跟蹤的實時性要求的前提下，改善了CamShift對顏色相似目標(biāo)或背景的干擾的敏感性，同時增強了對目標(biāo)遮擋魯棒性。該方法通過顏色特征和局部特征的共同定位目標(biāo)，實現(xiàn)了目標(biāo)的準(zhǔn)確跟蹤。

無人機(jī)；CamShift；BRISK；目標(biāo)跟蹤

0　引言

隨著科學(xué)技術(shù)的發(fā)展，無人機(jī)技術(shù)得到快速提高并廣泛應(yīng)用于軍用和民用領(lǐng)域。目標(biāo)跟蹤作為無人機(jī)領(lǐng)域的一項重要課題受到了廣泛關(guān)注。目前常見的目標(biāo)跟蹤算法有：均值漂移法、粒子濾波法、卡爾曼濾波法、特征點匹配法等。由于均值漂移(MeanShift)的目標(biāo)跟蹤算法[1]具有計算簡單、實時性好、易于實現(xiàn)等特點，因此在現(xiàn)實生活中應(yīng)用最為廣泛。但是 CamShift[2]最大的缺陷就是只采用顏色信息，造成跟蹤特征單一，易受到顏色相似目標(biāo)和背景的干擾，同時對較大的尺度變化和遮擋情況較敏感。特征匹配算法[3]由于其魯棒性較強的原因近年來同樣受到廣泛關(guān)注，并廣泛應(yīng)用于醫(yī)學(xué)、航天等領(lǐng)域。但是一個不足之處就是特征匹配算法隨著圖像復(fù)雜度的增加圖像匹配的快速性隨之降低。針對以上問題，本文提出了一種基于 CamShift融合特征匹配的目標(biāo)跟蹤算法，提高了 CamShift算法對相似顏色背景(或)目標(biāo)的干擾，并增加了對尺度變化和遮擋的魯棒性。

1　局部特征匹配算法的選取

目前常用的局部特征匹配算法有SIFT[4]算法，SURF[5]算法，ORB[6]算法，BRISK[7]算法和FREAK[8]算法。本文通過比較以上五種算法，來評價五種算法的綜合性能。

1.1特征檢測性能測試

測試數(shù)據(jù)：待測試圖像如圖1所示。

圖1　特征檢測性能測試圖

測試方法：在相同的硬件和軟件環(huán)境下，運用不同的檢測子，對相同圖像進(jìn)行特征點檢測，分別計算出檢測時間和檢測到特征點的個數(shù)，比較結(jié)果見表1。

衡量標(biāo)準(zhǔn)：檢測子檢測得到的特征點數(shù)越多，所用時間越少，表示檢測子性能越好。而考慮特征點數(shù)與檢測時間的比值，可以衡量各檢測子的綜合性能。

表1　檢測子性能測試表

1.2描述子性能比較

測試數(shù)據(jù)：同檢測子性能評估測試數(shù)據(jù)一樣，圖像如圖1所示。

測試方法：在相同的硬件和軟件環(huán)境下，首先對同一圖像進(jìn)行特征檢測，所使用的檢測算子是SIFT檢測子，再用不同的描述子進(jìn)行特征描述，計算出各特征描述子所用的時間，比較結(jié)果見表2。

表2　描述子性能測試表

衡量標(biāo)準(zhǔn)：在測試數(shù)據(jù)和特征檢測子一定的情況下，特征描述子的速度越快表示實時性越高，性能越好。

由表1和表2可得，BRISK算法無論是在特征點檢測階段和特征點描述階段，都表現(xiàn)出了較好的性能，另外，由于BRISK采用二進(jìn)制字符串進(jìn)行特征描述，所以，在特征匹配階段與SIFT和SURF采用的歐式距離匹配形式相比，漢明距離匹配速度更快。所以本文選用BRISK局部特征匹配算法對CamShift算法進(jìn)行改進(jìn)。

2　CamShift算法

MeanShift算法是一種基于核密度估計的非參數(shù)模式匹配算法。CamShift是MeanShift算法的應(yīng)用推廣。首先手動選取待跟蹤目標(biāo)區(qū)域，使用 MeanShift顏色直方圖信息作為模板，再提取下一幀圖像的顏色直方圖，進(jìn)行直方圖匹配，通過計算相似度獲得相似度密度分布圖，圖中的極值位置即為目標(biāo)的位置。

CamShift算法的跟蹤流程如圖2所示。

圖2　CamShift算法目標(biāo)跟蹤流程圖

3　改進(jìn)算法關(guān)鍵技術(shù)簡介

針對CamShift算法易受相似顏色目標(biāo)和背景的干擾和對尺度變化和遮擋敏感的問題，本文采用CamShift融合BRISK的方法進(jìn)行目標(biāo)跟蹤。該算法在CamShift跟蹤正常的情況下，BRISK算法不介入，一旦CamShift跟蹤失敗，即前后兩幀目標(biāo)區(qū)域顏色直方圖相差較大，BRISK算法馬上介入。在匹配過程中，采用RANSAC[9]算法來進(jìn)行誤匹配點剔除處理從而獲得正確匹配點對。當(dāng)匹配成功時，標(biāo)出目標(biāo)區(qū)域，這時再次啟動CamShift跟蹤算法，提取該區(qū)域顏色直方圖并繼續(xù)進(jìn)行跟蹤。

分別設(shè)置前后兩幀的顏色直方圖信息H(i-1)和H(i)利用Bhattacharyya距離[10]進(jìn)行相似程度判斷，Bhattacharyya越大，則越相似。若dBhttacharyya(Hi-1，Hi)≤0.6則說明 CamShift跟蹤失敗，一旦跟蹤失敗，把前一幀圖像目標(biāo)區(qū)域作為模板，通過BRISK算法在后續(xù)視頻幀中進(jìn)行目標(biāo)匹配操作，直到匹配成功，并找到目標(biāo)區(qū)域。

3.1特征點重心偏移

記BRISK特征匹配后，P={(xi，yi)，Vi}和分別表示目標(biāo)區(qū)域的特征點集和 CamShift跟蹤區(qū)域的特征點集，其中i=1，2，…，N。CamShift跟蹤區(qū)域與目標(biāo)區(qū)域的重心平均偏移量可表示為：

3.2BRISK跟蹤結(jié)果

當(dāng)前跟蹤區(qū)域為r={x0，y0，v，h}，(x0，y0)為跟蹤矩形框的中心坐標(biāo)，h和v分別表示矩形框的水平和垂直方向半徑。用r′表示BRISK跟蹤區(qū)域，則：

3.3融合

融合BRISK和CamShift的跟蹤區(qū)域用r″表示，則：

其中權(quán)系數(shù)α介于0～1之間。

4　實驗結(jié)果及分析

實驗選用HERO運動相機(jī)拍攝視頻，分別用CamShift和改進(jìn)算法(基于CamShift融合BRISK的目標(biāo)跟蹤算法)進(jìn)行對比測試。實驗是在VS2010開發(fā)平臺上，利用VC++語言和開源代碼OpenCV聯(lián)合編程實現(xiàn)。其中硬件系統(tǒng)：處理器為Inter（R）Core（TM）i3 CPU M390@2.67 GHz，內(nèi)存為4.00 GB，硬盤為500 GB，操作系統(tǒng)為Windows 7。

4.1目標(biāo)受相似目標(biāo)干擾下的目標(biāo)跟蹤效果

本實驗采用停車場航拍視頻進(jìn)行測試，測試結(jié)果如圖3和圖4所示。

圖3和圖4分別為原始 CamShift算法和本文改進(jìn)CamShift算法(融合CamShift和特征匹配的目標(biāo)跟蹤算法)在航拍停車場視頻中對車輛跟蹤的效果圖。原始CamShift算法在車輛經(jīng)過與目標(biāo)顏色相似的車輛時(如圖3，第60幀—第110幀)，算法將相似車輛誤認(rèn)為跟蹤目標(biāo)跟蹤窗口出現(xiàn)了明顯的擴(kuò)散，跟蹤效果明顯變差。改進(jìn)CamShift算法在經(jīng)過顏色相似車輛時，跟蹤窗口也出現(xiàn)了擴(kuò)散，但是改進(jìn)算法跟蹤窗口的擴(kuò)散較原始算法有較大改善，能夠基本達(dá)到對目標(biāo)車輛的準(zhǔn)確跟蹤。

圖3　停車場CamShift算法目標(biāo)跟蹤效果圖

圖4　停車場改進(jìn)CamShift算法目標(biāo)跟蹤效果圖

本文用Bhattacharry系數(shù)（BH系數(shù)）作為目標(biāo)跟蹤準(zhǔn)確度的衡量標(biāo)準(zhǔn)，目標(biāo)模板與候選模板的相似度可用BH系數(shù)來表示，BH系數(shù)為 0～1之間的一個數(shù)值，該數(shù)值越大，表示目標(biāo)模板與候選模板的相似程度越高，即跟蹤準(zhǔn)確性越高。測試結(jié)果如圖5所示。

圖5所示，當(dāng)目標(biāo)接近顏色相似車輛時，CamShift算法跟蹤框發(fā)生明顯變化，導(dǎo)致BH系數(shù)具有較大幅度下降，當(dāng)目標(biāo)通過干擾區(qū)域時，跟蹤框恢復(fù)正常，BH系數(shù)恢復(fù)正常。而本文改進(jìn)跟蹤算法對增強可跟蹤算法對相似目標(biāo)干擾的抗干擾性，當(dāng)目標(biāo)經(jīng)過干擾目標(biāo)，BH系數(shù)只具有小幅度變化。

圖5　相似目標(biāo)干擾情況下BH系數(shù)

4.2目標(biāo)遮擋情況下的目標(biāo)跟蹤

本實驗采用車輛越野航拍視頻進(jìn)行測試，測試結(jié)果如圖6和圖7所示。

圖6和圖7是原始CamShift算法和本文改進(jìn)算法對航拍越野車輛視頻中車輛目標(biāo)的跟蹤效果圖。當(dāng)目標(biāo)發(fā)生部分遮擋或全部遮擋時，對原始 CamShift算法影響較大，當(dāng)目標(biāo)發(fā)生遮擋的情況下，跟蹤效果明顯下降，跟蹤框明顯擴(kuò)散，甚至導(dǎo)致跟蹤失?。ㄈ鐖D6，第1 560幀～第1 600幀）。本文改進(jìn)算法由于融合了CamShift和BRISK算法，通過顏色特征和目標(biāo)局部特征共同定位增強了原始算法對目標(biāo)遮擋的魯棒性，跟蹤效果有較大改善如圖7所示。

圖6　目標(biāo)遮擋情況下CamShift算法目標(biāo)跟蹤效果圖

圖7　目標(biāo)遮擋情況下改進(jìn)CamShift算法目標(biāo)跟蹤效果圖

本文采用有效幀率對目標(biāo)被遮擋情況下算法跟蹤效果進(jìn)行測試，有效幀率是指視頻跟蹤過程中有效跟蹤的幀數(shù)與總幀數(shù)的比值，用來衡量跟蹤算法的有效性。判斷某一幀是否為有效幀的方法可采用BH系數(shù)法，當(dāng)BH系數(shù)小于某一閾值時，即認(rèn)為該幀為跟蹤無效幀，本實驗取值為 0.5。本實驗從第 1 450幀進(jìn)行測試，到 1 700幀共250幀，測試結(jié)果如表3所示。

表3　目標(biāo)遮擋情況下有效幀率測試表

由表3可知，改進(jìn)算法相比于原始CamShift算法跟蹤精度明顯提高，有效幀率提高近27%。

5　結(jié)論

針對CamShift無人機(jī)目標(biāo)跟蹤算法對跟蹤過程中相似目標(biāo)或背景干擾和目標(biāo)遮擋問題魯棒性差的問題，提出了一種融合CamShift算法和 BRISK算法的目標(biāo)跟蹤算法，并分別對CamShift算法和改進(jìn)算法在相似目標(biāo)干擾和遮擋情況下的跟蹤效果進(jìn)行測試。實驗結(jié)果表明，改進(jìn)算法顯著增強了 CamShift算法相似目標(biāo)干擾和目標(biāo)被遮擋條件下跟蹤的魯棒性，并提高了 CamShift跟蹤算法的跟蹤準(zhǔn)確性。

[1]楊輝，劉軍，阮松.基于Mean Shift算法視頻跟蹤研究[J].計算機(jī)工程與設(shè)計，2013，34(6)：2062-2066.

[2]覃虎躍，支琤，徐奕.基于三維直方圖的改進(jìn) CamShift目標(biāo)跟蹤算法[J].現(xiàn)代電子技術(shù)，2014，37(2)：29-33.

[3]曹建，謝曉方，付霖宇，等.基于兩步位操作匹配的實時目標(biāo)識別跟蹤算法[J].彈箭與制導(dǎo)學(xué)報，2013，33(2)：125-128.

[4]KE Y，SUKTHANKAR R.PCA-SIFT：a more distinctive representation for local image descriptors[C].Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos：IEEE Computer Society Press，2004：506-513.

[5]BAY H，ESS A，TUYTELAARS T，et al.Speeded up robust features(SURF)[J].Computer Vision and Image Understanding，2008，110(3)：346-359.

[6]RUBLEE E，RABAUD V，KONOLIGENCE K et al.ORB：A sufficient alternative to SIFT or SURF[C].2011 International Conference on Computer Vision，Barcelina，Spain，2011：2564-2570.

[7]LEUTENEGGER S，CHLI M，SIEGWART R.BRISK：Binary robust invariant scalable keypoints[C].Proceedings of the IEEE International Conference on Computer Vision(ICCV)，2011.

[8]Alahi A，Ortiz R，Vandergheynst P.FREAK：Fast Retina Keypoint[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，2012.

[9]周凱汀，鄭力新.基于改進(jìn)ORB特征的多姿態(tài)人臉識別[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2015(2)：287-290.

[10]劉玉.基于特征點的運動目標(biāo)跟蹤技術(shù)研究[D].南京：南京航空航天大學(xué)，2011：38-46.

Research of UAV target tracking based on CamShift fused local feature matching

Liu Yawei，Li Xiaomin，Yang Sen
(Department of UAV Engineering，Ordnance Engineering College，Shijiazhuang 050003，China)

A target tracking method based on CamShift fused local feature matching has been introduced aimed at the problem caused by the single tracking characteristics of CamShift,which make the tracking algorithm be sensitive to similar target of color and shelter.The experimental results show that BRISK show the good performance in feature detection and feature description.The algorithm of CamShift fused local feature matching improves the sensitivity of interference of color similar target and shelter.The improved algorithm makes the target tracking more accurate by the common location of color information and local characteristics.

UAV；CamShift；BRISK；target tracking

TN96

A

10.16157/j.issn.0258-7998.2016.09.002

十二五裝備預(yù)研項目（51325050101）

2016-03-04)

劉亞偉（1991-），通信作者，男，碩士，碩士研究生，主要研究方向： 無人機(jī)目標(biāo)識別與跟蹤，E-mail：yaweiliu0211@163.com。

李小民(1968-)，男，博士，教授，主要研究方向：無人機(jī)模擬仿真技術(shù)。

中文引用格式：劉亞偉，李小民，楊森.基于 CamShift融合局部特征匹配的無人機(jī)目標(biāo)跟蹤研究[J].電子技術(shù)應(yīng)用，2016，42 (9)：6-9.

英文引用格式：Liu Yawei，Li Xiaomin，Yang Sen.Research of UAV target tracking based on CamShift fused local feature matching[J].Application of Electronic Technique，2016，42(9)：6-9.