王 杰，孫艷麗，周 偉

(海軍航空工程學(xué)院 a.信息基礎(chǔ)實(shí)驗(yàn)部； b.融合研究所， 山東 煙臺(tái) 264001)

【信息科學(xué)與控制工程】

基于多特征直方圖的紅外圖像目標(biāo)跟蹤

王 杰a，孫艷麗a，周 偉b

(海軍航空工程學(xué)院 a.信息基礎(chǔ)實(shí)驗(yàn)部； b.融合研究所， 山東 煙臺(tái) 264001)

根據(jù)紅外圖像的特點(diǎn)，采用單一顏色難以描述復(fù)雜的跟蹤環(huán)境，尤其是目標(biāo)周圍有相似亮度的背景干擾時(shí)，會(huì)造成跟蹤失敗。針對該問題，提出在MS跟蹤理論框架下將顏色特征和梯度特征聯(lián)合起來描述目標(biāo)。實(shí)驗(yàn)表明：該方法能準(zhǔn)確地跟蹤海上紅外運(yùn)動(dòng)目標(biāo)。

紅外圖像；多特征直方圖；目標(biāo)跟蹤；Meanshift算法

視覺跟蹤技術(shù)已廣泛應(yīng)用于視頻監(jiān)控、智能交通、人機(jī)交互、視頻壓縮等民用領(lǐng)域。在軍事領(lǐng)域，以精確制導(dǎo)武器為代表的現(xiàn)代化武器在戰(zhàn)爭中發(fā)揮著越來越重要的作用，但精確制導(dǎo)武器命中精度高的作戰(zhàn)優(yōu)勢是以獲得高品質(zhì)的偵察信息為前提的。只有及時(shí)獲取了目標(biāo)可靠和準(zhǔn)確的信息，才能對目標(biāo)實(shí)施精確打擊。紅外成像目標(biāo)跟蹤技術(shù)近年來是視覺跟蹤研究的熱點(diǎn)。紅外目標(biāo)不同于可見光目標(biāo)，目標(biāo)的紅外成像是目標(biāo)表面溫度分布的圖像，反映的是目標(biāo)表面溫度的變化，具有目標(biāo)成像面積小、信噪比低、對比度小和弱紋理等特點(diǎn)，這些都給紅外目標(biāo)的檢測和跟蹤造成一定的困難。

經(jīng)過20多年的發(fā)展，涌現(xiàn)出了一批經(jīng)典跟蹤算法，2000年前后M.Isard和Comaniciu提出的粒子濾波跟蹤方法[1]和均值偏移跟蹤方法[2]，至今仍是視覺跟蹤中研究的焦點(diǎn)。在隨后的幾年，視覺跟蹤技術(shù)的發(fā)展多轉(zhuǎn)向?qū)δ繕?biāo)描述的研究。目標(biāo)描述主要包括目標(biāo)的形狀描述和外觀描述，形狀描述主要研究目標(biāo)幾何模型的表示方法；外觀描述主要研究目標(biāo)特征的描述和選擇方法。在視覺跟蹤中通常選擇那些能有效區(qū)分目標(biāo)和相鄰背景或干擾的特征描述目標(biāo)的外觀，比較具有代表性的研究成果如Collins等提出的基于Fisher準(zhǔn)則的特征選擇方法[3]；Avidan提出的基于AdaBoost的特征選擇方法[4]。另外，基于多特征融合的方法[5]也是目標(biāo)描述的一個(gè)重要研究內(nèi)容，該思路主要利用跟蹤過程中目標(biāo)特征之間的互補(bǔ)性實(shí)現(xiàn)目標(biāo)描述的增強(qiáng)，進(jìn)而達(dá)到提高跟蹤性能的目的。近幾年，基于范數(shù)最小化的目標(biāo)稀疏描述[6]和多實(shí)例學(xué)習(xí)的跟蹤方法[7]成為視覺跟蹤研究領(lǐng)域的研究熱點(diǎn)。基于深度學(xué)習(xí)的跟蹤方法也是近幾年視覺跟蹤研究的熱門[8]，最初由香港理工大學(xué)的Naiyan Wang提出。

1 MS跟蹤算法

MS用于視覺跟蹤，最初是由Comaniciu在2000年的CVPR會(huì)議上提出[9]，其本質(zhì)是一種圖像區(qū)域匹配的跟蹤方法，其基本思想是首先在當(dāng)前幀根據(jù)目標(biāo)的中心位置和尺度計(jì)算目標(biāo)圖像區(qū)域的顏色密度分布作為目標(biāo)模型；然后在下一幀以上一幀目標(biāo)的中心位置為初始位置，計(jì)算目標(biāo)候選區(qū)域的顏色密度分布；最后通過MS過程使得目標(biāo)模型和候選圖像區(qū)域的顏色分布的Bhattacharyya系數(shù)達(dá)到最大的位置即認(rèn)為是目標(biāo)所在的位置。

(1)

(2)

目標(biāo)在搜索圖像區(qū)域的位置可以通過最大化目標(biāo)顏色密度模型和候選目標(biāo)顏色密度分布的相似度得到，相似度通常用式(3)所示顏色密度分布的Bhattacharyya系數(shù)來測量，即

(3)

(4)

(5)

3) 計(jì)算權(quán)值{ωi}i=1…nh；

4) 根據(jù)式(5)計(jì)算目標(biāo)在當(dāng)前幀新位置x1；

2 多特征直方圖MS跟蹤

傳統(tǒng)基于顏色密度分布的MS跟蹤方法的最大優(yōu)勢，就是計(jì)算開銷小，速度快，但顏色特征密度分布忽略了目標(biāo)像素的空間位置信息，會(huì)導(dǎo)致傳統(tǒng)MS跟蹤方法在跟蹤過程中出現(xiàn)跟蹤偏差甚至丟失目標(biāo)。但反映目標(biāo)結(jié)構(gòu)形狀信息的梯度特征對光照變換不敏感，為此，在MS跟蹤理論框架下融合目標(biāo)顏色和形狀信息來增強(qiáng)跟蹤的魯棒性。

2.1 多特征直方圖

給出一種目標(biāo)多特征直方圖描述，在該直方圖中，同時(shí)包含了圖像區(qū)域的顏色、形狀信息，其基本思想是在該直方圖中，低直方柱用來描述圖像區(qū)域顏色分布，高直方柱用來描述目標(biāo)梯度方向信息，以M位灰度圖像為例說明多特征直方圖的計(jì)算方法。

對于M位灰度圖像，其圖像灰度等級可以量化為2M=L個(gè)等級。對于M位灰度圖像，假設(shè)目標(biāo)圖像區(qū)域?yàn)镽，其像素坐標(biāo)為{xi}i=1,…,n，I(R)表示其圖像灰度，則在x點(diǎn)處的梯度G(x)和梯度方向分別為

選擇梯度幅值大于指定閾值的點(diǎn)梯度方向作為目標(biāo)的特征，即

(8)

同樣把梯度方向也量化為2M個(gè)等級，計(jì)算落入每個(gè)梯度方向等級的像素個(gè)數(shù)，得到多特征直方圖。

多特征直方圖實(shí)際上把M位灰度圖像的每個(gè)像素的特征用M+1位表示，L個(gè)低直方柱來描述目標(biāo)的灰度特征，L個(gè)高直方圖來描述目標(biāo)的灰度特征，直觀上就是把兩個(gè)特征的直方圖串聯(lián)成一個(gè)新的直方圖。但實(shí)際上多特征直方圖和兩個(gè)特征直方圖串聯(lián)的直方圖還有稍微的差別，因?yàn)樵诙嗵卣髦狈綀D中每個(gè)像素只能統(tǒng)計(jì)一次，如果某個(gè)像素已經(jīng)用來描述灰度特征，就不再用來描述梯度特征；如果某個(gè)像素已經(jīng)用來描述梯度特征，該像素就不再用來描述目標(biāo)的灰度特征，因此多特征直方圖的計(jì)算相當(dāng)于把目標(biāo)圖像區(qū)域的像素分為兩組，一組用來描述灰度特征，一組用來描述梯度特征；而兩個(gè)特征直方圖串聯(lián)的直方圖則有的像素要統(tǒng)計(jì)兩次，一次用來計(jì)算灰度特征直方圖，一次用來計(jì)算梯度特征。

2.2 MS跟蹤

(9)

通過MS迭代使得式(9)所示的相似度達(dá)到最大，即得到目標(biāo)在當(dāng)前幀的位置，重復(fù)此過程，即可實(shí)現(xiàn)對目標(biāo)的跟蹤。

2.3 實(shí)驗(yàn)

為驗(yàn)證本章基于多特征直方圖MS跟蹤方法的有效性，用海上目標(biāo)的紅外視頻序列進(jìn)行驗(yàn)證。

序列I描述的場景是海上一艘船從圖像左側(cè)往圖像右側(cè)航行，視頻的開始由于攝像頭的移動(dòng)，船只的位置很快從圖像右側(cè)變換到左側(cè)，然后攝像頭保持靜止，船只繼續(xù)從圖像左側(cè)往右側(cè)航行。圖1給出了船只目標(biāo)的部分跟蹤結(jié)果，可以看出，本算法能夠一直較為準(zhǔn)確地跟蹤目標(biāo)。

序列II描述的場景也是海上一艘船從圖像左側(cè)往圖像右側(cè)航行，但由于攝像頭的抖動(dòng)，船只目標(biāo)出現(xiàn)了上下快速移動(dòng)，而且該船只目標(biāo)中間成像較暗，兩頭成像亮。圖2給出了目標(biāo)的部分跟蹤結(jié)果，可以看出，雖然由于攝像頭的抖動(dòng)導(dǎo)致目標(biāo)上下晃動(dòng)，但本章算法依然能較為準(zhǔn)確地跟蹤上目標(biāo)。

圖1 序列I跟蹤結(jié)果

圖2 序列II跟蹤結(jié)果

3 結(jié)論

在傳統(tǒng)MS跟蹤算法的基礎(chǔ)上，給出了一種基于多特征直方圖的MS跟蹤方法，該方法融合了目標(biāo)的顏色和形狀特征，增強(qiáng)目標(biāo)的可區(qū)分度，提高了傳統(tǒng)MS跟蹤方法的魯棒性和準(zhǔn)確性，同時(shí)又能保持較低的計(jì)算開銷和較高的跟蹤速度，達(dá)到工程實(shí)用的目的。

[1] ISARD M,BLAKE A.CONDENSATION—Conditional density propagation for visual tracking[J].International Journal of Computer Vision,1998,29(1):5-28.

[2] COMANICIU D,RAMESH V,MEER P.Kernel-based object tracking[J].IEEE Trans Pattern Anal Machine Intell,2003,25(5):564-575.

[3] COLLINS RT,LIU Y,LEORDEANU M.Online selection of discriminative tracking features[J].IEEE Trans Pattern Anal Machine Intell,2005,27(10):1631-1643.

[4] AVIDAN S.Ensemble Tracking[J].IEEE Trans Pattern Anal Machine Intell,2007,29(2):261-271.

[5] PéREZ P,VERMAAK J,BLAKE A.Data fusion for visual tracking with particles[J].Proceedings of IEEE,2004,92(3):495-513.

[6] MEI X,HAIBIN L.Robust visual tracking using l1minimization[C].IEEE International Conference on Computer Vision.2009:1436-1443.

[7] BABENKO B,MING-HSUAN Y,BELONGIE S.Visual tracking online multiple instance learning[C].In CVPR,2009:983-990.

[8] WANG Naiyan,YEUNG Dit-Yan.Learning a deep compact image representation for visual tracking[C]//Proceedings of Twenty-Seventh Annual Conference on Neural Information Processing Systems (NIPS),Lake Tahoe,Nevada,USA,2013.

[9] COMANICIU D,RAMESH V,MEER P.Real-time tracking of non-rigid objects using mean shift[C]//Proc.IEEE Conf.Computer Vision and Pattern Recognition,2000:142-149.

(責(zé)任編輯 楊繼森)

Target Tracking in Infrared Image Based on Multi-Feature Histogram Algorithm

WANG Jiea, SUN Yanlia, ZHOU Weib

(a.Department of Basic Experiment； b.Research Institute of Information Fusion,Naval Aeronautical and Astronautical University, Yantai 264001, China)

According to the characteristics of the infrared image, using single color description is difficult to adapt to the complex tracking environment. Especially that the brightness around the target is similar to background, it will cause the tracking failure. A method combined color features and gradient features to describe the target under the MS track theoretical framework is proposed. The experimental results show the algorithm can track infrared moving target at sea.

infrared image; multi-feature histogram; target tracking; Meanshift algorithm

2017-04-21；

2017-05-23

王杰(1972—)，男，副教授，主要從事圖像處理、系統(tǒng)分析研究。

10.11809/scbgxb2017.08.023

format:WANG Jie, SUN Yanli, ZHOU Wei.Target Tracking in Infrared Image Based on Multi-Feature Histogram Algorithm[J].Journal of Ordnance Equipment Engineering,2017(8):103-106.

TP751

A

2096-2304(2017)08-0103-04

本文引用格式：王杰，孫艷麗，周偉.基于多特征直方圖的紅外圖像目標(biāo)跟蹤[J].兵器裝備工程學(xué)報(bào)，2017(8):103-106.