管學(xué)偉

?

一種基于特征點(diǎn)匹配的目標(biāo)跟蹤方法

管學(xué)偉

（四川九洲電器集團(tuán)有限責(zé)任公司，四川 綿陽 621000）

針對精確制導(dǎo)系統(tǒng)圖像跟蹤的特點(diǎn)，在研究圖像特征點(diǎn)匹配的基礎(chǔ)上提出了一種應(yīng)用于地面固定目標(biāo)跟蹤的新方法。首先在高斯差分尺度空間提取特征點(diǎn)；然后用鄰域梯度描述特征點(diǎn)，用最近鄰與次近鄰的比值作為特征點(diǎn)的匹配準(zhǔn)則；接著建立仿射模型解算跟蹤點(diǎn)；最后設(shè)計(jì)了一種有效的參考圖更新方法。大量的仿真實(shí)驗(yàn)表明該方法對地面固定目標(biāo)具有較好的跟蹤性能，能有效抑制跟蹤漂移現(xiàn)象，展示了很好的魯棒性。

目標(biāo)跟蹤；特征匹配；仿射模型；尺度空間

0 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺研究領(lǐng)域中的經(jīng)典問題，其在民用和軍事上都有著重要的研究和應(yīng)用價值。目標(biāo)跟蹤本質(zhì)上是將參考圖中選定的目標(biāo)在接下來的實(shí)時幀圖像中尋找目標(biāo)的最佳位置，其中參考圖中的目標(biāo)選定可以采用通過目標(biāo)自動檢測識別的方法來獲取，也可以采用人工參與的方法選定。目標(biāo)跟蹤的方法很多，如形心跟蹤，邊緣跟蹤，灰度相關(guān)跟蹤，均值漂移（mean-shift）算法[1]，區(qū)域協(xié)方差矩陣的方法[2]等等，這些算法都在各自的應(yīng)用領(lǐng)域取得了很大的成功，也都有各自的缺點(diǎn)[3]。

在精確制導(dǎo)武器應(yīng)用中地面固定目標(biāo)如機(jī)場、橋梁、雷達(dá)站等是一類具有較高價值的目標(biāo)，研究針對此類目標(biāo)的穩(wěn)定跟蹤方法具有重要的意義。針對地面固定目標(biāo)的跟蹤，當(dāng)前圖像跟蹤系統(tǒng)中應(yīng)用的跟蹤方法常出現(xiàn)跟蹤點(diǎn)漂移，尤其在制導(dǎo)末端出現(xiàn)當(dāng)目標(biāo)迅速膨脹時無法持續(xù)穩(wěn)定跟蹤等現(xiàn)象，本文在研究圖像特征點(diǎn)匹配方法的基礎(chǔ)上，實(shí)現(xiàn)了一種針對地面固定目標(biāo)的跟蹤算法，同時進(jìn)行了大量的仿真測試，取得了較好的效果。

1 特征點(diǎn)匹配算法原理

圖像的特征常可分為點(diǎn)、線、面3種[4]。點(diǎn)特征是最常采用的一種圖像特征，包括物體邊緣點(diǎn)、角點(diǎn)、線交叉點(diǎn)，尺度空間極大值點(diǎn)等。圖像的特征點(diǎn)匹配是指將兩幅圖像相同場景點(diǎn)對應(yīng)起來的過程。假設(shè)有兩幅圖像，一幅圖像稱為參考圖，又稱基準(zhǔn)圖；另一幅圖像為待匹配圖像，本文將特征點(diǎn)匹配應(yīng)用于精確制導(dǎo)系統(tǒng)的目標(biāo)跟蹤，待匹配圖像由傳感器實(shí)時獲得，故稱之為實(shí)時圖。圖1是圖像特征點(diǎn)匹配的基本流程。

圖1 特征點(diǎn)匹配流程圖

由圖1可知，圖像特征點(diǎn)匹配大致可分為4個部分[5]：

1）特征點(diǎn)提取。圖像特征點(diǎn)一般是灰度變化的局部極值點(diǎn)，其鄰域圖像含有顯著的結(jié)構(gòu)性信息，也可以沒有實(shí)際的直觀視覺意義，但卻在某種角度、某個尺度上其鄰域區(qū)域含有豐富的易于匹配的信息。重要的是特征點(diǎn)能在參考圖和實(shí)時圖中重復(fù)的提取到，這是保證特征點(diǎn)匹配算法有效的基礎(chǔ)。常用的特征點(diǎn)提取算子有Moravec算子[6]、Harris算子[7]、Harris-affine算子[8]以及SIFT（Scale Invariant Feature Transform、尺度不變量特征變換）算子[9]等。

2）特征描述子生成。這是各個匹配算法主要的不同所在。特征描述要求對特征點(diǎn)鄰域信息提取一些不受光照、旋轉(zhuǎn)、縮放、平移等因素影響的特征，特征空間的選擇決定了圖像的哪些特性參與匹配，哪些特性將被忽略。選擇合理的特征空間可以降低各類圖像變化因素對匹配算法穩(wěn)健性、速度的影響。特征可以是灰度值，也可以是邊界、輪廓、統(tǒng)計(jì)特征（如矩不變量）、高層結(jié)構(gòu)描述與句法描述等。

3）特征匹配。這一步是建立參考圖和實(shí)時圖特征點(diǎn)之間的對應(yīng)關(guān)系。這一步包含兩個重要的方面，特征相似性度量和匹配搜索策略。特征的相似性度量根據(jù)生成的特征描述子，一般采用各種距離函數(shù)作為特征的相似性度量，如歐氏距離、街區(qū)距離、馬氏距離等。選擇合適的匹配搜索策略能夠降低錯匹配的概率，提高匹配速度。

4）圖像變換參數(shù)解算。在這一步中建立圖像的變換模型和消除錯配尤為關(guān)鍵，因?yàn)闊o論采用何種特征描述子和相似性判定度量，錯配難以避免，必須利用某些約束信息去除候選匹配點(diǎn)中的錯配；建立合適的變換模型有利于提高變換參數(shù)求解精度，降低運(yùn)算復(fù)雜度，常用的變化模型有剛體變換、仿射變換、投影變換和非線性變換等。

可以看出圖像特征點(diǎn)匹配是一種靈活性很大的技術(shù)方法，實(shí)際應(yīng)用中應(yīng)該根據(jù)具體的問題，有針對性的對上述幾個步驟進(jìn)行設(shè)計(jì)。

2 基于特征點(diǎn)匹配的目標(biāo)跟蹤技術(shù)

2.1 特征點(diǎn)提取

考慮下面的情況：當(dāng)飛行器飛向目標(biāo)的過程中，尤其是接近目標(biāo)的最后階段，目標(biāo)在像面上成像迅速膨脹，這是一個典型的尺度問題。而基于尺度空間理論發(fā)展來的SIFT算法對尺度變化情況下的圖像匹配問題尤其有效[9-10]，因此本文采用基于SIFT算法的特征點(diǎn)提取方法，具體方法如下：

1）尺度空間生成

在一系列合理的假設(shè)下，Koendetink證明高斯卷積核是實(shí)現(xiàn)尺度變換的唯一變換核[11]，Lindeberg等人進(jìn)一步推導(dǎo)證明高斯核是唯一的線性核[12]。一幅二維圖像(,)，則它在尺度空間里的圖像(,,)可由圖像與高斯核卷積得到：

(,,)＝(,,)?(,) (1)

式中：(,,)是二維高斯函數(shù)：

為了有效地在尺度空間檢測到穩(wěn)定的特征點(diǎn)，Lowe提出了高斯差分尺度空間（DOG尺度空間，Difference-Of-Gaussian），利用不同尺度的高斯差分函數(shù)與圖像卷積生成：

D

(

x

,

y

,

s

)＝[

G

(

x

,

y

,

k

s

)－

G

(

x

,

y

,

s

)]

?

I

(

x

,

y

)＝

(,,)－(,,) (3)

2）空間極值點(diǎn)檢測

為了尋找尺度空間的極值點(diǎn)，每一個像素點(diǎn)要和它同尺度的8個相鄰點(diǎn)以及上下相鄰尺度對應(yīng)的9×2個點(diǎn)共26個點(diǎn)比較，如果為極值的話，即判斷為候選特征點(diǎn)。

在極值點(diǎn)檢測之后，SIFT算法建議了一種用三維二次函數(shù)擬合的方法來精確定位極值點(diǎn)，去除低對比度的極值點(diǎn)；同時通過Hessian矩陣去除不穩(wěn)定的邊緣響應(yīng)點(diǎn)（因?yàn)镈OG算子會產(chǎn)生較強(qiáng)的邊緣響應(yīng)），以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。但針對本文的實(shí)時跟蹤系統(tǒng)應(yīng)用，這個方法對匹配性能的提高有限，對于增加的運(yùn)算量來說，顯得得不償失，故而略去這一步，直接將檢測到的極值點(diǎn)作為特征點(diǎn)。

2.2 特征點(diǎn)描述

盡管SIFT算法中基于梯度方向直方圖的特征描述子是獨(dú)特的、魯棒的，但其生成方式比較復(fù)雜，對于目標(biāo)跟蹤這樣實(shí)時性要求很高的應(yīng)用在當(dāng)前的硬件平臺上實(shí)現(xiàn)較困難。本文引入比較成熟的灰度相關(guān)匹配思想，形成了一種多維梯度特征描述子。該描述子的基本步驟如下：

1）以特征點(diǎn)為中心選取9×9圖像鄰域小塊，計(jì)算每個像素的(,)方向上的梯(I,I)，I和I由Sobel算子生成，如圖2所示。

圖2 垂直、水平方向上的Sobel算子

3）令MG＝|I|＋|I|＋G，MG稱之為(,)處的梯度聯(lián)合響應(yīng)，(,,)稱之為梯度權(quán)值系數(shù)，經(jīng)驗(yàn)選取(2, 2, 1)；

4）以特征點(diǎn)為中心9×9圖像鄰域每個像素點(diǎn)的梯度聯(lián)合響應(yīng)作為特征分量，這樣每個特征點(diǎn)形成81維的特征向量(1,2, …,81)。

2.3 特征點(diǎn)匹配

采用歐氏距離作為匹配相似性度量：

式中：(,)表示特征點(diǎn),之間的歐氏距離。當(dāng)參考圖和時實(shí)圖的特征向量生成后，對于參考圖中的每一個特征點(diǎn)，在實(shí)時圖中找出與其歐氏距離最近的前2個特征1，2（1＜2），利用最近鄰比值來判決是否接受匹配點(diǎn)對，為方便運(yùn)算，避免開平方的計(jì)算，公式表示如下：

12－22＜0 (5)

這里通常取0.5～0.6，至此形成匹配對的特征點(diǎn)構(gòu)成匹配點(diǎn)對集。

2.4 跟蹤點(diǎn)解算

這里計(jì)算圖像的變換參數(shù)時采用六參數(shù)仿射模型。實(shí)際上仿射模型是一個非奇異（no-singular）的線性變換接上一個平移變換，是圖像之間非線性變換模型的一階線性近似，它引入了目標(biāo)的變形參數(shù)，而傳統(tǒng)的相關(guān)法僅考慮目標(biāo)在兩幅圖像中的平移量，沒有考慮變形量。這就使得本方法的運(yùn)算模型較為精確，同時它又是一階線性近似，模型不至于太復(fù)雜[13]?？梢哉f仿射模型既在一定程度上保證了模型的精確性，又簡化了計(jì)算。通過解匹配點(diǎn)的變換方程來計(jì)算圖像間的變換參數(shù)。對于圖像間對應(yīng)的兩點(diǎn)(,)，(,)的仿射變換可以用下面公式表示：

利用匹配點(diǎn)對集，用最小二乘法求出6個仿射參數(shù)，然后求出參考圖中的跟蹤點(diǎn)在實(shí)時圖中的對應(yīng)位置。

2.5 參考圖更新

要實(shí)現(xiàn)持續(xù)穩(wěn)定的目標(biāo)跟蹤，更新參考圖（模板）是必要的，然而由于跟蹤過程中幀間變化一般較小，過快的模板刷新反而會加速跟蹤漂移現(xiàn)象的產(chǎn)生。尋找合適的模板刷新方法是一項(xiàng)很難的工作，最簡單的刷新方法是定時刷新，顯然這對復(fù)雜多變的跟蹤過程是不合適的。本文采取的參考圖刷新方法是根據(jù)特征點(diǎn)匹配的狀況來決定是否刷新模板，具體方法如下：假設(shè)實(shí)時圖中提取到的特征點(diǎn)數(shù)目為，匹配的點(diǎn)數(shù)目為，為確保跟蹤點(diǎn)計(jì)算的精度，必須保證有足夠多的正確匹配點(diǎn)，當(dāng)下列任一條件滿足就認(rèn)為參考圖與實(shí)時圖變形比較大，需要刷新模板。參考圖更新條件為：

條件(a)表示匹配點(diǎn)應(yīng)與提取到的特征點(diǎn)保持在一定比例以上；條件(b)表示最少有8個正確的匹配點(diǎn)來求解跟蹤點(diǎn)位置。滿足上述任一條件后則更新參考圖，將上一幀中的實(shí)時圖作為接下來的參考圖，繼續(xù)下面的跟蹤。

3 實(shí)驗(yàn)結(jié)果與分析

通過在Matlab平臺下編程實(shí)現(xiàn)本文算法，并對大量圖像和視頻序列（包括可見光和紅外）進(jìn)行了仿真實(shí)驗(yàn)，結(jié)果證明算法的有效性和可行性。圖3是一段通過攝像機(jī)拍攝的可見光視頻，目標(biāo)為衛(wèi)星電視接受天線，目標(biāo)在圖像中的變化包括：攝像機(jī)焦距調(diào)整引起的目標(biāo)尺度的變化，光照的變化，人手抖動造成的目標(biāo)平移和旋轉(zhuǎn)，以及各種噪聲的影響等等。初始鎖定的跟蹤點(diǎn)為衛(wèi)星天線鍋底中部的黑點(diǎn)，黑色邊框的中心為跟蹤過程中鎖定的跟蹤點(diǎn)，可以看出整個跟蹤過程漂移不明顯，目標(biāo)始終鎖定在一定范圍之內(nèi)。圖4是一段從飛機(jī)上采集到的紅外視頻序列，跟蹤目標(biāo)為一建筑物，目標(biāo)有由遠(yuǎn)及近，發(fā)生較大的旋轉(zhuǎn)和尺度變化，可以看出算法能夠適應(yīng)這些變化，整個過程跟蹤穩(wěn)定，未出現(xiàn)明顯的跟蹤漂移現(xiàn)象。黑色邊框的中心為鎖定的目標(biāo)跟蹤點(diǎn)。

顯然算法的運(yùn)算復(fù)雜度和待處理的圖像區(qū)域大小緊密相關(guān)，對參考圖和實(shí)時圖進(jìn)行全圖處理是不必要的，但選取的圖像區(qū)域也不能太小，過小的圖像區(qū)域不能保證提取到足夠多的穩(wěn)定的特征點(diǎn)，也就不能保證匹配的精度，最終導(dǎo)致解算的跟蹤點(diǎn)誤差較大。同時圖像區(qū)域選取過小，造成參考圖和實(shí)時圖重疊區(qū)域較小，甚至沒有重疊區(qū)域，這樣將導(dǎo)致跟蹤失敗。本文在參考圖和實(shí)時圖中選取以跟蹤點(diǎn)為中心128×128像素大小區(qū)域，這樣做一方面保證待匹配的兩幅圖像區(qū)域包含大量的特征信息，使提取的特征點(diǎn)數(shù)目保持在一定水平（30個以上）；另一方面，當(dāng)飛行器極端情況下發(fā)生劇烈晃動，圖像發(fā)生了較大平移量，例如在某一方向上平移了64個像素，這樣參考圖和實(shí)時圖之間仍然有64×128的重疊區(qū)域，保證了圖像匹配以及最終跟蹤點(diǎn)求解的精度。將算法移植到基于TMS320C6678處理器的硬件平臺，經(jīng)過一系列軟件優(yōu)化后，將采集的圖像視頻數(shù)據(jù)導(dǎo)入到硬件平臺中進(jìn)行處理，以此來驗(yàn)證算法的實(shí)時性，通過實(shí)驗(yàn)表明本文算法能夠滿足50Hz幀頻實(shí)時處理的性能要求。

4 結(jié)論

本文在基于圖像特征點(diǎn)匹配算法的基礎(chǔ)上，形成了一種針對地面固定目標(biāo)穩(wěn)定跟蹤的方法。該方法針對圖像跟蹤系統(tǒng)的實(shí)際應(yīng)用要求，提出了一系列解決方法。大量實(shí)驗(yàn)結(jié)果表明，本文的方法能一定程度上克服圖像跟蹤系統(tǒng)在目標(biāo)迅速膨脹時無法持續(xù)穩(wěn)定跟蹤的現(xiàn)象，有效解決跟蹤點(diǎn)漂移問題，在光電精確制導(dǎo)武器末端制導(dǎo)系統(tǒng)中具有較強(qiáng)的應(yīng)用潛力。

圖3 可見光圖像跟蹤仿真結(jié)果

圖4 紅外圖像跟蹤仿真結(jié)果

Fig.4 Results of IR image tracking

[1] Comaniciu D, Ramesh V, Meer P. Real-time tracking of non-rigid objects using mean Shift[C]//, 2000: 142-149

[2] Porikli F, Tuzel O, Meer P. Covariance tracking using model update based on Lie Algebra[C]//(), 2006, 1: 728-735.

[3] Porikli F. Achieving real-time object detection and tracking under extreme conditions[J]., 2006, 1(1): 33-40.

[4] 戚世貴. 基于圖像特征點(diǎn)的提取匹配及應(yīng)用[D]. 長春: 吉林大學(xué), 2008.

QI Shigui.The Research of Features Extraction, Registration and Application[D]. Changchun: Jilin University, 2008.

[5] 胡志萍. 圖像特征提取、匹配和新視點(diǎn)圖像生成技術(shù)研究[D]. 大連: 大連理工大學(xué), 2005.

HU Zhiping. Extraction Corresponding Feature and Image Synthesis of New Viewpoint[D]. Dalian:Dalian University of Technology, 2005.

[6] Moravec H. Rover visual obstacle avoidance[C]//, Vancouver, 1981: 785-790.

[7] Harris C，Stephens M. A combined corner and edge detector[C]//, Manchester: University of Manchester, 1988: 147-151.

[8] Mikolajczyk K, Schmid C. Scale and affine invariant interest point detectors[J]., 2004, 60(1): 63-86.

[9] Lowe D G. Object recognition from local scale invariant features[C]//, Corfu, 1999: 1150-1157.

[10] Lowe D G. Distinctive image features from scale invariant key points[J]., 2004, 60: 91-110.

[11] Koenderink J J. The structure of images[J]., 1984, 50: 363-396.

[12] Lindeberg T. Scale-space theory, a basic tool for analysing structures at different scales[J]., 1994, 21(2): 224-270.

[13] 劉曉春, 朱憲偉, 于起峰. 基于生物視覺的目標(biāo)匹配原理與實(shí)驗(yàn)進(jìn)展[C]//光電探測與制導(dǎo)技術(shù)的發(fā)展與應(yīng)用研討會論文集, 2007: 17-19.

LIU Xiaochun, ZHU Xianwei, YU Qifeng.Target matching based on biological vision and its developed experiment[C]//, 2007: 17-19.

A Method of Object Tracking Based on Feature Point Matching

GUAN Xuewei

(,621000,)

Aiming for the image tracking feature of precise guidance systems, a new object tracking algorithm based on image feature point matching is proposed to track ground immovable object. Firstly, feature points are extracted by using DOG(Difference-Of-Gaussian) scale space. Secondly, feature points are described by local gradient, the ratio of between the nearest neighbor point and the second nearest neighbor point is set as feature point matching criterion. Thirdly, tracking position is got by calculating affine model. Finally, an effective update strategy of reference image is proposed. Many experiments show that this method is robust to track ground immovable object and can effectively inhibit tracking-shift.

object tracking，feature matching，affine model，scale space

TP391

A

1001-8891(2016)07-0597-05

2015-10-20；

2016-03-09.

管學(xué)偉（1982-），男，工程師，研究方向?yàn)楣怆娦盘柵c信息處理。