王 劍，倪育博

（中國民航大學 a.民航空管研究院；b.中歐航空工程師學院，天津 300300）

機場監(jiān)視目標圖像匹配研究

王 劍a，倪育博b

（中國民航大學 a.民航空管研究院；b.中歐航空工程師學院，天津 300300）

雙目立體視覺測量技術(shù)用于機場場面的目標監(jiān)視，關(guān)鍵是對具有相同特性的目標進行正確的像素點匹配。提出用SIFT算法獲得目標的粗匹配點并用極線約束方程剔除目視誤匹配點的方法，達到正確像素點匹配的目的。方法應(yīng)用表明，在SIFT粗匹配的基礎(chǔ)上利用設(shè)定臨界閾值的極線約束方程能消除目視誤匹配點。

監(jiān)視；雙目視覺；特征匹配算法；極線約束；閾值

目前大型樞紐機場主要采用場面監(jiān)視雷達等手段實現(xiàn)監(jiān)視[1]。國際民航組織針對先進的場面移動引導控制系統(tǒng)（A-SMGCS）要求必須有對非合作式目標的監(jiān)視手段[2]。利用雙目視覺定位解算的監(jiān)視方式，匹配是定位精度的保證。基于圖像特征匹配的SIFT算法信息量豐富，并對尺度縮放、視角變化等干擾具有很好的魯棒性。工程常用的結(jié)合SIFT和RANSAC的誤匹配點搜索算法很難滿足機場監(jiān)視的時效性，因此采用極線約束方程改進匹配算法。

1 研究與方法

1.1 匹配算法和誤匹配點的篩選

目標的同名點匹配方法主要采用基于特征的匹配[3]。SIFT算法作為其中經(jīng)典的特征匹配算法，憑借其尺度旋轉(zhuǎn)不變性，而且對圖像變形、光照變化的強適應(yīng)性，改善了傳統(tǒng)的特征匹配算法[4]?；赟IFT算法的特征匹配通常有以下3個步驟：①提取具有旋轉(zhuǎn)不變性的特征點；②為特征點建立向量描述；③特征點的粗匹配。

1.1.1 旋轉(zhuǎn)不變性的特征點提取

利用二維高斯函數(shù)G（x，y，σ）和圖像函數(shù)I（x，y）的卷積運算可建立尺度空間函數(shù)[5]為

式中，（x，y）是圖像像素點在像面的二維位置坐標。σ表示圖像平滑程度的尺度參數(shù)，尺度參數(shù)較大時展示圖像的概貌特征，尺度參數(shù)較小時展示圖像的細節(jié)特征[6]。尺度旋轉(zhuǎn)不變特征點是令得到的像素點[7]。特征點是由高斯差分（DoG）空間的局部極值點組成的，特征點的初步探查是通過同一組內(nèi)各DoG相鄰兩層圖像之間比較完成的。為尋找DoG函數(shù)的極值點，每一個像素點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小。由于采用高斯差分方法檢測到的極值點是離散空間的極值點，要通過擬合三維二次函數(shù)來精確確定特征點的位置和尺度，同時去除低對比度的特征點和不穩(wěn)定的邊緣響應(yīng)點[8]（因為高斯差分算子會產(chǎn)生較強的邊緣響應(yīng)），以增強匹配穩(wěn)定性、提高抗噪聲能力。

1.1.2 特征點的向量描述

為使特征點具有旋轉(zhuǎn)不變性，用圖像梯度表示特征點[9]。定義梯度模值和梯度方向分別為

以特征點為中心選定一個鄰域，利用該鄰域內(nèi)所有像素點的梯度模值和梯度方向構(gòu)建梯度直方圖[10]。梯度直方圖的橫坐標設(shè)8個梯度方向，每個方向表示相鄰45°的范圍?？v坐標表示不同方向的梯度模值。將梯度直方圖中模值最大所對應(yīng)的方向定義為特征點主方向。以特征點為中心，選取以主方向為法向的16× 16像素區(qū)，將該像素區(qū)均勻地劃分為16個子區(qū)域，每個子區(qū)域?qū)?yīng)4×4像素區(qū)。對每個子區(qū)域繪制梯度方向直方圖，計算每個梯度方向的累加值，形成一個種子點。每個種子點有8個方向的向量信息，這樣對于一個特征點就可以產(chǎn)生128維的SIFT特征向量，即SIFT特征向量描述符[10]。SITF特征向量描述符如圖1所示。

圖1 SIFT特征描述符示意圖Fig.1 SIFT feature descriptor

1.1.3 特征點粗匹配

利用2幅圖像特征點對應(yīng)的特征向量，計算歐氏距離可以判定2幅圖像中特征點的相似性[10]。取圖像1中的某個特征點，排序篩選出其與圖像2中歐氏距離最小的前2個特征點。在這2個特征點中，如果最短距離除以次短距離小于某個值（稱之為比例閾值），則可定義這一對特征點為粗匹配點。即距離比率小于某個閾值的認為是正確匹配[10]。

1.1.4 極線約束方程

如果在一幅圖像中可以找到特征點，則另一幅圖像對應(yīng)的特征點一定在極線上，利用極線可找到對應(yīng)的特征點[10]。攝像機的成像公式為[11]

其中：（ui，vi）表示像點在成像面i上的坐標；（u0i，v0i）是相機i中心在成像面的坐標；（kxi，kyi）表示相機i分別在X軸和Y軸的放大率；Ri是相機i的3×3旋轉(zhuǎn)矩陣；向量pi是相機i的位置向量；（xω，yω，zω）表示物在世界坐標系下的坐標；M3i是3×3的矩陣；m3i是3×1的向量。2臺相機監(jiān)視同一物體時，i值分別取1和2。列出二維方程組，消去相同的物體點坐標，化簡得

1.2 消除誤匹配點的算法

在實際應(yīng)用中，由于測量誤差，匹配點無法嚴格滿足方程（7），因此嚴格利用極線約束方程式無法區(qū)分匹配點和誤匹配點。為解決該問題，本文定義極線約束算子并將所有粗匹配點代入極線約束算子中，計算表明，存在一個臨界閾值ε使得目視匹配點滿足條件將8個目視匹配點代入方程（7）可以求得相機基本矩陣F。

在很多工程應(yīng)用中，基于SIFT的誤匹配點搜索會采用RANSAC的方法對誤匹配點矯正，該方法即隨機抽樣一致性算法，通過迭代的方式估計數(shù)學模型，計算篩選誤匹配點[12]。在監(jiān)視過程中，結(jié)合RANSAC的匹配方法，每次輸出粗匹配點后都要迭代計算誤匹配點。而在機場目標監(jiān)視應(yīng)用中，由于監(jiān)視視角會提前選擇，因此采用標定的方法計算基本矩陣，結(jié)合基本矩陣利用關(guān)系搜索誤匹配點的方法可以免去每一次的迭代計算，減少計算量，進一步滿足機場場面監(jiān)視的實時要求。因此結(jié)合改進極線約束方程方法的SIFT算法對于機場目標監(jiān)視更有意義。

算法由Matlab和C語言混編實現(xiàn)。基于SIFT算法，提取圖像特征點，形成特征點向量描述。利用Matlab迭代計算基本矩陣，將所有粗匹配點利用條件判斷，滿足條件的為真實匹配點，不滿足條件的為誤匹配點，并刪除。

結(jié)合SIFT算法以及極線約束方程，提出的目標匹配算法流程如圖2所示。

圖2 目標匹配算法流程圖Fig.2 Target matching algorithm during surveillance

圖3為利用該算法運行得到的匹配效果。圖中不滿足約束條件的有2個匹配點，與目視的實際情況是符合的。

圖3 程序運行匹配效果Fig.3 Target matching simulation

2 結(jié)果與分析

將結(jié)合極線約束算子的相似特征點匹配方法，應(yīng)用于機場場面飛行器監(jiān)視目標匹配。根據(jù)該算法，對不同拍攝角度、不同分辨率的圖像進行處理。多組仿真表明，匹配點集中在機頭前端（包括駕駛艙舷窗）、前起落架、主起落架、發(fā)動機進氣口、垂直尾翼、大翼翼尖處。在選擇比較高的比例閾值時，計算出的匹配點會出現(xiàn)在跑道燈、跑到裂紋等非飛機目標的物體上。甚至在選擇有候機樓背景的監(jiān)視區(qū)域時，會出現(xiàn)大量匹配點位于建筑物上。這對于以飛機為目標的監(jiān)視系統(tǒng)帶來“噪聲”，影響定位計算效率。因此，監(jiān)視背景以及比例閾值的選取對于以飛機為目標的匹配和定位有影響。

2.1 比例閾值對匹配的影響

采用486×729的8位灰度圖像，先對2個視角圖像計算，提取圖像中的特征點，并建立特征點描述符。左側(cè)視角圖像計算出有144個特征點，右側(cè)視角圖像計算出有181個特征點。2個視角特征點如圖4～圖5所示。

圖4 左視角特征點分布Fig4 Feature point distribution from left view

圖5 右視角特征點分布Fig5 Feature point distribution from right view

對2幅視圖中的144×188個特征點對中篩選匹配點。當比例閾值取0.4和0.9時，分析所有的粗匹配點，可得結(jié)果如圖6～圖7所示。

圖中給出了粗匹配點的分布。比例閾值設(shè)定為0.4時，得到44個粗匹配點；其中有1個誤匹配點，誤匹配率為5%。其中位于飛機上，而且正確匹配的特征點約為93%。

比例閾值設(shè)定為0.9時，得到93個粗匹配點，其中有22個誤匹配點，誤匹配率為24%。匹配點的飛機特性不再明顯，出現(xiàn)了如場面車輛匹配點或燈柱等匹配點，不利于目標位置計算。

圖6 比例閾值為0.4的匹配效果與統(tǒng)計Fig.6 Matching result and statistics when threshold is 0.4

圖7 比例閾值為0.9的匹配效果與統(tǒng)計Fig7 Matching result and statistics when threshold is 0.9

從這組實驗的對比可以看出，比例閾值的選定對于場面監(jiān)視下飛機匹配十分重要。比例閾值選擇過高，誤匹配率會顯著增加，同時匹配點的飛機特性也有所降低。當比例閾值選擇過低時，匹配點數(shù)目過少，難以完整有效地描述監(jiān)視目標狀態(tài)。恰當?shù)谋壤撝的軌颢@得足夠的匹配點和可以接受的誤差率。

通過對比試驗，利用SIFT算法的目標匹配，圖像質(zhì)量（包括圖像大小以及圖像完好度）以及比例閾值的選取對實驗結(jié)果有著重要的影響。選取恰當?shù)谋壤撝?，以飛機為監(jiān)視目標的匹配點具有明顯的飛機特性。

2.2 臨界閾值對于匹配的影響

場面監(jiān)視需要足夠數(shù)量的匹配點，比例閾值的數(shù)值不能選取過小，否則會產(chǎn)生更多誤匹配點。誤匹配會使雙目視覺的目標定位計算出現(xiàn)偏差。因此，數(shù)據(jù)處理過程中必須要消除誤匹配點。以下是消除誤匹配點的過程。目視選擇8個匹配點坐標，如表1所示。

表1 8個目視匹配點坐標Tab.1 Coordinates of 8 matching points

將對應(yīng)匹配點代入方程（7），經(jīng)過迭代可以得到基本矩陣F為

選擇比例閾值為0.7，計算得到73個粗匹配點。利用極線約束算子對所有粗匹配進行計算，找到2組誤匹配點如圖8～圖9所示。

圖8 第1組誤匹配點Fig.8 Error matching point 1

圖9 第2組誤匹配點Fig.9 Error matching point 2

考慮到機場監(jiān)視的視角固定，而且對時效有較高要求。本方法與利用RANSAC（隨機抽樣一致）的特征匹配誤差矯正算法相比，可以免去RANSAC算法的迭代計算時間，保障場面監(jiān)視的時效性。

3 結(jié)語

在圖像處理領(lǐng)域中，SIFT算法特征獨特性好，信息量豐富，并對尺度縮放、旋轉(zhuǎn)、視角變化、遮擋、噪聲和亮度變化等大部分干擾都具有很好的魯棒性。SIFT算法在機場目標識別與匹配方面有很大利用價值。

但是該方法匹配精度無法保證，容易出現(xiàn)誤匹配點。許多改進算法如SURF算法都無法改善基于歐式距離描述特征點相似度的SIFT算法，這是因為存在光照，拍攝角度差異等問題，誤匹配可能比正確匹配具有更小的歐式距離。采用極線約束方程來剔除可視誤匹配點的方法，可以達到正確像素匹配的目的[12]。

由于系統(tǒng)很小的測量誤差會使一對匹配點無法滿足極線約束方程。本文利用基本矩陣和已知匹配點坐標，定義極線約束算子比較利用極線約束算子計算值和臨界閾值可以很好地找出誤匹配點。

方法應(yīng)用結(jié)果表明，結(jié)合SIFT和極線約束方程的匹配方法飛機特征點明顯，匹配效果好。輸出的像素點是機場飛機定位計算的關(guān)鍵。

[1]CAMPBELL S D，LONDNER E，KEEFE J，et al.Airport Surveillance Requirements Validation Using Monte Carlo Simulation[C]//2014 Tyrrhenian International Workshop on Digital Communications-Enhanced SurveillanceofAircraftandVehicles（TIWDC/ESAV）.Roma，Italy：IEEE，2014：29-34.

[2]羅 曉，盧 宇，吳宏剛.采用多視頻融合的機場場面監(jiān)視方法[J].電訊技術(shù)，2011，51（7）：128-132.

[3]曾 巒，王元欽，譚久彬.改進的SIFT特征提取和匹配算法[J].光學精密工程，2011，19（6）：1391-1397.

[4]韓 偉，鄭江濱，李秀秀.基于外極線的快速精確立體匹配算法[J].計算機工程與應(yīng)用，2008，44（1）：51-53.

[5]程德志，李言俊，余瑞星.基于SIFT算法的圖像匹配方法[J].計算機仿真，2011，7（1）：285-287.

[6]龍建武，申鉉京，臧 慧，等.高斯尺度空間下估計背景的自適應(yīng)閾值分割算法[J].自動化學報.2014，40（8）：1773-1782.

[7]WANG H，YANG K，GAO F，et al.Normalization Methods of SIFT Vector for Object Recognition[C]//10th International Symposium on Distributed Computing and Applications to Business，Engineering and Science（DCABES）.Wuxi，China：IEEE，2011：175-178.

[8]王 梅，屠大維，周許超.SIFT特征匹配和差分相乘融合的運動目標檢測[J].光學精密工程，2011，19（4）：892-899.

[9]楊曉敏，吳 煒，卿粼波，等.圖像特征點提取及匹配技術(shù)[J].光學精密工程，2009，17（9）：2276-2282.

[10]HSU C Y，LU C S，PEI S C.Image feature extraction in encrypted domain with privacy-preserving SIFT[J].IEEE Trans Image Processing，2012，21（11）：4593-4607.

[11]SONKA M，HIAVAC V，BOYIE R.圖像處理、分析與機器視覺[M].3版.艾海舟，蘇延超，譯.北京：清華大學出版社，2010：408-412.

[12]SHI G，XU X，DAI Y.SIFT Feature Point Matching Based on Improved RANSACAlgorithm[C]//5th International Conference on，Intelligent Human-Machine Systems and Cybernetics（IHMSC）.Hangzhou，China：IEEE，2013：474-477.

（責任編輯：劉智勇）

Target image matching for airport surveillance

WANG Jiana，NI Yu-bob
（a.Civil Aviation ATM Institute，b.Sino-European Institute of Aviation Engineering，CAUC，Tianjin 300300，China）

The binocular stereoscopic vision technology could be used to locate targets on an aerodrome.To ensure positioning targets，the pixels on images from two vision sensors should be matched precisely.Combining with the advantage of SIFT and an epipolar line constraint equation，a method of pixel matching is proposed.Using this method，it can not only ensure the accuracy of target matching，but also automatically find out the feature point of aircraft which is useful for position and calculation.

surveillance；binocular stereoscopic vision technology；SIFT；epipolar line constraint；threshold

TP317.4

：A

：1674－5590（2015）06－0017－05

2015-03-09；

：2015-04-02

：國家自然科學基金項目（61179043）；中央高?；究蒲袠I(yè)務(wù)費專項（SY-1447）

王劍（1961—），男，江蘇徐州人，教授，博士，研究方向為高速光纖通信系統(tǒng)、光電檢測技術(shù)、航管雷達顯示技術(shù)等.