胡同喜，牛雪峰，譚　洋，陳新鵬

(1. 吉林大學(xué)地球探測科學(xué)與技術(shù)學(xué)院，吉林 長春 130026；

2. 中國科學(xué)院遙感與數(shù)字地球研究所，北京 100000)

Unmanned Aerial Vehicle Images Mosaic Based on SURF Algorithm

HU Tongxi，NIU Xuefeng，TAN Yang，CHEN Xinpeng

?

基于SURF算法的無人機遙感影像拼接技術(shù)

胡同喜1, 2，牛雪峰1，譚洋1，陳新鵬1

(1. 吉林大學(xué)地球探測科學(xué)與技術(shù)學(xué)院，吉林 長春 130026；

2. 中國科學(xué)院遙感與數(shù)字地球研究所，北京 100000)

Unmanned Aerial Vehicle Images Mosaic Based on SURF Algorithm

HU Tongxi，NIU Xuefeng，TAN Yang，CHEN Xinpeng

摘要：在影像匹配的研究上，SIFT算法在特征匹配方面的應(yīng)用一直是國內(nèi)外學(xué)者關(guān)注的熱點之一。最近幾年，有研究者提出了SURF算法，該算法是在SIFT算法基礎(chǔ)上作了一些改進后得到的新算法。為了比較這兩種算法在影像特征點提取上的優(yōu)劣性，本文開發(fā)了相應(yīng)的軟件程序，并采用無人機遙感影像數(shù)據(jù)進行了算法的實例驗證。發(fā)現(xiàn)相比于SIFT算法，SURF算法在影像特征點提取中無論是運算速度還是提取的特征點數(shù)量都有較大進步?；诖藢URF算法應(yīng)用到無人機遙感影像拼接中,并通過高斯濾波對拼接影像進行平滑處理，獲得了令人滿意的拼接影像。

關(guān)鍵詞：SIFT算法；SURF算法；特征點提??；影像匹配；影像拼接

一、引言

影像匹配[1]在影像拼接過程中處于關(guān)鍵地位，是計算機視覺、虛擬現(xiàn)實研究過程中的一個熱點問題，由于飛行高度低等條件的限制，在無人機遙感平臺下無法獲取全景影像，因而需要用影像拼接技術(shù)來形成全景圖，而影像拼接效果的好壞在很大程度上取決于影像匹配的精度[2]。不少研究者對匹配問題作了大量的研究，也得到了很多匹配算法，如相位相關(guān)算法、基于比值的一些算法，以及基于灰度、面積[3]等的配準算法等，但是這些算法對獲取后的影像都有嚴格要求，尺度變化、旋轉(zhuǎn)度、整體變形等不能太大，所有影像的拍攝焦距要保持一致等。隨著計算機科學(xué)技術(shù)及影像處理技術(shù)的不斷進步，有學(xué)者提出了基于特征的配準方法[4],影像特征有3種，分別是點特征、線特征、面特征。數(shù)字影像的基礎(chǔ)就是點，點特征是最基本的特征且具有良好的性質(zhì)，它不隨光照、投影、平移、縮放的變形發(fā)生變化，計算過程變得簡化，而且能保持影像重要的灰度特征不受損失，因此在處理復(fù)雜變形及不同性質(zhì)的影像上顯得特別有用，而另外兩種特征在這些方面就顯得較弱了。但是，影像中的點特征檢測起來較難，而且用來檢測特征點的算法目前還不是很成熟和穩(wěn)定。不同研究者在點特征提取上提出的一些較好的算子有：Moraverc[5]算子，實現(xiàn)簡單，速度快，但易受噪聲的影響，并對邊緣敏感；Forstner[6]算子，相對比較復(fù)雜，提取特征點時間較長，提取精度較高，但只有設(shè)定合適的閾值時才能提取出精度高并合理的特征點；Harris[6]算子相對簡單，檢測速度快，穩(wěn)定性好,特別在影像無縮放變化的情況下,能夠較好地處理無縮放旋轉(zhuǎn)較小的影像特征點提取的問題；Trajkovic算子，計算速度非?？?，試驗證明，其速度是Harris算子的5倍以上，但穩(wěn)定性不好。

SIFT(scale invariant features transform)算法是Lowe D于2004年提出的一種特征匹配算法[7]，其總結(jié)了目前特征點提取的方法，尤其是基于具有不變性特征的技術(shù)，提出了這種對影像之間的一些縮放平移旋轉(zhuǎn)的變換上保持不變的點特征配準算法。該算法具有良好的穩(wěn)定性和較好的配準能力，能夠處理發(fā)生旋轉(zhuǎn)縮放、平移、仿射、投影、視角、光照變換等復(fù)雜情形下的匹配。雖然SIFT在影像特征提取方面有著很大的優(yōu)勢[8]，但該算法也有其不足之處，算法運算量大，對模糊邊緣或特征點較少的影像無法進行準確的特征點識別和提取，不能清晰地識別邊緣和輪廓而且提取出的點并不能進行配準，尤其是影像中目標物的角點，提取的精度并不能讓人滿意?；诖?，后續(xù)研究者提出了更優(yōu)越的SURF(speeded up robust features)算法[9]， SURF算法除了具有SIFT算法提取特征點的優(yōu)良特征外還在其弱點上有了很大的進步，是一個運算速度更快、實時性更強的特征點提取算法。

為獲得一種快速、高效的算法，實現(xiàn)低空無人機遙感影像拼接，本文在研究SIFT算法及SURF算法的基礎(chǔ)上，針對影像特征點提取問題，開發(fā)了相應(yīng)的軟件程序，并采用無人機遙感影像數(shù)據(jù)進行了算法的實例驗證。通過對比分析該兩種算法提取影像特征點效果的差異，將優(yōu)勢算法應(yīng)用到無人機遙感影像拼接試驗中，獲得了令人滿意的拼接影像。

二、影像特征提取及拼接算法

1. SIFT算法

利用SIFT算法提取影像特征點的簡要過程為：①檢測尺度空間極值，尺度空間理論[10]的核心內(nèi)容是在原影像上使用高斯卷積核進行變換得到在多尺度空間下的表示序列，并從這些序列中提取出空間極值進行特征提取[11]；②定位和篩選特征點，利用擬合函數(shù)法并求取泰勒級數(shù)，以求取特征點的位置和尺度，用海森矩陣剔除不穩(wěn)定的邊緣響應(yīng)點增強抗噪能力提高穩(wěn)定性；③為特征點賦方向值，賦給每個方向特定的值后，每個特征點即具有了一個特征向量，該向量具有旋轉(zhuǎn)不變性；④描述方法[12]，通過以上步驟得到的特征點具有位置、尺度、方向三重屬性。一個特征點描述方法的復(fù)雜性由其方向數(shù)和直方圖組數(shù)(即采用多大的局部區(qū)域)決定，如圖1和圖2所示：每個方格代表特征點鄰域所在尺度空間的一個像素，箭頭所示為梯度方向及梯度大小，在4×4窗口計算8個方向的梯度。

圖1　鄰域梯度方向　　　　圖2　關(guān)鍵點特征向量

2. SURF算法

文獻[13]在研究SIFT算法的基礎(chǔ)上對其作了改進，提出了SURF算法。該算法在求取特征點的速度和穩(wěn)定性上有了很大提高，實現(xiàn)方法是對原影像求積分，使用harr小波求導(dǎo)代替高斯濾波，以達到加速的目的，而采用Hessian[14]矩陣增加了特征點的健壯性。其主要實現(xiàn)的過程如下：

1) 對原始影像進行積分運算[15]：將原影像的灰度值累加起來得到積分影像，用灰度的積分值取代SIFT算法中的高斯濾波，可以提高獲取特征點的速度，達到加速的目的。

2) 檢測極值點： 數(shù)字影像是一個二維非連續(xù)矩陣，通過高斯卷積平滑處理，再進行差分運算，對于非連續(xù)的影像像空間點X(x,y)和尺度參數(shù)σ,Hessian矩陣可寫為

(1)

(2)

式中，g(σ)是高斯-拉普拉斯變換算子中的高斯擴展函數(shù)。

D函數(shù)是差分運算，對于數(shù)字影像只能通過空間域的差分去近似，SURF算法中以橫向、縱向和對角線方向的差分來近似代替微分，如圖3 所示。

圖3　空間域差分示意圖

該算法的極值檢測沒有使用金字塔影像方法，而是采用伸縮模板方法，避免了對影像每次都要進行光滑處理和重采樣。伸縮模板法就是根據(jù)影像積分后的特點定義不同的尺度的模板對影像進行濾波處理以進行尺度搜索。金字塔影像法每次運算中都要給影像重新分配空間占用內(nèi)存，而伸縮模板法則不需要，因此，提高了計算機的運算效率。

3) 定義特征描述方法:SURF算法首先定義一個以6σ為半徑的圓形鄰域，在該范圍內(nèi)使用一個張角為π/3的扇形進行旋轉(zhuǎn)搜索，每次轉(zhuǎn)動的角度為π/12，每轉(zhuǎn)動一次賦一個值，最后將這些值中的最大值作為主方向。搜索過程如圖4所示。

圖4　特征點主方向搜索示意圖

為了削弱灰度的強度與對比度變化對結(jié)果的影響，SURF算法用一個4×4×4=64維向量來描述一個特征點，并對其進行歸一化處理。

4) 對提取特征點后的影像進行匹配：首先將一幅影像中的一個特征點作為目標點，在另一幅影像中讓每個特征點與之進行匹配，當某個特征點與目標特征點的特征向量之間的距離小于某個閾值時則判定此點為同名特征點。常用的比較方法是歐氏距離法，其計算式如下

統(tǒng)計另外一幅影像中所有特征點與目標點的距離，獲得最短的2個距離Dist1和Dist2，計算它們之間的比率

如果該比率小于設(shè)定的閾值，則判斷該兩點為同名點。

3. 影像拼接流程

本試驗的流程主要是先對無人機獲取的遙感影像進行預(yù)處理，主要包括用濾波方法減小噪聲的影響和對影像進行直方圖、增強等處理；然后用SURF算法提取影像的特征點，通過歐氏距離的計算進行同名點的匹配，利用RANSAC算法剔除匹配錯誤的點；最后將兩幅影像變換到一個坐標系下，拼成一幅全景圖，如圖5所示。

圖5　影像拼接流程

三、影像特征提取及拼接實例

1. 試驗數(shù)據(jù)

無人機(UAV)遙感即以低空無人駕駛飛機為平臺，根據(jù)任務(wù)不同而搭載不同的儀器對地表進行遙測以獲取必要的地表信息，常見的搭載儀器有合成孔徑雷達、掃描儀、CCD數(shù)碼等。無人機搭載CCD數(shù)碼相機獲取地表影像時機動靈活、精度高，但是由于高度低無法獲得目標區(qū)域內(nèi)的全景影像，因而需對其進行拼接以獲得滿足要求的影像。本文試驗采用無人機攜載的配24 mm定焦鏡頭的佳能5D MarkII單反相機于2011年4月拍攝的郊外影像數(shù)據(jù)，影像重疊度60%，氣象條件優(yōu)良，無人機平臺穩(wěn)定，成像清晰，有利于進行影像特征提取及拼接試驗。圖6為一個像對的試驗影像。

圖6　試驗影像像對

2. 影像特征提取試驗對比

針對SIFT算法和SURF算法兩種影像特征提取算法，本文開發(fā)了相應(yīng)的軟件程序，并將其應(yīng)用到試驗影像數(shù)據(jù)中進行影像特征提取，特征提取結(jié)果如圖7 和圖8 所示。

圖8　SURF算法提取特征點

結(jié)果顯示SIFT提取出了203個特征點，用時為461.551 ms；SURF提取出了405個特征點，用時為342.504 ms。從特征提取影像上可以看出，圖8提取出的特征點明顯比圖7提取出的點多，時間上比SURF明顯短，而且提取的特征點質(zhì)量較高，可見在特征提取方面SURF算法有優(yōu)勢。在此基礎(chǔ)上，本文選用SURF算法進一步進行影像拼接試驗。

3. 影像拼接

影像拼接就是將兩幅甚至多幅具有一定公共部分的影像轉(zhuǎn)換到一個統(tǒng)一的坐標系中，從而合成一幅視野范圍較大的影像。在對影像進行拼接的過程中，主要有兩個問題需要解決：一個是算法中經(jīng)過匹配得到的影像特征點對并不能保證每對都是正確的，一旦有匹配錯誤的點對參與運算，將會大大降低匹配的精度，甚至使影像匹配錯誤，因而需要剔除；另一問題是任意兩幅影像即使重合度很大，但是在拍攝過程中由于光照條件、拍攝時間和角度等稍加變化即可導(dǎo)致影像的亮度不一致。因此，在拼接完成后會形成程度明顯不同的拼痕，這就需要對影像進行一些處理來削弱這些拼接痕，常用的方法就是平滑處理。

針對以上兩點必須解決的問題， 在剔除錯誤匹配的特征點對時，本文采用RANSAC算法。RANSAC算法是Fischler[16]等于1981年提出的。該算法是針對一些具有明顯錯誤或不當?shù)臄?shù)據(jù)，選取一組作為樣本求取該集合的數(shù)學(xué)模型參數(shù)，再根據(jù)求得的數(shù)序模型對樣本數(shù)據(jù)進行處理，剔除誤差較大的數(shù)據(jù)，這樣能夠很好地剔除匹配錯誤的同名點對。由于無人機遙感影像連續(xù)拍攝時兩張相片幾乎是在同一環(huán)境下拍攝，亮度差異不會太大，應(yīng)用常規(guī)影像平滑濾波即可達到很好的效果，因此本文采用了高斯平滑濾波，經(jīng)過參數(shù)調(diào)整，發(fā)現(xiàn)高斯卷積核參數(shù)取3×2時效果較佳。圖9為拼接影像效果圖。

圖9　拼接影像效果圖

四、結(jié)束語

本文在研究SIFT算法和SURF算法兩種影像特征提取算法的基礎(chǔ)上，開發(fā)了相應(yīng)的軟件程序，并將其應(yīng)用到無人機遙感影像特征提取及影像拼接中。通過對比兩種算法對同一幅影像提取特征點的結(jié)果，可以發(fā)現(xiàn)SURF算法不但在提取影像特征點數(shù)量和時間方面明顯比SIFT算法更有優(yōu)越性，而且特征點提取質(zhì)量更高，進而應(yīng)用到影像拼接中獲得了較好的效果。另外，鑒于該兩種算法對角點的提取不是很理想，提取的特征點對影像的三維重構(gòu)不是很理想，建議將SURF算法和Harris算子等其他角點提取算子結(jié)合應(yīng)用。本文研究的不足之處，如高斯平滑濾波中參數(shù)的設(shè)置問題、算法效率問題等，希望在以后的研究中加以完善。

參考文獻：

[1]何文峰，查紅彬. 基于平面特征的深度影像配準[C]∥中國人工智能進展.廣州：中國人工智能學(xué)會，2003.

[2]姚喜，盧秀山. 基于特征的影像拼接算法[J].城市勘測，2008(6)：75-76.

[3]袁建華，殷學(xué)民，鄒謀炎 一種用于影像超分辨的實時高精度像素內(nèi)配準方法[J].電子與信息學(xué)報，2007,29(1)：47-49.

[4]王軍，張明柱. 影像匹配算法的研究進展[J].大氣與環(huán)境光學(xué)學(xué)報，2007,2(1)：11-13.

[5]陳浩. 基于SURF特征匹配算法的全景圖拼接[D].西安：西安電子科技大學(xué)，2010.

[6]官云蘭，張紅軍，劉向美. 點特征提取算法探討[J].東華理工學(xué)報，2007，30(1)：41-45.

[7]LOWE D. Distinctive Image Features from Scale-invariant Key Points [J]. International Journal of Computer Vision，2004，60(2)：91-110.

[8]YANG Qiuju, XIAO Xuemei. Improved SIFT Algorithm Based on Canny Feature Points[J].Computer Engineering and Design, 2011,32(7):2428-2431.

[9]MURILLO A C,GUERRERO J J, SAGUES C.SURF Feature for Efficient Robot Localization with Omnidirectional Images[C]∥IEEE International Conference on Robotic and Automation.[S.l.]：IEEE International Conference on Robotics and Automation,2007:3903-3907.

[10]LINDEBER T G.Seale-space for Discrete Signals[J].IEEE Trallsactions on Pattern Analysis and Machine Intelligence，1990，12(3):234-254.

[11]曹楠，王萍. 基于SIFT特征匹配的影像無縫拼接算法[J].計算機與應(yīng)用化學(xué), 2011，28(2)：242-244.

[12]明洋，侯文廣，吳穎丹. SIFT特征匹配旋轉(zhuǎn)補償?shù)挠跋衿ヅ浞椒╗J].測繪科學(xué)，2011,36(3)：19-21.

[13]BAY H, TUVTELLARS T, GOOL L V .SURF: Speeded Up Robust Features[C]∥Conference on Computer Vision.Graz：Springer，2006.

[14]宋延爽，耿楠. 基于SURF算法的全景圖拼接與實現(xiàn)[J].計算機工程與設(shè)計，2013,33(12)：4647-4651.

[15]李士強. 基于SURF算法的視頻拼接技術(shù)的研究[D].杭州：浙江工商大學(xué)，2011.

[16]FISCHLER M A,BOLLES R C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].Comm. of the ACM，1981，24(6):381-395.

引文格式：胡同喜，牛雪峰，譚洋，等. 基于SURF算法的無人機遙感影像拼接技術(shù)[J].測繪通報，2015(1)：55-58.DOI:10.13474/j.cnki.11-2246.2015.0010

作者簡介：胡同喜(1989—)，男，碩士生，研究方向為微博地表遙感。E-mail：niuxf@jlu.edu.cn

收稿日期：2013-12-20

中圖分類號：P237

文獻標識碼：B

文章編號：0494-0911(2015)01-0055-04