喬文治

（洪都航空工業(yè)集團,江西南昌330024）

基于SIFT特征的無人機航拍圖像拼接

喬文治

（洪都航空工業(yè)集團,江西南昌330024）

無人機在飛行過程中由于機體的傾斜和抖動，造成航拍圖像出現(xiàn)大的仿射變形。因此，傳統(tǒng)的圖像拼接算法很難得到好的效果?；赟IFT(Scale Invariant Feature Transform)特征的圖像拼接算法，首先通過提取圖像的尺度不變特征點，解決了待拼接圖像間大的平移、旋轉(zhuǎn)、尺度變化的干擾。然后，通過歐式距離判斷得到初匹配特征點集，并利用RANSAC方法進一步精確了匹配點集，得到了準(zhǔn)確的變換矩陣；最后，采用加權(quán)平均法的圖像融合技術(shù)，得到了穩(wěn)定的、魯棒的圖像拼接結(jié)果。

圖像拼接；航拍圖像；SIFT；特征匹配

0 引言

無人機(Unmanned Aerial Vehicle，UAV)具有機動性強，反應(yīng)靈活，價格低等特點，無論在軍事還是民用上都有廣泛的運用前景。獲取高分辨率、能描述場景的二維或三維圖像是它的主要任務(wù)之一，但無人機遙感平臺在獲取圖像時，因受到其飛行高度和CCD相機焦距的限制，單張航拍圖像很難包含所有的目標(biāo)區(qū)域，因此，圖像拼接已成為無人機航拍圖像處理的關(guān)鍵問題之一。

圖像拼接（Image Mosaics）通常都是將數(shù)張有重疊部分（包括不同時間、不同視角、不同傳感器）的圖像拼成一副大型的無縫高分辨率圖像的技術(shù)。圖像拼接的方法可分為兩大類：基于空間域和基于頻域。基于頻域的算法主要利用傅里葉變換將圖像轉(zhuǎn)換到頻域進行拼接計算。例如，F(xiàn)ourier-Mellin算法，相位相關(guān)法等。這類算法速度快，但準(zhǔn)確性較差；基于空間域的圖像拼接算法是目前研究的熱點。1996年，R.Szeliski[1]將八參數(shù)投影變換模型用于圖像配準(zhǔn)，然后利用LM算法（Levenberg-Marquardt迭代非線性最小化方法）搜索參數(shù)空間獲得變換參數(shù)。這種算法對平移、旋轉(zhuǎn)變換有效，但當(dāng)圖像發(fā)生大的尺度等仿射變換時，用這種方法并不能得到很好的效果。1997年，他在文獻[2]中改進了這種算法，提出了通過迭代求精每幅圖像對應(yīng)的旋轉(zhuǎn)矩陣和攝像機焦距來實現(xiàn)拼接的方法，這種經(jīng)典的理論體系仍被沿用至今。當(dāng)前基于空間域的算法中，基于圖像特征的拼接算法已成為研究的主流。2003年，M.Brown和D.G.Lowe[3]提出了一種基于SIFT不變量的圖像拼接算法，這種算法適應(yīng)性強，準(zhǔn)確率高，而且算法完全自動完成且效果很好。2004年，趙向陽，杜立民[4]利用Harris算法提取角點并進行匹配，然后采用魯棒變換估計待拼接圖像的變換矩陣。這種算法在一定程度上提高了配準(zhǔn)算法的穩(wěn)健性，但是計算速度比較慢。2008年，李玲玲[5]提出了一種SIFT和Harris-Affine互補不變特征匹配的自動拼接算法，該算法去除了圖像序列的尺度、旋轉(zhuǎn)等幾何變形與光照的影響，實現(xiàn)了大矢量圖像的自動拼接。但由于Harris-Affine的迭代算法速度很慢，從而導(dǎo)致拼接算法速度變慢。

雖然近年來圖像拼接技術(shù)不斷涌現(xiàn)，但是，用這些方法對無人機獲取的航拍圖像進行拼接仍存在很多困難。首先，無人機獲取的圖像具體數(shù)據(jù)量大、重疊度高，為了快速的得到大視場圖像就必須使用圖像快速自動拼接系統(tǒng)來處理它的航拍圖像圖像；其次，無人機體積比較小,自穩(wěn)定性和抗風(fēng)能力差,雖然裝有自動駕駛與增穩(wěn)陀螺,但是在拍照的過程中不可避免地會出現(xiàn)傾斜、抖動,相機本身也存在鏡頭的幾何畸變,因此無人機拍攝的圖像相對于真實場景都有大的仿射變形。

本文針對無人機航拍圖像的特點，選擇能適應(yīng)大的平移、旋轉(zhuǎn)及尺度不變性的sift特征作為圖像的拼接特征，對不同拍攝條件下獲取的無人機航拍圖像進行了拼接。試驗結(jié)果表明，這種方法速度快，準(zhǔn)確性好，為無人機的航拍圖像處理提供了一種可行的方法。

1 無人機航拍圖像拼接流程

根據(jù)無人機航拍圖像的特點，圖像拼接由四部分組成：圖像幾何校正、圖像配準(zhǔn)、變換矩陣計算、圖像融合。幾何校正是對成像過程中所產(chǎn)生的一系列畸變進行校正，產(chǎn)生一幅符合某種地圖投影或圖形表達(dá)要求的新圖像，并且將變形的圖像糾正，統(tǒng)一到建立的坐標(biāo)系中，建立測量地物的坐標(biāo)信息[6]。圖像配準(zhǔn)是指對圖像間的匹配信息進行提取，在提取出的信息中尋找最佳的匹配，完成圖像間的對齊。圖像配準(zhǔn)是圖像拼接最關(guān)鍵的步驟。圖像融合是指在配準(zhǔn)以后對圖像進行縫合并平滑邊界，讓圖像過渡自然。圖像拼接的流程如圖1所示。其中，圖像配準(zhǔn)與融合是流程中最主要的步驟。

圖1 圖像拼接流程

2 無人機航拍圖像的配準(zhǔn)

無人機航拍圖像的配準(zhǔn)主要有兩個步驟：特征提取和特征匹配。圖像配準(zhǔn)算法一般可以分為基于頻率域和基于空間域兩類方法。由于無人機圖像有高重合度和大數(shù)據(jù)量的特點，所以選擇基于特征的配準(zhǔn)方法更為合適。

2.1 SIFT特征提取

本文利用SIFT特征檢測器在圖像的尺度空間內(nèi)進行特征檢測，確定特征點在圖像上的精確位置以及該特征點的尺度。首先，利用二維高斯核函數(shù)對圖像進行尺度變換，得到圖像多尺度空間的系列信息。二維高斯核函數(shù)

圖像的尺度空間L（x,y,σ）可表示為：

式（1）、（2）中，σ 為尺度參數(shù)，I(x,y)表示輸入圖像，*為在圖像坐標(biāo)(x,y)處的卷積運算。然后，對尺度空間L（x,y,σ）的第二層進行下采樣，并繼續(xù)進行上述高斯卷積，重復(fù)多次這樣的計算后得到高斯金字塔。最后，為得到具有良好的獨特性（Distinctiveness）和穩(wěn)定性 （Stability）的特征的，在圖像二維平面空間和DoG(Difference-of-Gaussian)尺度空間中同時檢測局部極值以作為特征點。DoG算子定義為兩個不同尺度的高斯核的差分，是歸一化LoG (Laplacian-of-Gaussian)算子的近似。DoG算子如式(3)所示：

對于圖像上的點，計算其在每一尺度下DoG算子的響應(yīng)值，這些值組成了特征尺度軌跡曲線。特征尺度曲線的局部極值點即為該特征的尺度。尺度軌跡曲線上完全可能存在多個局部極值點，這時可認(rèn)為該點有多個特征尺度。

2.2 SIFT特征匹配

SIFT特征匹配算法包括兩個階段，第一階段是SIFT特征向量的生成，即從多幅待匹配圖像中提取出對旋轉(zhuǎn)、尺度、亮度變化無關(guān)的特征向量；第二階段是SIFT特征向量的匹配。

2.2.1 SIFT特征向量的生成(圖2）

根據(jù)《山西省抗旱應(yīng)急水源工程實施方案編制有關(guān)技術(shù)要求（試行）》的要求，本次抗旱應(yīng)急水源工程基準(zhǔn)年為2013年，規(guī)劃水平年為2025年。2013年項目區(qū)人口為10 350人，人口自然增長率為6‰，設(shè)計用水居民人數(shù)按下式計算：

1）通過擬和三維二次函數(shù)以精確確定關(guān)鍵點的位置和尺度，同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點 (因為DoG算子會產(chǎn)生較強的邊緣響應(yīng))，以增強匹配穩(wěn)定性、提高抗噪聲能力。

2）利用特征點鄰域像素的梯度方向分布特性為每個關(guān)鍵點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

m（x,y）和 θ（x,y）分別為特征點領(lǐng)域像素（x,y）處梯度的模值和方向公式。其中L所用的尺度為每個關(guān)鍵點各自所在的尺度。在實際計算時，在以關(guān)鍵點為中心的鄰域窗口內(nèi)采樣，并將鄰域像素的梯度方向用直方圖統(tǒng)計。梯度直方圖的范圍是0～360度，其中每10度為一個柱，總共36個柱。直方圖的峰值則代表了該關(guān)鍵點處鄰域梯度的主方向，即作為該關(guān)鍵點的方向。

在梯度方向直方圖中，當(dāng)存在另一個相當(dāng)于主峰值80%能量的峰值時，則將這個方向認(rèn)為是該特征點的副方向。此時，一個特征點可能會存在多個方向（一個主方向，一個以上副方向），這樣做可以增強匹配的魯棒性。至此，每個關(guān)鍵點有三個信息：位置、尺度和方向。由此可以確定一個SIFT特征區(qū)域。

圖2 特征點鄰域梯度信息生成SIFT特征向量

3）生成SIFT特征向量。為確保特征的旋轉(zhuǎn)不變性，首先將圖像坐標(biāo)軸旋轉(zhuǎn)為特征點的主方向，然后以特征點為中心取8×8的窗口。假定圖2（a）的中心點為當(dāng)前特征點的位置，每個小格代表特征點鄰域所在尺度空間的一個像素，箭頭長度代表梯度模值，箭頭方向代表該像素的梯度方向，圖中藍(lán)色的圈代表高斯加權(quán)的范圍 （越靠近特征點的像素梯度方向信息貢獻越大）。然后在每4×4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點，如圖2（b）所示。此圖中一個關(guān)鍵點由2×2共4個種子點組成，每個種子點有8個方向向量信息，特征向量共32維。這種鄰域方向性信息聯(lián)合的思想增強了算法抗噪聲的能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。實際計算過程中，為了增強匹配的穩(wěn)健性，Lowe建議對每個關(guān)鍵點使用4×4共16個種子點來描述，這樣對于一個關(guān)鍵點就可以產(chǎn)生128個數(shù)據(jù)，即最終形成128維的SIFT特征向量。此時SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特征向量的長度歸一化，則可以進一步去除光照變化的影響。

2.2.2 生成SIFT特征初匹配集

當(dāng)兩幅圖像的SIFT特征向量生成后，采用特征向量的歐式距離來作為兩幅圖像中特征點的相似性判定度量。取圖像1中的某個特征點，并找出其與圖像2中歐式距離最近的前兩個特征點，在這兩個特征點中，如果最近的距離除以次近的距離少于某個比例閾值，則接受這一對匹配點。降低這個比例閾值，SIFT匹配點數(shù)目會減少，但更加穩(wěn)定。

3 變換矩陣計算

使用RANSAC算法能夠?qū)IFT特征點初匹配結(jié)果進行精確篩選，并且找出一個圖像之間的投影變換單應(yīng)矩陣，進而達(dá)到拼接的目的。它的基本思想是進行參數(shù)估計時，不是不加區(qū)分地對待所有可用的輸入數(shù)據(jù),而是首先針對具體問題設(shè)計出一個目標(biāo)函數(shù)，然后迭代地估計該函數(shù)的參考值，利用這些初始參數(shù)值把所有的數(shù)據(jù)分為所謂的“內(nèi)點”(即滿足估計參數(shù)的點)和“外點”(即不滿足估計參數(shù)的點)。最后反過來用所有的“內(nèi)點”重新計算和估計函數(shù)的參數(shù)。RANSAC方法和傳統(tǒng)方法的區(qū)別在于傳統(tǒng)的方法把全部的數(shù)據(jù)點作為內(nèi)點和外點，而RANSAC最開始是利用一部分?jǐn)?shù)據(jù)作為內(nèi)點得到初始值,然后尋找數(shù)據(jù)集中所有別的內(nèi)點。使用RANSAC估計方法,可以最大限度地減少噪聲及外點的影響。

4 圖像融合

在完整的拼接圖中要求拼合的過渡區(qū)域不能出現(xiàn)明顯的痕跡。無人機航拍圖像由于拍攝角度、時間不同，圖像序列間會存在一定的視角變化和光照差異。另外，由于拍攝的高度不同，圖像目標(biāo)有時也會發(fā)生尺度變化，這些因素都會影響拼接的質(zhì)量，比如在重疊區(qū)域內(nèi)出現(xiàn)鬼影、模糊，或者在重疊邊界處出現(xiàn)明顯的拼縫。因此，當(dāng)圖像變換到同一坐標(biāo)系下后，還需要進行融合處理，使拼接符合視覺效果。

圖像的融合規(guī)則是圖像融合的核心,圖像融合規(guī)則的好壞直接影響融合圖像的速度和質(zhì)量。這其中有：基于像素選取的融合規(guī)則、考慮分解層內(nèi)圖像及分解層間相關(guān)性的像素選取融合規(guī)則等。

圖像融合的算法有很多,簡單的有光強平均融合、加權(quán)平均融合、中值濾波法、采樣權(quán)重函數(shù)法，復(fù)雜的有圖像Voronoi權(quán)重法、高斯樣條插值法、基于歐氏距離的有效權(quán)重法等。但不同的圖像之間都存在著程度不同的差異，如果簡單的對圖像的共同區(qū)域數(shù)據(jù)進行疊加，會出現(xiàn)圖像模糊、灰度變化不連續(xù)等現(xiàn)象。同時，由于圖像的復(fù)雜性和多樣性，使得無法精確地計算出兩幅圖像間的變換參數(shù)，所以我們很難提出一種精確的融合算法從根本上消除拼接痕跡。

綜合比較以上各種融合算法，光強平均融合法的速度最快，但效果欠佳;多分辨率樣條方法的融合質(zhì)量最高，但運算量過大;而加權(quán)平均法在速度和效果兩者中取得較好的平衡，在運算量不大的情況下保證了較好的融合質(zhì)量。因此，本文選擇使用加權(quán)平均法完成圖像融合。

5 試驗結(jié)果

為使算法得到客觀評價，本文對大量真實場景的航拍圖像進行拼接，選擇用來做試驗的圖像序列包括大場景圖像，大仿射變化與光照變化的圖像等。試驗中，最近鄰域特征點距離與次領(lǐng)域特征點距離之比為0.6。

試驗一：

圖3是對一組存在光照、尺度與旋轉(zhuǎn)變化的航拍圖像的匹配與拼接結(jié)果?？梢钥闯?，在干擾因素較多的環(huán)境下，基于SIFT特征的圖像拼接算法通過尺度不變特征的檢測與特征向量的歸一化處理，消除了光照影響與圖像尺度變化的影響，因此能得到很準(zhǔn)確的圖像匹配特征（圖3（c）），這對求解兩圖像間的變換矩陣是至關(guān)重要的。算法求解的變換矩陣為(0.980945，-0.204663，179.870102；0.207166，0.980328，77.799866；0.000004，0.000005，1）。 由于無人機飛行的抖動和傳感器鏡頭扭曲等原因，圖像的拼接結(jié)果（圖3（d））出現(xiàn)了邊緣畸變，但拼接結(jié)果同時也顯示了這種方法的穩(wěn)定性與魯棒性。

試驗二：

圖4是對三幅圖像的拼接結(jié)果。其中，圖4（d）相對圖4（a）和圖4（c）存在著大的光照變化，三幅圖都相互存在著旋轉(zhuǎn)、尺度的變化，由于本文的算法采用的SIFT特征對大尺度的變換與光照變化保持不變性，因此同樣能得到很好的拼接結(jié)果。

圖3 圖像匹配和拼接結(jié)果1

圖4 圖像匹配和拼接結(jié)果2

6 結(jié)論

本文針對無人機航拍圖像的特點，將SIFT特征作為圖像拼接特征。在利用歐式距離對特征初匹配的基礎(chǔ)上，采用RANSAC算法，得到了更為精確的匹配集，并計算了圖像序列的變換矩陣。由于SIFT特征對圖像的旋轉(zhuǎn)、尺度和光照保持不變性，本文的算法得到了穩(wěn)定的、魯棒的拼接結(jié)果。

[1]R.Szeliski.Video mosaics for virtual environments.IEEE Computer Graphics and Applications,1996,16(2),3:22-30

[2]R Szeliski,H Y Shum.Creating Full View Panoramic Image Mosaics and Environment Maps.In Proc.of ACM SIGGRAPH,1997,251-258.

[3]D.G.Lowe.Distinctive image features from scaleinvariant keypoints [J].International Journal of Computer Vision,2004,60(2):91-110.

[4]趙向陽,利民.一種全自動穩(wěn)健的圖像拼接融合算法.中國圖形圖像學(xué)報,2004,9(4):417-422.

[5]李玲玲，李翠華，曾曉明，李保.基于Harris-Affine和SIFT特征匹配的圖像自動配準(zhǔn).華中科技大學(xué)學(xué)報（自然科學(xué)版），2008，36（8）：13-16.

[6]謝利理,李玉忍,齊蓉.航空照片數(shù)字地圖的幾何校正.西北工業(yè)大學(xué)學(xué)報,2001,19(4):617-620.

>>>作者簡介

喬文治，男，1980年4月出生，2002年畢業(yè)于武漢工程大學(xué)，2011年獲北京航空航天大學(xué)工程碩士學(xué)位，工程師，現(xiàn)從事科技項目管理工作。

Aerial Images Mosaic for Unmanned Aerial Vehicle Based on SIFT Features

Qiao Wenzhi
(Hongdu Aviation Industry Group,Jiangxi Nanchang 330024)

During the flight of unmanned Aerial Vehicle(UAV),the aerial images taken by it can be greatly affineddeformed due to tilting and shaking of UAV.Therefore,it is very difficult to attain the good result by using conventional images mosaic algorithm.This paper details the images mosaic algorithm characterized with Scale Invariant Feature Transform (SIFT),which solves the problem of interference for great translational motion,rotation and scale variation between the images to be mosaicked by firstly extracting the scale invariant feature points of the images,then the initial matching feature points set is attained by means of Euclid's distance judgment,and further précised with RANSAC method so as to work out the accurate transformation matrix,finally the image blending technique in weighted average method is adopted to achieve the stable and robust image mosaic effect.

images mosaic,aerial image,SIFT,features matching

2011-11-15)