曹 健，李 侃，高春曉，劉瓊昕

(1. 北京工商大學(xué)計算機與信息工程學(xué)院 北京 海淀區(qū) 100048; 2. 北京理工大學(xué)計算機學(xué)院 北京 海淀區(qū) 100081)

航拍圖像拼接技術(shù)是當(dāng)前機器視覺領(lǐng)域的一個研究熱點，已經(jīng)被廣泛應(yīng)用于地理信息系統(tǒng)、地質(zhì)災(zāi)害監(jiān)測、城市規(guī)劃和戰(zhàn)場態(tài)勢評估等許多方面。其主要目的與一般的圖像拼接一樣，將一組互相有重疊部分的圖像序列進(jìn)行空間配準(zhǔn)，拼成一幅包含各圖像序列信息的寬視角、完整的新圖像，以滿足現(xiàn)實要求[1]。但是，由于是在飛行器上對地面場景的俯視拍攝，所以又有其自身的特點和難點，如飛行器姿態(tài)變化導(dǎo)致的航拍視角改變、飛行器升降造成的圖像分辨率不同、天氣狀況對圖像質(zhì)量的影響等。

圖像拼接方法通?？梢苑譃閮深怺2-4]：1) 將場景投影到柱面坐標(biāo)下進(jìn)行拼接，該類方法的模型簡單且計算速度快，但是要求相機只能圍繞光心做水平旋轉(zhuǎn)運動，還需要獲取拍攝每幅圖像的焦距，比較適合于360°全景圖像拼接。2) 以仿射變換模型為理論基礎(chǔ)，廣泛應(yīng)用于航拍圖像拼接，一般需要根據(jù)飛行器和相機的參數(shù)計算圖像的位置坐標(biāo)并排列圖像，然后檢測相鄰圖像重疊區(qū)域內(nèi)的對應(yīng)點，以求得圖像間的變換關(guān)系。航拍圖像的特殊性使圖像的位置坐標(biāo)不準(zhǔn)確，有時還需要從航拍視頻中抽取圖像進(jìn)行拼接，需要一種更為穩(wěn)健高效的拼接方案。

本文在飛行器和相機具體參數(shù)未知的情況下快速拼接航拍圖像，不依賴復(fù)雜的相機標(biāo)定設(shè)備、旋轉(zhuǎn)臺和陀螺儀等；并盡量降低對航拍的限制條件，允許圖像之間較大的亮度差異以及相機的輕微晃動等。本文提出基于局部特征的航拍圖像拼接算法主要面向一般情況，如使用普通的航拍CCD相機或攝像機，航拍設(shè)備位于飛機底部的一個近似固定視點，相鄰圖像間有不小于16%的重疊，拍攝所有圖像時焦距保持不變等。特殊設(shè)備拍攝的照片以及在精確參數(shù)下的圖像拼接不在本文的研究之列。

本文介紹了基于多分辨率技術(shù)的圖像配準(zhǔn)方法，討論了如何利用放射變換矩陣進(jìn)行圖像變換，闡述圖像融合技術(shù)。

1 基于多分辨率技術(shù)的圖像配準(zhǔn)

圖像配準(zhǔn)一般指對取自不同傳感器、不同視角或不同時間的兩幅或多幅圖像進(jìn)行信息互補的處理過程。在圖像拼接領(lǐng)域主要用來確定內(nèi)容相關(guān)的幾幅圖像中重疊區(qū)域的位置以及范圍，所以有的文獻(xiàn)也稱為圖像對齊。相對于灰度相關(guān)、相位相關(guān)等傳統(tǒng)方法[5-7]，基于特征的圖像配準(zhǔn)方法運算速度較快，適用范圍較廣泛，獲得的配準(zhǔn)結(jié)果相對穩(wěn)定，逐漸成為當(dāng)前主流的圖像配準(zhǔn)方法。

目前已有的基于特征的圖像配準(zhǔn)方法普遍存在的問題是它們提取的目標(biāo)特征對噪聲較敏感，在灰度變化、形狀變化以及遮擋的情況下性能不夠穩(wěn)定，無法滿足成像情況相對復(fù)雜的航拍圖像的需要。近年來，國內(nèi)外學(xué)者提出了一些新的局部特征，并在大量的工程應(yīng)用中驗證了它們的性能相對優(yōu)越、適用范圍較廣泛。

局部特征提取包括特征點檢測和特征區(qū)域描述兩部分的內(nèi)容：Harris-Laplace檢測算子、Hessian-Laplace檢測算子[8]和DoG (difference of gaussian)檢測算子[9]都是目前特征點檢測方法中的研究熱點；SIFT(scale invariant feature transform) 描述子[10]和GLOH(gradient location orientation histograms)描述子在眾多特征區(qū)域描述子中應(yīng)用最廣泛，性能也相對穩(wěn)定。

文獻(xiàn)[7-10]都指出，在復(fù)雜內(nèi)容的圖像中提取的特征點非常多，過多的特征點不僅會加重計算負(fù)擔(dān)影響效率，而且會對特征匹配造成干擾，不利于航拍圖像序列的準(zhǔn)實時拼接。本文的拼接方法只需利用少量(3個以上)特征點即可完成圖像配準(zhǔn)，對特征點的提取質(zhì)量提出了較高的要求，而多分辨率分析為解決這個問題提供了一條有效的途徑。

當(dāng)觀察一幅圖像時，通?？吹降氖窍噙B接的紋理與灰度級相似的區(qū)域，它們相互結(jié)合形成了物體的視覺表示。如果目標(biāo)物體的尺寸很小或?qū)Ρ榷炔桓?，一般采用較高的分辨率觀察；如果物體尺寸很大或?qū)Ρ榷群軓?，則只需較低的分辨率。如果圖像中同時存在大小不等的物體，或者強弱不均的對比度，以不同分別率對它們進(jìn)行研究將在圖像模式識別中具有不可替代的優(yōu)勢。

作為解釋多分辨率分析概念的一種簡單而又有效的結(jié)構(gòu)，圖像金字塔最初應(yīng)用于機器視覺和圖像壓縮方面，它很直觀地展示出了由粗糙到精細(xì)的處理策略的魅力所在。一幅圖像的金字塔就是一系列以金字塔形狀排列的不同分辨率的圖像集合，其底部是待處理圖像的高分辨率表示，頂部是低分辨率的近似，當(dāng)向金字塔由底向上移動時，尺寸和分辨率依次降低。

如圖1所示，由于從機載攝影器材上獲取的圖像分辨率較高，本文通過建立圖像金字塔來降低待匹配圖像的分辨率，在低分辨率的圖像序列上提取出更具代表性的特征點對，并計算出這些特征點在原始圖像中的位置，從而進(jìn)行圖像變換。

圖1 利用多分辨率技術(shù)進(jìn)行圖像配準(zhǔn)

兩幅圖像之間的匹配應(yīng)該滿足唯一性、相似性和連續(xù)性等3個基本約束條件，即“馬爾模型”[11]。一方面，目標(biāo)表面任意一點到觀察點的距離是唯一的，由此推得一幅圖像中的一點在另一幅圖像中最多只有一個對應(yīng)點；兩幅圖像中對應(yīng)的特征應(yīng)該有相同的屬性，即對應(yīng)點在某種度量下應(yīng)當(dāng)具有相似的特征描述符；因凹凸不平引起的目標(biāo)表面的深度變化是緩慢的，即視差變化具有連續(xù)性。

由于圖像的內(nèi)容千差萬別，加上場景中的運動物體、不重疊內(nèi)容以及圖像質(zhì)量等因素的存在，一幅圖像中的局部特征并不一定能在另一幅圖像中找到相似的特征，需要采取措施剔除產(chǎn)生干擾的噪聲點，通常稱為“外點”。許多圖像的背景較相似并不具有區(qū)分性，如天空、曠野之類，它們的局部特征之間的距離小于有用的特征之間的距離，但是它們并不能描述圖像的主要內(nèi)容，所以設(shè)置一個全局性的距離閾值來決定局部特征匹配與否是不合適的?？梢酝ㄟ^比較最近鄰(first nearest neighbor)特征和次近鄰(second nearest neighbor)特征的距離有效地甄別局部特征是否正確匹配，這是最鄰近距離比值法(nearest neighbor distance ratio, NNDR)，判斷特征匹配的條件[8]為：

式中，DA為待匹配特征；DB為最鄰近特征；DC為次鄰近特征。

該方法理論來源是如果一個特征在一幅圖像中與兩個特征的距離都很相近，那么該特征的區(qū)分度較低，也違背了文獻(xiàn)[12]提出的“匹配應(yīng)該滿足唯一性”的原則，會對圖像相似度的判斷產(chǎn)生干擾。

2 圖像變換

相鄰幀圖像之間往往存在著復(fù)雜的幾何變換關(guān)系，要進(jìn)行圖像配準(zhǔn)就需要計算相應(yīng)的變換矩陣。理論上在圖像變換的時候考慮的參數(shù)越多，得到的結(jié)果越精確。但在實際應(yīng)用中，由于飛行器飛行軌道的起伏、地面物體高度的變化等因素，參數(shù)過多的變換矩陣反而起到放大誤差的效果，并且需要至少7個特征點對才可以進(jìn)行配準(zhǔn)。

通過對實際數(shù)據(jù)的研究發(fā)現(xiàn)，航拍平臺一般距離地面較遠(yuǎn)，就可以將一定范圍內(nèi)的拍攝場景近似為一個平面區(qū)域，進(jìn)而把一定長度的航拍圖像序列變換到同一個成像平面內(nèi)完成圖像配準(zhǔn)。仿射變換可以描述圖像的旋轉(zhuǎn)、平移和縮放等運動，較符合航拍圖像的特點。該方法利用3個以上特征點即可完成圖像拼接，不僅極大簡化了計算，拼接的最終效果也能夠達(dá)到相應(yīng)要求。

設(shè)成像平面上某一點Pi的坐標(biāo)為(xi,yi)，其三維齊次坐標(biāo)為(xi,yi,1)。設(shè)一個觀測點在兩個相鄰幀圖像上所成的像點分別為P1和P2，則這兩點的齊次坐標(biāo)之間滿足如下關(guān)系：

式中，T為8個參數(shù)的投影變換矩陣。實驗結(jié)果顯示，由于航拍圖像序列中相鄰兩幀圖像之間的視差變化緩慢，可以通過仿射變換矩陣近似表達(dá)式(2)中的T，有效地簡化了計算，即有：

根據(jù)線性方程的相關(guān)理論，式(3)中6個參數(shù)的仿射變換矩陣最少應(yīng)該通過3對特征點才可以進(jìn)行求解。而在實際應(yīng)用中往往檢測出不止3對特征點，需要利用最小二乘法來估計T的參數(shù)，計算所得的相應(yīng)誤差為：

3 圖像融合

由于圖像采集時拍攝條件往往會發(fā)生變化，在圖像處理過程中也會引入一些誤差，這些因素都會導(dǎo)致初步拼接后的圖像中存在視覺上不連續(xù)的條帶。如何消除這種痕跡，使圖像過渡更自然，這正是圖像融合技術(shù)需要解決的難題。

現(xiàn)有的圖像融合算法通常在像素級、特征級和決策級等3個層次進(jìn)行。目前，像素級融合常用的方法主要有直接平均融合、加權(quán)平均融合和多分辨率融合。直接平均融合簡單但是通用性較差，如果場景中存在運動目標(biāo)會產(chǎn)生“鬼影(ghost-like)”現(xiàn)象；多分辨率方法效果好、通用性強，但是計算過于復(fù)雜，不適宜大場景的準(zhǔn)實時拼接。本文采用了加權(quán)平均方法中的漸入漸出融合算法，在保證航拍圖像序列準(zhǔn)實時拼接的同時，實現(xiàn)了圖像內(nèi)容的平滑過渡。

文獻(xiàn)[13]提出了漸入漸出融合算法，設(shè)f1和f2是兩幅待拼接的圖像，將它們按照線性加權(quán)的方法進(jìn)行融合，融合后的圖像像素f可表示為：

式中，d1和d2表示與重疊區(qū)域的寬度有關(guān)的權(quán)重值，并且d1+d2= 1 ， 0 ≤d1，d2≤1。假設(shè)當(dāng)前像素的橫坐標(biāo)為xi，重疊區(qū)域左右邊界的橫坐標(biāo)分別為xl和xr，則在重疊區(qū)域中d1由1漸變至0，d2由0漸變至1，即有：

在對單程航拍的圖像序列進(jìn)行拼接時，采用上述方法僅針對相鄰兩幅圖像的x方向上做了平滑過渡，基本可以滿足需求。如果圖像序列是盤旋拍攝或者沿“幾”字型路線拍攝的情況下，需要進(jìn)一步考慮到多幅圖像、各個方向上的平滑。本文借鑒了文獻(xiàn)[14-15]的思想和方法，為圖像的每個像素分配權(quán)重，該權(quán)重與像素到圖像邊緣的距離成正比，即有：

式中，w是單調(diào)函數(shù)，一般取w(x)=x；Ik(x,y)是第k幅圖像在(x,y)點的灰度值；d(x,y)的計算可以簡單地取(x,y)點到圖像四條邊的最小距離。

4 實驗結(jié)果與分析

為了驗證本文方法的有效性，采用VC++ 6.0平臺和OpenCV 2.0函數(shù)庫實現(xiàn)了航拍圖像序列自動拼接算法，并且通過大量真實的無人機可見光圖像序列和視頻對相關(guān)算法進(jìn)行了測試和驗證。

4.1 實驗參數(shù)設(shè)置

針對航拍圖像場景較大、天氣和飛行器姿態(tài)的影響普遍存在的情況，本文對多種特征區(qū)域檢測算法以及描述子進(jìn)行了實驗分析，發(fā)現(xiàn)通過DoG檢測算子和GLOH描述子提取的局部特征不僅對圖像的平移、旋轉(zhuǎn)、縮放變換不敏感，而且對光照變化以及復(fù)雜的投影變換也具有很強的適應(yīng)能力，較適合用于航拍圖像序列的處理。

由于局部特征可以看作高維向量空間中的點，可以通過計算兩個點之間的接近程度衡量圖像特征間的相似度。目前最為常用的相似度度量有直方圖相交法、歐式距離、馬氏距離、EMD距離等，而相似度度量具有特征依賴性，不同的特征應(yīng)該應(yīng)用不同的度量方法才能獲得最佳的效果。經(jīng)過實驗對比可以發(fā)現(xiàn)，對于SIFT和GLOH等局部特征在圖像匹配中的應(yīng)用，用歐氏距離作為相似度度量可以滿足實際應(yīng)用的要求。

本文采用最鄰近距離比值法消除“外點”的影響，實驗從圖像數(shù)據(jù)庫中選取的待匹配圖像，共提取了40 000個GLOH特征，對這些待匹配的圖像進(jìn)行了隨機數(shù)值的尺度變化和平面旋轉(zhuǎn)，并進(jìn)行了深度小于30°的視角變化處理，同時也加入2%的高斯噪聲。結(jié)果表明，當(dāng)剔除與最近鄰點和次近鄰點距離比值大于0.8的特征點對時，排除了90%的外點而僅僅誤刪了5%的正確特征點對。

用窮舉法搜尋最鄰近點以及次臨近點可以得到最精確的結(jié)果。但是由于本文所用的特征空間高達(dá)128維、航拍圖像的特征點數(shù)量較多，又有準(zhǔn)實時的速度要求，搜索算法的效率成為整個系統(tǒng)的一個瓶頸。所以本文使用了BBF (best-bin-first)算法[10]，設(shè)定的約束條件是檢查前200個最鄰近候選節(jié)點，該算法在搜索速度提高了2個數(shù)量級的同時，平均丟失5%的特征點對，這對于航拍圖像的準(zhǔn)實時拼接是可以容忍的。

4.2 拼接效果分析

圖2a所示是無人機航拍的一組關(guān)于黃河凌汛的照片，圖像上主要是自然景物地貌，人造目標(biāo)較少，這對于計算機自動拼接是一個挑戰(zhàn)。本文的拼接方法十分穩(wěn)健，局部特征提取技術(shù)減少了噪聲干擾和光照變化的影響，如圖2b所示。多分辨率技術(shù)的應(yīng)用也有效地降低了圖像配準(zhǔn)的計算開銷，通過比較最近鄰點和次近鄰點的距離的方法也可以有效地剔除“外點”。

圖2 黃河凌汛的航拍圖像拼接結(jié)果

圖3a所示是無人機在太原火車站上空拍攝的一組照片，圖3b所示為其拼接后嵌入Google地圖的效果?？梢钥闯?，計算機自動拼接后的航拍圖像在嚴(yán)格對應(yīng)于地理信息系統(tǒng)時還存在一些問題。但從一般意義上講，這部分內(nèi)容并不屬于圖像自動拼接技術(shù)的研究范疇，可以在下一步工作中引入人機交互的方法，根據(jù)相關(guān)參數(shù)對拼接圖像進(jìn)行幾何校正。

圖3 太原火車站的航拍圖像拼接結(jié)果

另外，本文提出的方法也適用于航拍視頻圖像拼接，如圖4所示是從一段空中鳥瞰城市的視頻里抽取圖像進(jìn)行準(zhǔn)實時拼接的效果，表明本文的方法穩(wěn)定、可靠，在保證運算速度的同時依然能夠取得很好的視覺效果。

圖4 航拍視頻圖像拼接效果

5 結(jié) 論

本文提出了一種基于局部特征的航拍圖像快速拼接方法。該方法對拍攝的條件要求不高，整個拼接過程是全自動實現(xiàn)的，其針對航拍圖像序列的特點，利用局部特征和多分辨率技術(shù)實現(xiàn)了高效可靠的特征點匹配；通過仿射變換模型將拼接問題簡化為像素點空間坐標(biāo)變換的過程，達(dá)到快速精確的目的；在圖像融合時借鑒了漸入漸出算法，實現(xiàn)了色彩和亮度的平滑過渡，消除了拼接痕跡。經(jīng)過大量不同種類圖片的拼接測試，證明該方法的拼接效果令人滿意，技術(shù)非常實用。由于相機未經(jīng)標(biāo)定，圖像存在幾何變形未糾正等問題有待進(jìn)一步的解決。

[1] SU M S, WANG L, CHENG K Y. Analysis on multiresolution mosaic images[J]. IEEE Transactions on Image Processing, 2004, 13(7): 952-959.

[2] 魏雪麗, 張樺, 馬艷潔, 等. 基于最大互信息的圖像拼接優(yōu)化算法[J]. 光電子·激光, 2009, 20(10): 1399-1402.WEI Xue-li, ZHANG Hua, MA Yan-jie, et al. An optimization algorithm of image mosaic based on maximum mutual information[J]. Journal of Optoelectronics?Laser,2009, 20(10): 1399-1402.

[3] 王宇, 王涌天, 劉越. 基于SIFT和小波變換的圖像拼接算法[J]. 北京理工大學(xué)學(xué)報, 2009, 29(5): 423-436.WANG Yu, WANG Yong-tian, LIU Yue. Image stitch algorithm based on SIFT and wavelet transform[J].Transactions of Beijing Institute of Technology, 2009, 29(5):423-436.

[4] BROWN M, LOWE D G. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision, 2007, 74(1): 59-73.

[5] 陳輝, 龍愛群, 彭玉華. 由未標(biāo)定手持相機拍攝的圖片構(gòu)造全景圖[J]. 計算機學(xué)報, 2009, 32(2): 328-335.CHEN Hui, LONG Ai-qun, PENG Yu-hua. Building panoramas from photographs taken with an uncalibrated hand-held camera[J]. Chinese Journal of Computers, 2009,32(2): 328-335.

[6] 蘇娟, 林行剛, 劉代志. 一種基于結(jié)構(gòu)特征邊緣的多傳感器圖像配準(zhǔn)方法[J]. 自動化學(xué)報, 2009, 35(3): 251-257.SU Juan, LIN Xing-gang, LIU Dai-zhi. A multi-sensor image registration algorithm based on structure feature edges[J]. Acta Automatica Sinica, 2009, 35(3): 251-257.

[7] MIKOLAJCZYK K, SCHMID C. Scale & affine invariant interest point detectors[J]. International Journal of Computer Vision, 2004, 60(1): 63-86.

[8] LOWE D. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2004, 60(2): 91-110.

[9] ROSTEN E, PORTER R, DRUMMOND T. Faster and better: a machine learning approach to corner detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(1): 105-119.

[10] BORENSTEIN E, ULLMAN S. Combining top-down/bottom-up segmentations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(12): 2109-2125.

[11] MARR D, POGGIO T. A computational theory of human stereo vision[J]. Proceedings of the Royal Society of London. Series B, 1979, 204(1): 301-320.

[12] SZELISKI R. Video mosaics for virtual environments[J].IEEE Computer Graphics and Applications, 1996, 16(2):22-30.

[13] 曹世翔, 江潔, 張廣軍, 等. 邊緣特征點的多分辨率圖像拼接[J]. 計算機研究與發(fā)展, 2011, 48(9): 1788-1793.CAO Shi-xiang, JIANG Jie, ZHANG Guang-jun, et al.Multi-scale image mosaic using features from edge[J].Journal of Computer Research and Development, 2011,48(9): 1788-1793.

[14] SHUM H, SZELISKI R. Construction of panoramic mosaics with global and local alignment[J]. International Journal of Computer Vision, 2000, 36(2): 101-130.